富士通开发了深度学习模型自动生成系统

富士通研究开发中心有限公司（简称：FRDC）和株式会社富士通研究所于2017年7月19日发布了一项深度学习领域的先进技术——深度学习模型自动生成系统，此项技术能够帮助非专业用户来使用深度学习模型解决其碰到的问题。此系统根据客户提供的任务能够自动的生成对应的模型，生成的模型在运算速度和准确度之间达到最佳平衡。另外，此系统能够在短短几小时之内就生成所需的模型，而在传统的深度学习模型构建中，这一过程往往需要耗费几天的时间。富士通希望此项技术能够有助于扩展深度学习的应用范围和客户群体，并且为以后实现通用人工智能平台做出贡献。该技术已在第18届ICME（International Conference on Multimedia & Expro）会议上发表。ICME是一个关于多媒体的国际学术会议，于2017年7月10日到14日在中国香港举行。

开发背景

深度学习技术目前被广泛应用于人工智能的相关任务上，并且取得了令人瞩目的表现。然而，构建一个深度学习模型和调整相关的参数往往需要专业的知识和相关的经验。对于非专业用户来说，这是一项非常难的工作。甚至对于深度学习领域的专家来说，去构建一个适合任务的模型也需要花费大量的时间和精力。上述这些因素严重阻碍了深度学习技术在各个应用领域的推广。

课题

为了能让非专业用户简单快速的使用深度学习模型，富士通进行了深度学习模型自动生成的相关研究并且开发了相应的系统。如图所示，富士通开发的系统包含三个步骤：用户任务分析，模型能力分析和准确度曲线绘制（模型推荐）。

深度学习模型自动生成系统流程图

开发的技术

1.用户任务复杂度分析和评分在这个步骤中，富士通将评估用户提出的任务并且给出一个“复杂度分数”。复杂度分数代表了用户提出任务的难易程度。比如，在分类任务中，富士通将分析用户提供的各个类别的图像数据，同时计算这些图像平均的类内和类间差异。最后，这项分类任务的难度将由图像平均差异来确定。有了复杂度分数，系统就能够查找对应的最优深度学习模型和相关参数，这个模型即是对应此项用户任务的最佳匹配模型。

2.深度学习模型能力分数评估在系统中，富士通将使用“能力分数”来衡量一个深度学习模型的分类能力。能力分数是在综合了模型计算次数、模型形状（深度和宽度）以及梯度弥散等问题后最终给定的。对于任意一个深度学习模型，富士通都能给出其对应的能力分数。

3.模型推荐以及准确度曲线绘制基于复杂度分数，系统将根据模型的能力分数推荐三个适合的深度学习模型。这三个模型分别称为小型模型、中型模型和大型模型。用户可以根据自己的需要从中进行选择。举例来说，用户如果对计算速度有要求，可以选择小型模型；如果用户非常关注准确度，可以选择大型模型。

效果

目前，富士通的系统能够解决分类任务中的深度学习模型推荐，并且达到了非常出色的效果。下图所示的结果为通过富士通的系统来推荐模型用于手写汉字识别。富士通所使用的数据库是2010年中国科学院自动化研究所发布的数据库（CASIA），这个数据库在学术界被广泛使用。目前学术界最高的识别精度是97.30%。富士通的系统推荐了小中大三个模型，并用这三个模型的识别精度拟合出了精度-能力分数曲线。可以看出，在富士通推荐的三个模型中，中型模型和大型模型的准确度都接近了世界最高精度。系统进行模型推荐的整体时间是30个小时，包括用户任务分析和三个深度学习模型的训练时间（机器的配置是GeForce GTX TITAN X and Intel® Xeon® CPU E5-2640 v3 @2.60GHz）。富士通的系统可以向非专业用户全自动推荐高性能的深度学习模型，大量节省了用户学习深度学习技术的时间。

针对手写汉字识别的模型生成结果

将来

该技术的目标是在2017年度应用到富士通的人工智能技术平台（Zinrai）当中，同时也将继续把此项技术应用于各种不同的图像识别任务中。