深度学习主要应用于图像识别、语音识别、自然语言处理等领域。学完可以从事深度学习工程师、机器学习工程师、人工智能工程师、高级算法工程师、高级算法工程师 AI研发工程师、AI架构师等，课程是与中科院合作的，整个行业发展前景还是不错的。

深度学习在控制领域的研究现状与展望摘要 深度学习在控制领域的研究现状与展望摘要 深度学习在特征提取与模型拟合方面显示了其潜力和优势。对于存在高维数据的控制系统，引入深度学习具有一定的意义。近年来，已有一些研究关注深度学习在控制领域的应用。本文介绍了深度学习在控制领域的研究方向和现状，包括控制目标识别、状态特征提取、系统参数辨识和控制策略计算。并对相关的深度控制以及自适应动态规划与平行控制的方法和思想进行了描述。总结了深度学习在控制领域研究中的主要作用和存在的问题，展望了未来值得研究的方向。 关键词 深度学习, 控制, 特征, 自适应动态规划 DeepLearningforControl:TheStateoftheArtandProspectsAbstractDeeplearninghasshowngreatpotentialandadvantageinfeatureextractionandmodelfitting.Itissignificanttousedeeplearningforcontrolproblemsinvolvinghighdimensiondata.Currently,therehavebeensomeinvestigationsfocusingondeeplearningincontrol.Thispaperisareviewofrelatedworkincludingcontrolobjectrecognition,statefeatureextraction,systemparameteridentificationandcontrolstrategycalculation.Besides,thispaperdescribestheapproachesandideasofdeepcontrol,adaptivedynamicprogrammingandparallelcontrolrelatedtodeeplearningincontrol.Also,thispapersummarizesthemainfunctionsandexistingproblemsofdeeplearningincontrol,presentssomeprospectsoffuturework. Keywords Deeplearning;control;feature;adaptivedynamicprogramming(ADP) 引言 近年来，深度学习(Deeplearning)[1]在学术界和工业界发展迅猛. 它在很多传统的识别任务上取得了识别率的显著提升[2]，显示了其处理复杂识别任务的能力，吸引了大批学者研究其理论和应用。许多领域开始尝试利用深度学习解决本领域的一些问题。在控制领域，关于深度学习的研究已初现端倪。本文在概述深度学习的主要思想和方法的基础上，阐述深度学习在控制领域的研究现状，回顾相关的深度网络与深度控制的研究内容，介绍深度学习在控制领域常用的结合方法；自适应动态规划及其拓展平行控制。综合以上内容提出深度学习在控制领域的研究。 1 深度学习概述深度学习源于神经网络的研究，可理解为深层的神经网络。通过它可以获得深层次的特征表示，免除人工选取特征的繁复冗杂和高维数据的维度灾难问题。目前较为公认的深度学习的基本模型包括基于受限玻尔兹曼机(RestrictedBoltzmannmachine,RBM)的深度信念网络(Deepbeliefnet-work,DBN)[3,4]、基于自动编码器(AutoencoderAE)的堆叠自动编码器(StackedautoencodersSAE)[5]、卷积神经网络(Convolutionalneuralnet-works,CNN)[6]、递归神经网络(Recurrentneuralnetworks,RNN)[7]。为便于清楚地阐述深度学习在控制领域的研究现状，本节将概述以上四种深度学习模型的主要思想和方法。关于深度学习的更多内容，参见深度学习领域的综述[1,8-11]。 1.1DBN基于RBM的DBN由多个RBM 堆叠而成，其结构如图1 所示。网络前向运算时，输入数据从低层RBM 输入网络，逐层向前运算，得到网络输出。网络训练过程, 不同于传统的人工神经网络(Artificialneuralnetwork),分为两个阶段: 预训练(Pretraining) 和全局微调(Finetuning)。预训练阶段,从低层开始, 每个RBM 单独训练, 以最小化RBM的网络能量为训练目标。低层RBM 训练完成后,其隐层输出作为高层RBM 的输入, 继续训练高层RBM. 以此类推, 逐层训练, 直至将所有RBM 训练完成. 预训练阶段, 只使用了输入数据, 没有使用数据的标签, 属于无监督学习(Unsupervisedlearning)。全局微调阶段, 以训练好的RBM 之间的权重和偏置作为深度信念网络的初始权重和偏置, 以数据的标签作为监督信号计算网络误差, 利用BP(Backpropagation) 算法计算各层误差, 使用梯度下降法完成各层权重和偏置的调节。DBN 可用于特征提取和数据分类等。                 图1DBN 网络结构                Fig1ThestructureofDBN 1.2SAE类似于DBN,SAE 由多个AE 堆叠而成, 其结构如图2 所示.SAE 前向计算类似于DBN, 其训练过程也分为预训练和全局微调两个阶段. 不同于RBM的是,AE 之间的连接是不对称的. 每个AE可视为一个单隐层的人工神经网络, 其输出目标即此AE 的输入. 在预训练阶段, 从低层开始, 每个AE 单独训练, 以最小化其输出与输入之间的误差为目标. 低层AE 训练完成后, 其隐层输出作为高层AE 的输入, 继续训练高层AE. 以此类推, 逐层训练, 直至将所有AE 训练完成。同样地,SAE 的预训练阶段也只使用了输入数据, 属于无监督学习。在全局微调阶段，以训练好的AE 的输入层和隐层之间的权重和偏置作为堆叠自动编码器的初始权重和偏置, 以数据的标签作为监督信号计算网络误差, 利用BP 算法计算各层误差, 使用梯度下降法完成各层权重和偏置的调节。              图2SAE 网络结构            Fig.2ThestructureofSAE 1.3CNNCNN 由卷积层和次采样层( 也叫Pooling 层)交叉堆叠而成, 其结构如图3[6]所示。网络前向计算时, 在卷积层, 可同时有多个卷积核对输入进行卷积运算, 生成多个特征图, 每个特征图的维度相对于输入的维度有所降低. 在次采样层, 每个特征图经过池化(Pooling) 得到维度进一步降低的对应图. 多个卷积层和次采样层交叉堆叠后, 经过全连接层到达网络输出. 网络的训练类似于传统的人工神经网络训练方法, 采用BP 算法将误差逐层反向传递, 使用梯度下降法调整各层之间的参数。CNN 可提取输入数据的局部特征，并逐层组合抽象生成高层特征，可用于图像识别等问题。 1.4RNN无论是DBN 和SAE 还是CNN, 都没有考虑样本之间的关联问题.RNN 则考虑了样本之间的关联关系, 将这种关联关系以神经网络之间的连接体现出来. 一般情况下, 单向 RNN[12]中, 如图4 所示, 单个神经网络的隐层连接至下一个神经网络的隐层。这种连接方式考虑了前面样本对后面样本的影响。还有一种双向RNN[13]的连接方式, 单个神经网络的隐层连接了其前后神经网络的隐层。这种连接方式考虑了前后样本对当前样本的影响。一般认为RNN 的各个神经网络具有相同的权重和偏置。RNN 训练时, 可使用RBM 或者AE 对其进行预训练来初始化网络参数, 然后计算每个样本的输出误差, 并以累计误差训练网络参。RNN 可用于处理时序数据或者前后关联数据.RNN 还可以和CNN结合使用, 处理考虑样本之间相关性的问题。                        图3CNN 网络结构                       Fig.3ThestructureofCNN                            图4RNN 网络结构                      Fig.4ThestructureofRNN 2 深度学习在控制领域的研究现状深度学习在控制领域的研究已初现端倪。就已有的研究报道, 目前的研究主要集中在控制目标识别、状态特征提取、系统参数辨识、控制策略计算等方面。尤其是深度学习和强化学习的结合已经产生了令人振奋的研究成果。如图5 所示, 深度学习在控制系统的各环节均有应用研究, 本节从控制系统的角度分类, 从四个方面介绍深度学习在控制领域的研究现状。               图5 深度学习在控制系统各环节的应用     Fig.5  Theapplicationofdeeplearningincontrolsystem 2.1 控制目标识别在传统的控制系统中, 控制目标一般以给定量的形式直接给出. 而在智能控制系统中, 控制目标有时并不明确或者不能直接得到. 就已有研究深度学习进行控制目标识别的报道, 在先进机械手抓取系统[14]中, 系统首先需要检测被抓取物的位置、识别被抓取物并估计其姿态以确定机械手需要到达的位置和角度. 本节以此为例说明深度学习在控制目标识别中的作用.图6 [14]显示了先进机械手抓取系统的流程. 输入数据是颜色深度图. 在物体检测过程中, 系统利用前景背景分割技术检测出物体位置. 然后从图片中分割出包含物体的统一大小图片. 在物体识别和姿态估计过程中, 获取的统一大小图片输入CNN 网络, 经过前向计算在网络输出端获得物体的类别. 该类别信息包含了物体的种类和姿态. 最后, 机械手按照规划的路径到达物体上方, 调整夹持器的姿态, 使得其姿态符合物体的姿态, 然后执行抓取动作。                       图6 机械手抓取系统                   Fig.6Roboticgraspingsystem 从系统流程可以看出, 深度学习作用于物体识别和姿态估计过程. 具体地, 使用了CNN 网络进行分类. 网络的输出类别按照选取的n 种物体不同角度的姿态进行区分 , 第i 种物体有ci 种姿态, 那么输出的类别总数为C=ni=1ci, 即CNN 网络的输出层节点个数. 网络的输入是统一大小的图片, 以二维矩阵的方式输入网络. 所使用的CNN 通过卷积层和次采样层交叉堆叠的方式建立特征提取的网络,然后通过全连接层连接到输出层建立分类器. 网络结构建立后, 收集一定数量具有类别标记的图片样本, 一部分用于训练网络参数, 剩余部分用于测试网络性能. 经过迭代训练, 获取训练完成的CNN 网络.当有新的图片样本输入网络时, 网络经过前向计算,输出图片中物体的类别, 包括物体的种类和姿态. 机械手获取物体类别后, 在执行抓取动作之前, 将夹持器调整到和物体的姿态相一致的状态, 以完成抓取动作. 在这个系统中, 机械手抓取之前需要达到的姿态为机械手控制系统的控制目标, 此控制目标由物体的种类和姿态决定, 所以采用深度学习进行物体分类实质上在控制系统中起到了控制目标识别的用. 至于机械手如何达到控制目标则由系统的控制器决定。 2.2 状态特征提取现代控制理论引入了状态空间的概念, 以系统的状态为基础进行分析与综合. 在基于视觉的控制系统中, 系统状态由图片体现, 其维度高, 不容易进行人工特征抽取, 不利于系统的分析综合与控制。而深度学习十分适合对图片数据进行降维与特征抽取,所以深度学习在基于视觉的控制系统中研究较多。基于视觉的控制系统中, 深度学习多与强化学习方法结合, 使得系统能够根据深度学习提取的特征给出控制策略。在深度学习用于控制系统状态特征提取的研究中,Lange 等[15,16]利用SAE 进行特征提取；Mnih 等[17]则利用CNN 进行特征提取。无论采用哪种深度学习模型, 其思想基本一致, 以下以Atari游戏系统[17,18]为例介绍深度学习在状态特征提取中的作用。Atari 是一款计算机游戏, 玩家通过计算机屏幕显示的游戏场景, 决策执行的游戏动作, 获得游戏得分的变化。在使用深度学习进行Atari 游戏的系统中, 游戏场景以图片的形式输入CNN 网络,CNN网络和Q 网络连接, 游戏动作的决策是最终的输出,系统结构如图7 所示. 其中,Q 网络是用于获得系统预期回报函数的网络。在这个系统中, 可执行的动作集合包含有限个游戏动作元素, 而状态集合包含无限个场景状态元素。评价网络的输出层节点个数为可执行的游戏动作个数, 每个节点的输出即在输入场景下采用该节点所代表动作的预期回报。系统选择评价网络输出节点中预期回报最高的节点所代表的游戏动作执。Atari 游戏执行了游戏动作后,更新游戏场景图像并得到一个强化信号。                        图  7 使用深度学习Atari游戏              Fig.7PlayingAtariwithdeeplearning整个网络的权重参数根据强化学习的方法进行训练, 具体的训练方法和技巧不在本文介绍的范围,这里仅说明其主要思想. 当前时刻的预期回报一方面是当前时刻来自于游戏的强化信号与下一时刻来自于网络的最高预期回报之和, 另一方面也是当前时刻来自于网络的最高预期回报, 二者之间的差距即整个网络的损失函数, 训练的目标是最小化该损失函数。由此, 网络获得了可传递的误差用于网络参数的训练。据报道, 该系统在实验中的多个游戏任务上超越了人类的水平。 2.3 系统参数辨识系统辨识是现代控制理论的重要研究内容, 它根据系统输入输出来确定描述系统的模型. 对于复杂的非线性动态系统, 其模型难以用线性函数或者根据先验知识建立。而神经网络具有拟合复杂非线性函数的能力, 可以用于系统辨识。但浅层神经网络在训练中容易受到局部最优等问题的影响, 有时并不能准确描述动态系统。深度学习的发展给解决这一问题带来了启发。已经有部分研究专注于利用深度学习的方法进行系统辨识. 由于系统模型由深度神经网络代替, 系统辨识任务就转变成深度神经网络的参数优化, 故而称这类任务为系统参数辨识。使用深度学习进行系统参数辨识的控制系统一般涉及模型预测控制. 模型预测控制的主要思想是在每个时刻基于系统当前状态和预测模型, 计算出系统未来一段时间的最优控制序列, 并执行序列的首个控制策略。其中, 预测模型使用深度学习实现.这类研究中, 直升机动态模型[19]使用深度ReLu 网络模型拟合, 主要思想是利用历史一段时间的数据预测未来时刻的加速度。切割机器人[20]考虑了系统状态在时间序列上的相关性, 使用RNN 构建系统动态模型,利用历史时间窗的系统状态预测未来时间窗的系统状态. 车杆摆动系统[21]使用深度神经网络拟合系统动态模型, 利用当前时刻的状态和控制输入预测下一时刻状态与当前时刻状态的差值。值得一提的是,在车杆摆动系统中, 深度网络经过训练能够拟合系统动态模型后, 在输出端引入一个新的节点代表预期回报函数。这样, 深度网络同时表达了系统动态模型和动作评价函数. 如图8[20]所示, st 表示系统在t 时刻的状态,at 表示系统在t 时刻采取的动作,Q(st,at) 表示系统在状态st下, 执行动作 at所得的预期回报函数. 网络训练思路是,先忽略输出端的Q 函数, 采用随机初始化的状态和任意动作产生一系列(st, at,st+1- st) 用于拟合系统动态模型. 然后忽略输出端的 st+1- st, 按照强化学习的方法, 每一步执行最优的动作