深度学习会成为人工智能实现的最佳途径吗？它的未来又在哪里？让我们听听深度学习领域的专家和从业者所畅想的未来五年深度学习的发展路径。OpenAI的研究总监IlyaSutskever：我们应该会看到更深度的模型，可以从比今天更少的训练中学习，无监督式学习也会有可观的进步。我们还期待看见更精确、更有用的语音和视觉识别系统。波恩大学的教授、自动化智能系统团队的主任SvenBehnke：我希望深度学习可以有更多的结构化数据，应用于更多的多重复杂的问题。这将会打开深度学习的新应用范围，例如机器人、数据挖掘和知识探索。谷歌的资深研究科学家ChristianSzegedy：现在的深度学习算法和神经网络距离理论中的应用还差的很远。今天我们可以设计出比一年前要便宜五到十倍并采用减少了十五倍参数的视觉网络，还可以比过去它们的同类更加好用，而仅仅通过提升网络结构和训练方法就可以做到这点。我深信，这仅仅是个开始，深度学习算法会更加有效，能够在普通的移动设备端工作，甚至不需要多余的硬件支持或抑制内存开销。斯坦福大学的计算机科学博士与OpenAI的研究科学家AndrejKarpathy：与其关注数个同时进行的进展，我更加关注一个主要细节。我所看到的未来的一个趋势是结构将会变得愈发巨大和复杂。我们正在向着大型神经系统的方向发展，我们会在其中交换许多神经组分，提前针对网络的某个部分在不同的数据库中展开训练，添加新模块，组合调整整体结构等等。例如，卷积神经网络曾经是最大最深层的神经网络中的一个，但是在今天它则是最新的结构中的一个小盒子中的内容而已。因此，许多结构会趋向于变成下一代结构中的一部分。我们像正在学习乐高积木一样，了解如何去连接并放置它们以建出更大的城堡。加州伯克利大学的计算机科学助教，以及Gradescope的联合创始人PieterAbbeel：许多垂直行业都基于现在的监督式深度学习科技，甚至小到视频，找出如何让深度学习比现行的方法能够更有效地进行自然语言处理，以及监督式深度学习和深度加强学习的显著进步。DeepInstinct公司CTOEliDavid：在过去的两年间我们一直在观察深度学习在所应用的领域内所取得的成功。即便在接下来的五年内我们还并不能帮助深度学习达到人类认知水平的水平（但是这很有可能在我们的有生之年实现），但是在许多其他领域我们也可以看到深度学习的巨大进步。具体而言，我认为最有前景的领域将会是非监督式学习，因为世界上的大多数数据是未标记的，而且我们自己的大脑皮层就是一个很好的非监督式学习的区域。尽管DeepInstinct是第一家将深度学习用于网络安全的公司，但是我希望在接下来的时间中有更多的公司能够使用深度学习。然而，深度学习的准入门槛仍然非常高，尤其对于通常并不使用人工智能（只有很少情况下会使用经典机器学习）的网络安全公司而言更是如此，因此机器学习要想成为网络安全领域广泛使用的一项商用技术还需要花费数年的时间。Affectiva研究中心主任DanielMcDuff：深度学习有望成为计算机视觉、语音分析和许多其他领域内机器学习的主要形式。我希望建立准确识别系统的能力（这种系统的计算能力可以通过一至两个GPU供应）将会使得研究人员可以在现实世界中开发和部署新型软件。由于数据的总量还会继续增加，因此我期待接下来将有更多的研究将注意力集中到无监督训练或者半监督训练算法上。加拿大高级研究所(CIFAR)全球学者JörgBornschein：预测未来总不是一件易事。我期待无监督学习方法、半监督学习方法和增强型学习方法在未来变得越来越重要。当我们将机器学习视为大型系统（例如机器控制系统）的一部分，或者视为可引导和集中大型系统的计算资源的部分时，单纯的监督式学习方法由于局限性太大，因此不能正确地解决问题。谷歌高级研究员IanGoodfellow：我期待五年之内我们将会拥有可以总结视频片段内容，并且生成短视频的神经网络。神经网络已经是视频任务的标准解决方案，我希望神经网络也可以成为自然语言处理和机器人任务的标准解决方案。同时我也预测神经网络也会成为其他科学领域的重要工具。例如，神经网络可以用于对基因、药物和蛋白质行为进行建模，然后可用于设计新型药物。SentientTechnologiesCTONigelDuffy：迄今为止大数据生态系统专注于大量数据的收集、管理和集展（收集展示）。很明显，该领域也有很多关于分析和预测的工作。不过，从根本上来讲，企业用户对此并不关心。企业用户仅仅关心产出，例如「这种数据可以改变我的行为方式吗？它会改变我们的决定吗？」。我们相信这些问题是接下来五年需要重点解决的问题。我们相信人工智能将会是数据和更优决定之间的桥梁。很明显，深度学习在这个进化过程中将会扮演非常重要的角色，但是这需要深度学习与其他人工智能方法相结合才能完成。经过接下来五年后，我们将会看见越来越多的混合系统，其中深度学习可用于处理一些棘手的感性任务，而其他的人工智能和机器学习技术可用于解决问题的其他部分，例如推理等。谷歌DeepMind研究员KorayKavukcuoglu和AlexGraves：接下来的五年将会发生很多事情。我们希望非监督式学习和增强型学习变得越来越重要。我们也期望多模式学习的增加，以及更加注重坚持非个体数据集的学习。多伦多大学机器学习课题组博士研究生CharlieTang：深度学习算法将会逐渐被用于处理更多的任务，也会解决更多的问题。例如，5年前，算法的面部识别精度比人类的表现要糟糕；但是，五年后的今天，人脸识别数据集（LFW）和标准图像分类数据集（Imagenet）中算法的面部识别表现已经超越人类的。在接下来的五年中，越来越难的问题将会被深度学习算法成功解决，例如视频识别、医学影像或文字处理等。我们也非常期待深度学习算法可应用于商业产品中，就像过去10年中人脸识别器被整合到消费级相机中那样。来源：深度学习（ID：DeepLearning_Cloud）点击下方“阅读原文”了解【大数据实验平台】↓↓↓

深度学习神经网络与人类的神经网络差多少（一）

这是我在学习DeepLearning留下的疑问与见解献给那些即将学习深度学习的同学们，也献给哪些提供我知识的先知者们

本人也就是一枚普通的海归人员，学识短浅，如有过错请多多包涵，也希望各行业大牛们能积极指正我的错误以下的知识点先了解下

人类大脑的数据

近年来，深度学习成为程序员热捧的话题。NLP，CV层面的应用越来越广泛。但是，似乎又没达到人类期望的目标，这又是为什么呢？带着疑问，我们先来看看我们大脑的数据！

细胞每天要死亡约10万个（越不用脑，脑细胞死亡越多）。人脑中的主要成分是血液，血液占到80%，大脑虽只占人体体重的2%，但耗氧量达全身耗氧量的25%，血流量占心脏输出血量的15%，一天内流经脑的血液为2000升。脑消耗的能量若用电功率表示大约相当于25瓦。参考文档

人脑中860亿个神经元所存储的数据量=86000000000÷13*1TB≈66亿TB。66亿TB，这是什么概念？我们来做个换算，目前市面上能见到的大容量SSD有8TB左右，大脑数据容量就相当于8.25亿块8TBSSD！

假设按SSD当前大约1元1GB做价值换算的话，那么我们的大脑的价值高达660000000010241≈6758400000000元！这大概是我们这辈子最富有的时刻。参考文档看了这些知道自己富有了吧。

海马体

脑科学研究者还在对这个进行深度探索。脑中的记忆与思维的产生和这个器官有深刻的联系。具体有两个作用：1.一般记忆作用。2.方向定位作用（据伦敦大学院的研究表名，相较于一般民众，伦敦出租车司机的海马体体积较大，至于更有经验的出租车司机的海马体体积又更大。）信息输入始于单一模块或多模块的联合区

人工神经网络

人工神经网络（ArtificialNeuralNetwork，即ANN），是20世纪80年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络。参考文档

27种流行的深度学习神经网络

ASIMOVInstitute绘制当前所流行的27张神经网络节点图，方便查阅和收藏，如下：参考文档

深度学习所运用到的数学知识

我学习的时候，更多的是抽象思维去想象，对于数学没有过于深入的探究。但数学是一门艺术，世界上有90%多的问题能用数学去解决，(而现在的计算机能解决的据说大概在30%，并且是建立在数学上的。)。所以学会一点数学，对生活有很大的帮助！！！参考文档：10分钟，用初中数学知识看懂深度学习!

数据结构

其实大脑内存储的记忆也是一种数据体现的形式。先说下逻辑结构：反映数据元素之间的逻辑关系，也就是数据元素之间的前后关系。现有的逻辑结构包括：1.集合；2.线性结构；3.树形结构；4.图形结构读者如果想深入了解，希望你们对以上地内容多看看以下陈述的观点只是个人观点推论

进入正文

1记忆的摸索

1.1神经元的一些介绍

用深度学习做过图片识别的人员都知道，深度学习的过程中会涉及到各种各样的函数。通过对超参数的优化，来获取目标权重与偏置。那么，在我们幼儿时候，认字识图的过程中，我们的幼时记忆对函数是一无所知的，是从来没有接触到的。(除非投胎没喝孟婆汤？？是神童！！！)那么是人类是以什么样的机制进行学习的呢！！是通过什么方式来进行未知事物的认知呢？带着这样的疑问，让我们进入知识的海洋。复习下高中的生物，细胞地不同种类地诞生是由（DNA）地选择性表达，大脑内部地神经网络结构是通过长时间地进化而形成的。神经元之间的信息传递有两种方式：一种是通过电信号传递，一种是通过化学物质传递----神经递质。后一种信息的传递方式更为常见。一切总有源头吧，那么信号是怎么产生的，根据能量守恒定理。任何细胞在成长的时候，肯定是需要营养的吧。神经细胞在发育的过程中，会大量吞食营养中的脂肪如（DHA）。那么在消化这些化学成分的时候，会发生一些反应，自然而然地产生一些能量，也会产生新地物质，促使周边环境发生新地变化。这些能量也许就是电能，新的物质可能就是传递需要地信使—神经递质。脑内地神经递质大概分为四类：即生物原胺类、氨基酸类、肽类、其它类。参考资料来看一下神经元细胞的结构：神经元的分类：

假单极神经元：胞体近似圆形，发出一个突起，在离胞体不远处分成两支，一支树突分布到皮肤、肌肉或内脏，另一支轴突进入脊髓或脑。双极神经元：胞体近似梭形，有一个树突和一个轴突，分布在视网膜和前庭神经节。多极神经元：胞体呈多边形，有一个轴突和许多树突，分布最广，脑和脊髓灰质的神经元一般是这类。

现有的很多深度学习神经网络模型都是模仿神经元产生的，那么对比上面的27种神经网络。神经元的优势：用现在的数学模型来讲，它拥有巨大交叉熵这个属性。细胞体上的树突如同根须蔓延在大脑之中，你可能会问？这好像没多大的关系，我来声明一下：人类大脑包含上千亿个不同的神经元，一个神经元的树突大概有一千多个，而每一个神经元能形成上万个特异性的突触连接。那意味着什么？({{BANNED}}啊)，这个意味着神经元对信号处理的深度要远远的高于人工神经网络。再看看这知乎上的回答既然神经元的结构非常简单，那么为什么不制造几百亿个模拟神经元来模拟人脑？-万物的血统书的回答-知乎那么人工神经网络呢？大多数是通过增加层数来提升更高的预测率。但是每层的细胞神经元呢？那么它产生数据的节点数能有多少？一个人的大脑神经连接量要远远比如今的互联网要复杂很多的。当我们的部分神经元的连接所产生的作用，就能覆盖上述所有深度学习网络的所有功能。所以我觉得，深度学习作为一种技术只是起点，一个好的起点，那么未来的脑科研者与数学家们的努力，还会出现更加高明的技术。好了(感谢读者能继续看下去)。人脑复杂的神经系统给人类的学习带来了极大的便利性和巨大的潜力，所以好好珍惜，要自信。

1.2记忆该怎么理解

让我们回到童年。不知现在的你是否还记得3岁之前的记忆？小编相信大多数人是记不得的，因为那个时候的我们的大脑还在处于发育状态！那么是不是发育吃掉了记忆？(No,No)，其实在发育的过程中，我们可能获取了学习的这个天赋(生命的奥妙)！！那么到底是有没有记忆呢？再往前走走，妊娠第20天左右，胚胎的大脑原基形成。2个月时，大脑沟回的轮廓已经很明显。3个月时，脑细胞发育进入第一个高峰时期。4～5月时，脑细胞仍处于高峰时期，。6个月时，大脑表面出现沟回，大脑皮层的层次结构也基本定形。脑细胞140亿个，具备了一生的脑细胞数量，我猜测这个时候，神经元对胎动有了信号感应，同时神经元与神经元之间开始有了联系。7个月时，大脑中主持知觉和运动的神经已经比较发达。8个月，大脑皮层更为发达，表面的主要沟回已经完全形成。这个时候，胎儿外界的刺激会产生反应，神经元产生大量的信号，刺激着大脑。到第23周时，大脑皮层的六层细胞结构已成型。我觉得这个时候大脑皮层传送给海马体的信号，差不多开始诞生”记忆“。这是个极其复杂的过程。如果想深入了解可以看下这位仙女的知乎谷雨大脑达到人生的巅峰时候(据研究表名是1000多亿)，我们的脑细胞与神经元处于高度活跃的兴奋点，并在此节点上新生出大量的细胞胶质与神经元。那么新生的神经元是否会对其他的神经元产生影响？现在引入最新的研究成果Adult-bornhippocampalneuronsbidirectionallymodulateentorhinalinputsintothedentategyrus在这篇文章中提到研究人员发现，新生成的神经元—他们称之为成体新生颗粒细胞（adult-borngranulecell,abGC）—依赖于从内嗅皮质的两个部分之一接收的信号，以不同的方式作出表现。他们解释道，如果abGC从外侧内嗅皮层接收到信号，那么它们会抑制它们附近的更为成熟的神经细胞的活动。但是，如果它们从内侧内嗅皮层接收信号，它们会做相反的事情，激发年老的神经细胞。乍一看，这新生的脑细胞会挑工作，还要给老细胞脸色看(不得了，不尊老)。那么新生的细胞有啥作用呢？对信号的处理产生条件，产生了选择。

先做一下简单的总结：

我们的大脑能产生记忆，记忆相对意义来说就是数据。神经元可输出，可接收，但是，负责接收信号的可能有很多个神经元。神经元能产生集群，因为突触的可塑性。传递的信号有强有弱，在单位时间下信号是有频率的？

频率（我脑光一闪，频率？），频率是单位时间内完成周期变化的次数！时间虽说是个虚无缥缈的存在，但是正是因为它的存在。才能证明过程的意义，就像搭建深度学习神经网络一样，如果不经过一定时间的训练，它是学不到任何东西。神经科学家尼古莱库库什金说到”一段典型的记忆实际上只是重新激活你大脑不同部分之间的连接，这些连接在之前某个时间是活跃的。所有的动物，还有许多单细胞生物，都有过去学习的能力“。定义记忆与定义事件同样困难，在最普遍的意义上，记忆就是作用于神经系统的一个变化，该变化会导致系统的工作机制在未来发生改变。深度学习神经网络在对数据进行处理的时候会产生模型，训练好的模型就是记忆产生的成果。那么记忆又该怎么去理解呢？库库什近说：”当你深入研究分子，以及离子，酶，转录程序，细胞，突触和整个神经网络的状态时，你会发现大脑中并没有存储记忆的部位“这是因为神经元具有可塑性，它的这一特质使它能够产生记忆。记忆就是这一系统本身。记忆可能分布在整个大脑之中。人类的记忆都是从一个非常细小的微粒尺度开始的。”你的神经元，神经元伴随分子和由此产生的突触会将所有相关变动发生的相对时间顺序编码，他们将整个经历存储在一个时间窗口之内“

1.3记忆的消失和重构

在发育的过程中，我们大脑中缔结的记忆网络为啥会消失呢？不知道大家看过《未来机器城》，电影讲述的是一个机器人的储存系统受到损害，每天要删除数据来维持自己的记忆系统。每天重复删除者对它而言不重要的数据，保留它喜欢的。在发育过程中，有新细胞诞生，有老细胞死亡，也有损伤，这些对我们的记忆有没有影响呢？大脑在处理这些数据的时候，是在构成一系列记忆，我们的神经元可能长时间处于活跃状态，于此同时，不同层次的皮层之间的神经元会建立起连接。时间长了，对数据高负荷处理的结果会发生损伤，脑中的细胞质会进行修补，进行转化。这时，我们的记忆就会消失，或者重组。这种过程在大脑发生了无数次。因此，脑中的环境，也就是神经元与细胞胶质每天都会有不同的变化。那么之前产生记忆的神经元与神经元之间可能随着脑的发育而被扯断，之间的联系也断掉了。所以呢，成长的代价就是失忆。于此同时，那些得连接少的细胞可能慢慢的被神经胶质转化掉了（可能成为其他东东）。当这个过程稳定下来之后，神经元与神经元就会发生新的记忆，这个时候产生的记忆将会稳固下来。

2.学习

2.1天赋

相对于人工神经网络，大脑中构成的这种天然，复杂，庞大，神秘的学习体统。它有啥优势呢？拿人的视觉系统来讲，（在发育的过程种）通过对光的感知，由3种视觉细胞把信号传送到感知系统，感知系统又会传送到海马体。由于白天都有大量睁眼的时间，所以工作量是巨大的，在此过程中，3种不同的视锥细胞对信号的传输，少不了对细胞的损耗(发育的代价)由于细胞的特殊机制，会对光地感知产生不同地变化。比如感觉到亮白与黑暗，对比度等等。这就是像素地调优，相当于我们对训练图片地数据集进行预处理一般。那么真正进入到我们脑中的是什么？光线通过眼睛这个镜头，投射到视网膜神经元，每个细胞对应相机的一个像素。但是这个相机的美梦止于第一步。当神经信号进入下一层，上丘，视皮层，更下一层，海马，我们的信心就被打击的无影无踪。神经细胞的信号变得杂乱无序，再也构不成一张照片。但是当我们直接看这些信号，它们却一点不像我们看到的。就如同卷积神经网络（CNN）一样对图片进行处理，通过对图片地不断卷积来找出特征点，图像会变得越来越看不懂。在QuirogaRQ.,etal.Invariantvisualrepresentationbysingleneuronsinthehumanbrain.Nature.2005Jun23;435(7045):1102-7.这篇文章中，它指出：深层脑区的编码，指向抽象的概念，而非具体的图画，它就像一个寻找不同事物间不变属性的计算器，通过不变性形成对事物的概念，然后通过概念的联系，重构世界。这个观点和某些古代哲学家的观点，柏拉图和康德，不谋而合。构成世界基础的是抽象的概念而非具体的事物。不过没关系，海马体就是感知信号的，所谓的图片信息在大脑中只不过是抽象的表达概念，这并不影响它对视觉系统发来的信号进行学习。（参考文档;作者：许铁-巡洋舰科技）天赋这种抽象化的东西，理由好像没有强劲的说服力。但是从数学上讲，皮层与海马体之间的连接好像在不断的摸索中，获得了特定的激活函数（activationfunction），这相对于深度学习的神经网络来说，天壤地别。

2.2空间魔术师

1971年，O’Keefe在海马的CA3区和CA1区内发现了位置细胞（placecell）。一个特定位置细胞会在个体进入特定的位置区域时，激活达到最强；该位置称为细胞的位置域（placefield）。个体在进入新环境后的几分钟内，位置域就会被确定下来，并且可以稳定存在几个星期到几个月（Kandeletal.,2013）。如果认真学习过深度学习，以及神经元对信号处理这一部分有一定了解的化。对于上述所讲的调优，（无非是为了让神经细胞能对信号进行极强表述力的分类。）神经递质的类型、复杂的突触微结构、基于链接的化学信号的影响等等，这些影响传递神经递质的种种因素，会不会使神经元产生天然的激活函数？(有没有大佬在研究这个？)图片来自于此链接,图：内嗅皮层与海马投射的关系看到这图，我的第一反映：RNN。海马体可能具备着RNN的所有特性。学习本身就是一个循环的过程，只是在循环的过程中会产生不同的权重。假设脑中的海马体和内嗅皮层是空间魔术师集合体。这些魔术师对信号数据不停的进行“空间的扭转”，从而达到自己的目的。图片来自此连接

2.3K次

小编讲一些不相关的东西。如何成为智慧？从数据，到信息，到知识，再到智慧。这些是数据的最小单位成指数级增长而产生的。数据的产生达到一定量的时候，就会成为信息，对信息处理达到一定量的时候，就会产生知识，对知识的学习达到一定量的时候，就会成为智慧。它们之间是有层次的，智慧处于尖端的位置。神经元在产生信号的时候，会产生动作电位。这个动作电位根据物理知识可求出出H电位和L电位。引入数学思想就是”1“和”0“。这两种信号的组合，也就是数学中的“二进制”。这些二进制产生的数据，通过组合传递就会下“信息”，同时成为“空间魔法师”的练习对象。在空间魔法师进行K次的练习和实验，每个魔法师都学了各种不同的属性魔法。(小编认为，睡眠的时候，他们对魔法练习学习与实现产生的巨大反应，可能使我们进行了一场或者多场梦境)。这些情景经历了无数次之后，有些对皮层产生的影响是巨大的，有些很薄弱，很短暂。根据发生频率不同，神经元慢慢对数据产生一定地”认知“。比如，红，绿，蓝这3个光波进入到我们眼睛里时候，神经皮层就会有进行分类的操作，即使幼儿时的我们不知道红，绿，蓝这RGB。我们后期会通过联想学习进行语义定义从而加深这一过程。这样，我们在学习一张图片的时候，要比深度学习神经网络快的多。因为在此之前，我们的视觉神经系统已经对图像进行处理了将近几年，处理的数据量也远远的高于神经网络。并且，各类神经在一直进行视觉的处理，学习着，并运行着。所以我们对图像产生的学习方法要比神经网络高明的多。但是达不到最新深度学习预测的准确度。下一篇文章，我将写关于人类学习方法与数据结构和深度学习的差别。

读到这里的，谢谢你们的支持。

初篇文章就写到这把，忘我了好几天，一直在思考和查看资料。

里面有些文字，图片引用涉及到侵权的，请发邮箱zero_0011@163.com