个人觉得，虽然这几个方向往深究，都涉及相对较深或者复杂的数学知识，但普通人也不要把这个门槛想象得过高，不要有畏难心理。掌握一定方法，学会、掌握并灵活运用这些方法并不难，与数学基础的相关性并不是那么大，原因主要有：

1、首先学会用并不难。现在各种机器学习、深度学习方法都有封装得很好的库和文档，比如机器学习的scikit-learn库。各种传统机器学习模型都封装在里面了，大家只要掌握了接口的调用方式和模型的适用场景，就可以基本正确的将它们用起来，即使不懂背后的数学原理。

2、其次单个模型涉及的数学知识有限。机器学习和深度学习的方法和模型虽然不少，但大多涉及的数学知识都是相对局限，并没有类似于一个建立在另一个之上的那种关系。因此，非常适合采取逐步击破的策略。当前需要搞懂哪一个，就重点学习这个。首先学会怎样用，然后理论结合实际的推动理论学习。就相对有限的东西，大家肯下功夫，与数学基础好不好的关系真的不是那么大。

3、再次，只要肯下功夫，数据基础不好甚至对上述方向的科研工作影响也不大。做科研，写论文也是一种有规律的社会活动。大家在基本确定研究方向后，一般来说涉及的背景知识也是有限的。通过文献调研，读论文，该方向涉及的数学知识也是可以弄明白的，不至于因为数学基础不好而搞不下去。对于搞不下去的同学，自己应该多想想自己在努力程度或是学习方法上，是否还存在改进的地方。

最后再总结一下核心观点：事在人为，大家只要有决心，肯努力，数学基础差点，不影响学习深度学习，机器学习，人工智能这些方向。

统计深度学习与最优传输理论，传统方法vs深度学习，符号主义与联结主义

统计深度学习与最优传输理论传统计算机视觉方法与基于统计的深度学习方法符号主义与联结主义

  

本文多处摘引自当深度学习遇到3D，并记录一些自己的理解。

统计深度学习与最优传输理论

  统计深度学习的理论框架可以用范畴语言来描述，范畴包括流形上的概率分布和流形间的变换。数据集是流形上的概率分布，深度神经网络表达流形间的变换。生成模型是从流形分布中随机采样，图像去噪是向流形投影，迁移学习是计算流形间的映射，对抗样本是寻找分布之间的缝隙。  在该篇文章中，作者认为，深度学习成功的本质原因在于深度学习方法抓住了数据的内在模式，而数据的内在模式可以归结为流形分布律：一类自然数据可以表示成低维流形上的一个概率分布，而这个低维流形嵌入在高维的数据空间之中。如下图所示，人脸图片是一类自然数据，每张图片被视为一个点，这类数据被视为一个点云，嵌入在图像空间之中。图像空间的维数等于每张图片的像素个数乘以通道数目（512x512x3），大约78万维。而人脸图片点云只集中在某个低维流形附近，此流形的维数大约一百几十维左右。人脸图片点云在此流形上的分布不是均匀的，不同的民族和年龄对应的分布也不相同。  因此，深度学习的核心任务有两个：降维和概率变换。降维就是将数据流形从图像空间映射到隐空间，即所谓的编码映射，将每张人脸图片映射到隐空间（latentspace）的一个点，即特征向量。编码映射的逆映射为解码映射，将隐空间映射回数据流形。所谓概率变换，就是在隐空间或者图像空间中，将一个概率分布变换成另外一个概率分布。  作者通过最优传输理论来解释生成对抗模型，比如：我们希望生成逼真的人脸图片，那么现在人脸流形上稠密采样（即收集大量的人脸图片），得到人脸图片所组成的点云，我们利用这个点云（数据集）来离散逼近人脸图片的数据流形。然后，通过深度学习的方法，例如自编码器，将数据流形编码到隐空间，同时再将隐空间解码到原来的数据流形上。注意所有的计算都是基于离散的点云，如果我们用ReLU深度神经网络，那么编码映射和解码映射被表示成分片线性映射。这一点非常类似传统的有限元方法（finiteelementmethod）；在隐空间，我们将单位立方体内的均匀分布，用最优传输映射（optimaltransportationmap），映射到人脸图片集合在隐空间上的分布。生成人脸图片的过程如下：我们先从均匀分布中随机采样一个样本，通过最优传输映射到隐空间数据分布中的一个样本，再用解码映射，映射回原数据流形上的一个点，结果就是一张逼真的人脸图片。上图的人脸图像都是如此随机生成的。  关于最优传输理论，WGAN就是基于它提出了Wasserstein距离，推荐下面两篇文章对它进行理解：【1】最优传输理论在机器学习中的应用；【2】传说中的推土机距离基础，最优传输理论了解一下  最优传输理论的解释进一步揭示了深度学习所面临的本质困难：模式崩溃。如下图所示，我们用Alexandrov定理（亚历山大定理）来计算实心兔子内部的均匀分布和球体内部的均匀分布之间的最优传输映射。我们看到兔子边界曲面的像在球体内部形成复杂的皱褶，因此从球体到兔子的保概率映射在这些皱褶处间断。这意味着概率变换映射通常是非连续的，但是深度神经网络（DNNs）只能表达连续映射。这一本质矛盾，使得生成对抗网络的训练难以收敛，经常发生模式崩溃（modecollapse）。  上图给出了模式崩溃的几何解释。

传统计算机视觉方法与基于统计的深度学习方法

  传统的计算机视觉研究模式注重从理论上解释现象，用变分法、偏微分方程来描述自然或者工程现象，建立数理模型，用数学算法求解方程，得到结果。为了保证理论的严密性，我们需要证明解的存在性，唯一性，解的正则性；算法的收敛性，稳定性，离散解到连续解的收敛性。这需要多年学习艰深的理论，对于复杂的偏微分方程，每一项成果都要耗费多年的心血。统计学习的模式注重收集输入、输出数据集，拟合出相应的映射，从而直接得到“端到端”的系统。统计学习的研究过程省略了数理建模，同时也不必分析解的存在性、唯一性、正则性，以及算法的稳定性、收敛性。从理论角度而言，这一研究范式极大地降低了理论研究的难度。但是，由于研究的随机性增加，对于工程能力的要求有相应提高。由于对学生理论素养的要求降低，大量年轻学生投入到这一领域。  对于这一研究范式的转变，学者们的反应是不同的。数学家朋友们对于会议上深度学习的论文演讲不太满意。他们倾向于认为深度学习的演讲内在的严密性、系统性、可重复性都差强人意，用模糊的直觉代替严格的逻辑，用以偏概全的实验结果来代替理论推导，用统计的相关性代替数理的因果性，因此很难真正令人信服。数学家们认为深度学习会遇到发展的瓶颈，到那时必然会回归理论。计算机科学家们倾向认为数学家们的观点比较迂腐，不能因为严密性要求而阻碍大胆尝试，目前理论解释苍白无力而无法跟随实践如火如荼的迅猛发展。  其实，目前统计深度学习主要是归纳总结经验公式，犹如历史上的开普勒。他基于前人世代积累的观测结果，总结出了天体运行的开普勒三大定律。这些定律是唯象理论，即虽然它们可以精确预测天体的运行轨道，天体在特定时间的位置和速度，但它们知其然不知其所以然，无法给出完美解释。而传统的研究方法注重理论解释，犹如牛顿。牛顿给出的力学三大定律，真正解释了天体运行规律，除了蕴含了开普勒定律，还可以适用于动力学领域。  对于急功近利的商业应用而言，唯象的经验公式足够满足要求。或者一种现象背后，无法确定存在确定性的客观规律，例如金融市场，这时经验公式成为首选。目前的计算机算力比十年前增长了数十万倍，采集数据的技术发展更是一日千里，这些都为统计深度学习的爆发提供了条件。到目前为止，深度学习几乎成为视觉大会的主流。整个大会洋溢着异常亢奋的情绪，无数年轻的面孔，喷发着火热的激情。似乎对于所有的问题，只要知道存在输入、输出之间的映射，那么深度学习方法都可以放手一搏。  但是，经验公式无法揭示深刻的自然规律，超越经验公式而建立理论，一直是人类智力文化发展的主流。纯粹数学的发展一直主要以自身的逻辑自洽为推动力，对于经验公式的依赖非常有限。很多抽象的几何理论也无法收集数据，例如曲面上的双曲度量，虽然理论上我们知道其存在性，但是它们无法等距嵌入到三维空间之中，因此在现实世界中，我们无法直接观测到双曲曲面。理论物理也是如此，广义相对论的建立，也是先从理论进行突破，从而预言了引力波的存在，几十年后人类才真正才实现了观测。  令人忧虑的是目前年轻学生趋之若鹜地争当开普勒，没有人再学习艰深的理论，这样会引发牛顿式人才的断层。与深度学习相比，学习几何拓扑、偏微分方程，需要太长的时间，并且在信息工业市场，经济回报率非常之低。但是金融市场，目前需要顶级人才具有雄厚的数理基础，而非以前所重视口才和情商。目前，美国金融市场的量化交易人才，多培养自欧洲和中国，几乎没有美国本土人才。在未来，这一现象将会进一步加剧。

符号主义与联结主义

  人工智能有两大分支：联结主义和符号主义，关于联结主义和符号主义可以参考如下文章：人工智能中的联结主义和符号主义。**统计深度学习属于联结主义，目的在于学习各种概率分布，而符合主义主要用于概念之间的逻辑推理。**符号主义的最主要算法就是Grobner基方法和吴方法。而同伦方法和不动点理论相结合，正是求解代数系统的通用方法。人们一直认为统计学习的方法只能处理低层次感知问题，对于高层次的认知问题应该采用符号主义方法。这两大方向的融合，将是人工智能发展的未来。  人类记忆力和运算能力和计算机无法相比，但是人类具有从现象提取抽象概念的能力，而这正是符号主义和连接主义之间的桥梁，也是人类与计算机智慧的本质差别。  增强学习方法能否自行从海量的摸索中提炼出抽象的群论概念，发现一些基本的引理，从而不再需要人类的理论指导，达到最优？这个问题击中了人工智能的软肋：自行提取抽象概念。目前符号主义的方法可以完成符号演算，但是将实际的命题转换成符号，以及演算过程的中间结果的直观理解，却只能由人类完成。由此可以，提取抽象概念是人类智能和人工智能的一个本质差别。  伽罗华提出的群论概念是古典数学和现代数学的分水岭。他当初提出群论的原因之一在于对繁琐计算的厌倦。无限次低层次的尝试，无法证明或者证伪高层次的命题。例如，无限次尺规作图的尝试，都无法证明或者证伪三等分角算法的存在性，这一命题只能用伽罗华域理论来证明。高等动物都和人类有类似的感情，但是抽象概念的能力却是人类所特有的。老顾辅导过中学生，仔细考察过他们抽象思维能力的发展。虽然他们没有学过群论，但是他们都能够自行悟出基本的群论概念和定理，例如群元素阶的概念。这似乎是人类生来与之的能力。人类的知识积累，也是逐步将抽象的概念进一步抽象到更高的层次。  那么，计算机是否具有归纳总结出抽象概念的能力呢？希尔伯特曾经坚信形式化的公理方法可以统一数学，最终哥德尔的不完备定理证明了公理化方法内在局限。那么，图灵机是否能够提取抽象概念？或许也存在某个类似的哥德尔定理，使得这种能力成为人类在计算机面前保住的最后一道防线。