深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。

深度学习的概念由Hinton等人于2006年提出。基于深信度网(DBN)提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。

深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。

同机器学习方法一样，深度机器学习方法也有监督学习与无监督学习之分.不同的学习框架下建立的学习模型很是不同.例如，卷积神经网络(Convolutional neural networks，简称CNNs)就是一种深度的监督学习下的机器学习模型，而深度置信网(Deep Belief Nets，简称DBNs)就是一种无监督学习下的机器学习模型。

把学习结构看作一个网络，则深度学习的核心思路如下:

①无监督学习用于每一层网络的pre-train;

②每次用无监督学习只训练一层，将其训练结果作为其高一层的输入;

③用监督学习去调整所有层；

深度学习在大数据集上的表现比其他机器学习(ML)方法都要好(稍后将讨论例外情况)。这些又如何转化为现实生活中的情形呢?深度学习更适合无标记数据，因而它并不局限于以实体识别为主的自然语言处理(NLP)领域。