神经网络与深度学习有什么区别？
从广义上来讲，深度学习也就是深度神经网络DNN，目前已经融合了各种各样的神经网络结构，比如CNN、RNN及其各种变种结构。神经网络和深度学习已经相互交融。在这里我们通过回顾神经网络的发展历程，去搞清楚各种网络结构发展的初衷和他们之间的区别。神经网络在上世纪五、六十年代就已经被提出来了，当时还不叫神经网络，而叫做perceptron，它有输入层、输出层和一个隐含层。
输入的特征向量通过隐含层变换达到输出层，在输出层得到分类结果。当时碍于计算机技术的落后，感知器传输函数是用线拉动变阻器改变电阻的方法机械实现的，试想一下当时的科学家在实验室面对密密麻麻的导线的样子，那时候硬件条件真的是太艰苦了。早期单层感知机的推动者是Rosenblatt，而单层感知机的最大问题我们都知道就是对稍复杂一些的函数都没有办法表达，比如：异或。
因此当时的单层感知机是十分的鸡肋了。直到上世纪八十年代才Hinton等人提出了多层感知机（Multilayer Perceptron）克服了单层感知能力有限的问题。多层感知机的结构： 这时候的多层感知机就是我们现在说的全连接神经网络，它启示我们神经网络的层数直接决定了它对问题的刻画能力，但是随着神经网络层数的加深，问题也逐渐凸显，就是优化函数越来越容易陷入局部最优解，偏离真正的全局最优。
利用有限数据训练的深层网络，性能还不如较浅层网络（神经网络并不是越深越好）。与此同时，另一个严重的问题是随着网络层数增加，“梯度消失”现象更加严重。比如在利用sigmoid作为神经元的激活函数时，对于幅度为1的信号，在反向传播梯度时，每传递一层，梯度衰减为原来的0.25，随着层数的增加，低层基本接受不到有效的梯度更新。
到了2006年，Hinton利用预训练方法缓解了局部最优解问题，将隐含层推动到了7层，也再一次激起了深度学习的热潮。这里所说的深度没有确定标准，比如在语音识别领域中4层网络就能够被认为是“较深的”，而在图像识别中20层以上的网络都十分常见。此外，为了解决梯度消失的问题，ReLU，tanH等激活函数代替了sigmoid。
此外，在2016年清华学霸何凯明提出的深度残差网络，让深度学习变得超级深，网络层数达到100多层。至此，DNN的发展又面临一个不可避免的问题——参数爆炸，网络的的深度到来的性能的提高，与此牺牲的是对训练数据的大量需求和过拟合现象。这时我们要引出卷积神经网络（CNN），CNN能以“卷积核”为中介，使得同一个卷积核在所有图像内是共享的，通过CNN特有的卷积、池化操作能大幅度降低全连接神经网络的参数，利用有限数据也能得到效果良好的模型，CNN在捕捉图像的局部特征方面效果是有目共睹的。
但现实生活中，我们还有大量的时序数据需要处理，比如语音、文字等，面对这样的问题，我们就需要召唤循环神经网络RNN以及它的各种变种了。在普通的全连接网络或CNN中，每层神经元的信号只能向上一层传播，样本的处理在各个时刻独立，因此又被成为前向神经网络(Feed-forward Neural Networks)。
而在RNN中，神经元的输出可以在下一个时间戳直接作用到自身，即第i层神经元在m时刻的输入，除了（i-1）层神经元在该时刻的输出外，还包括其自身在（m-1）时刻的输出。表示成图就是这样的： 最后，不论是哪一种神经网络，在实际应用时，需要结合具体问题分析哪一种网络更加适合，而且各种神经网络之间也往往混搭。
什么是深度学习，怎么学习深度学习？
什么是深度学习？深度学习：在批判性思维下去学习，通过整理、反思、总结等步骤去寻找解决问题的方式，并在这个过程中得到持续的学习。举个栗子，来理解一下这个概念。比如现在有小明、小红、小李三位同学，他们在学习中是不一样的。具体表现如下：小明同学 属于被动学习，要在老师和家长严格要求下，才能去写作业，背诵知识点。
对书本上的知识点，大部分是通过笔记和背书来达到记忆的目的，没有去完全理解，自我学习反馈机制没有形成闭环。小红同学 属于半主动学习，能够提前预习知识点，也能够根据课后作业发现自己错误的知识点，然后再去找同等类型题，加强自己对知识点的理解。能够形成闭环，但是闭环过小。小李同学 属于主动学习，能够根据自己学习的知识点，对知识进行归纳、总结、输出。
文章TAG：神经网络 深度 现有 突破
