这并不是一个新思想；神经图灵机（https://arxiv.org/pdf/1410.5401.pdf，这是我读过的第一篇而且是最喜欢的论文）使用了一种可微分的外部记忆存储来增强神经网络，可以通过指向特定位置的向量值的「读」和「写」头来访问。
神经网络是什么？
神经网络旨在通过构建多层次（输入层、隐层、输出层）的机器学习模型和海量训练数据来学习更有用的特征，能够构建复杂的人工智能模型，从而模拟人脑解决人工智能问题。2006年Hinton等人提出“深度学习”神经网络以后，人工智能在技术上经过5-8年的沉淀后获得突破性进展，自2012年以来，以“卷积神经网络（CNNs）”和“递归神经网络（RNN）”为主的深度学习模型使得复杂任务分类准确率大幅提高，相比其他算法效果和效率改善显著，从而推动了以图像处理、语音识别以及语义理解技术为核心的人工智能的的快速发展。
神经网络的目标旨在用简单的独立结构构建出复杂的数学模型。在单独的节点和节点之间是简单的线性模型，而当层数变多，节点数变多的时候，整个模型构建出了非线性的特征，具有强大的数学模型效果，通过数据学习出适合特定数据的网络参数，从而适应极为复杂的现实情况。深度学习用通俗的说法来看，就是层数较多的神经网络。最基础的神经网络模型是前馈神经网络，这是最基础的模型，其他的神经网络结构的逻辑结构和训练方式都基于这个模型。
神经网络模型可以看作是一个黑箱子，外部很多观测到的特征，这些特征按照模型要求作为输入节点，数据在这些节点中按照自己的特征输入，这个模型的目的是通过一个较为复杂的结构得到目标值。其实不用把神经网络想得有多么高深，其实中间的每个节点的连接只是最简单的线性方程。我用通俗的方式打个比方，如果我们把一个人的特征进行数学表达，然后判断他是什么性别，我们用神经网络可以这样来表示，中间的黑箱就是神经网络：这个黑箱过程是一个很复杂的结构，这些结构就是所谓的隐层节点，隐层节点相互之间连接是通过线性结构连接的，他们可以是一层也可以是多层，每一层的节点数可以是任意的，当调整好结构之后，数据就可以根据训练数据学习出特定的模型，这个模型中隐含了数据的模式，在未来遇到不曾遇到的数据之后这些数据就会通过学习到的结构得出想要解决的目标。
在这里，对输入端特征的选取和把目标问题转化成模型的输出是需要去尝试的，当可以将实际问题转化成神经网络能够处理的问题之后，隐层结构的构建也是需要经验的。神经网络最重要的几个概念就是前向反馈，反向反馈，权重更新，具体来说我可以用单层神经网络的训练过程做一个解释。我们给定了样本的输入值x,样本的输出值y,神经网络的权重w，这个单层的神经网络可以表现为如下形式：我们在神经网络中的每一个步骤都有一个权重w，那利用这组输出权重与我们的样本输出值会形成一个误差值我们现在要做的是，根据这个误差来自动调整我们的权重，并且权重变化方向是收敛结果走的，这里我们用了梯度下降方法。
这是某一个节点的梯度变化过程：尽管这是单层的训练过程，多层神经网络的过程是一个叠加，我们所谓的卷积神经网络是在维图像上用一个卷积操作做了一个节点的编码，过程也是类似的。现在所谓的深度学习就是层数很深的神经网络，近年来随着计算性能的提升，神经网络结构的发展，很多过去的人工智能任务得以用神经网络end-to-end得实现。
人工智能深度学习是什么？
曾被MIT技术评论列为2013年十大突破性技术（Deep Learning居首），它是以ML中的神经网略学习算法存在的。人工智能现阶段分为弱人工智能和强人工智能，神经网络摇身一变成了如今的DL。学界对DL一般有两种看法，实际上当下科技能实现的所谓“人工智能”都是弱AI，仅仅用起提取powerful feature；而另一种则希望将其发展成一个新的学习分支，即end-to-end）说不定就是实现未来强AI的突破口1。
或者换句话说. 深度学习与AI。在DL还没有火起来的时候。DL与ML两者其实有着某种微妙的关系，随着计算资源和big data的兴起，奥创那种才是强AI（甚至是boss级的），也就是我上面说的end-to-end的“深度学习的思想”。本质上来讲，人工智能相比深度学习是更宽泛的概念，深度学习这种技术（我更喜欢称其为一种思想。
文章TAG：神经网络 深度 现有 突破
