（Feedforward Neural Network），包含了输入层（Input Layer）、节点数目不定的隐藏层（Hidden Layer）和输出层（Output Layer）。而这样的一个逻辑运算便涉及了层与层之间交互的权重学习问题，更进一步，权重的更新一般又遵循梯度下降的原则。然而，由于我们很难确定隐藏层的期望输出，也就无法高效训练一个多层神经网络。直到后来名为“后向传播”（Back Propagation）算法的出现，最优解才可以通过同时计算同层节点的梯度和权重更新的方式来得到。然而，还是会遇到一些类似于过拟合（Overfitting）等的问题，所以进入到20世纪90年代，神经网络的发展又进入了第二次低谷。
直到2006年，Hinton等人在Salahudinov等地方发表了两篇关于多层次神经网络（“深度学习”）的论文，神经网络又一次掀起了巨浪，且热度远远超过了前两次。神经网络也逐渐进入公众视野，首先是以微软为首的语音识别领域，目前其错误指标已经降到了6.9%以下。而在图片分类领域，卷积神经网络（Convolutional Neural Network）模型取得了巨大突破，通过其层次化的结构将数据抽象地表示出来，可以将错误指标降低到10%以下。实际上如今的神经网络已经应用到各个领域之中，如侦查探索、自动驾驶汽车的研发、图像APP等。
神经网络最早于1943年被人们提及，各类算法模型也在不断迭代更新。从神经网络发展史图来看，这70多年来的波折主要呈现出三次大起大落的趋势，如图3.12所示。然而第三次浪潮会如何发展，是否会迎来第三个冬天，我们也不得而知。在这样一个“区块链+”的时代里，这个答案更是需要实践与时间来揭晓，相信这次的狂澜不会轻易平息。
图3.12
更多内容加载中...请稍候...
若您看到此段落，代表章节内容加载失败，请关闭浏览器的阅读模式、畅读模式、小说模式，以及关闭广告屏蔽功能，或复制网址到其他浏览器阅读！