随机梯度下降算法应用于深度神经网络的训练，但却碰到了梯度消失（vanishinggradient）或梯度爆发（explodinggradient）的问题，导致学习过程异常缓慢，深度神经网络基本不可用。

然而，从2006年开始，人们开始使用一些新的技术来训练深度网络，不断取得了突破。这些技术包括但不限于：

采用卷积网络（convolutionaworks）；

Regularization（dropout）；

Rectifiedlinearunits；

利用GPU获得更强的计算能力等。

深度学习的优点显而易见：这是一种全新的编程方式，它不需要我们直接为要解决的问题设计算法和编程，而是针对训练过程编程。

网络在训练过程中就能自己学习到解决问题的正确方法，这使得我们可以用简单的算法来解决复杂的问题，而且在很多领域胜过了传统方法。

而训练数据在这个过程发挥了更重要的作用：简单的算法加上复杂的数据，可能远胜于复杂的算法加上简单的数据。

深度网络往往包含大量的参数，这从哲学原则上不符合奥卡姆剃刀原则，通常人们要在调整这些参数上面花费巨大的精力；

训练深度网络需要大量的计算力和计算时间；

过拟合（Overfitting）问题始终伴随着神经网络的训练过程，学习过慢的问题始终困扰着人们，这容易让人们产生一种失控的恐惧，同时也对这项技术在一些重要场合的进一步应用制造了障碍。

<aonclick>防采集，自动加载失败，点击手动加载，不支持阅读模式！

禁止转码、禁止阅读模式，下面内容隐藏，请退出阅读模式！

</aonclick></divid>