英文原文地址:Deep Learning Tutorials
译注:本文是http://deeplearning.net 系列教程的第一章,虽然有些旧,但我觉得还不错,就试着翻译了一下,顺便也是温故知新。如有错误或者建议,请不吝斧正。文中包含的链接为原文中的链接,随着翻译进行我会逐步将部分链接替换为翻译好的文章地址。
深度学习是机器学习研究的新领域,目的是让机器学习更接近“初心”:人工智能。可以看这两篇英文文章brief introduction to Machine Learning for AI和introduction to Deep Learning algorithms。
深度学习研究的目标就是学习多层表达和抽象,使得(机器)能理解图片、语音和文本之类的数据。更多关于深度学习的算法见下面的的例子:
- 专题论文和评论文章:Learning Deep Architectures for AI(机器学习的基础和趋势,2009)。
- 国际机器学习大会(ICML2009)关于学习特征层次的研讨会,网页及其中的一些引用。
- LISA公开wiki包含了一些阅读清单和书目。
- Geoff Hinton在2009年NIPS教程的读物。
本教程将会向读者介绍深度学习中最重要的一些算法及如何在Theano上运行这些算法。Theano是一个python库,我们用它可以很容易写出深度学习的模型,并可以选择在GPU上训练。
算法教程需要读者有一定基础。你应该使用过Python并熟悉numpy。本教程是关于Theano的,读者可以先阅读读这篇Theano基础教程。之后,可以再阅读下一章入门——该章介绍了记号表示法,教程中用到的模型(可下载),以及我们对随机梯度下降法的优化方式。
以下这些纯监督学习算法需要按顺序阅读:
非监督学习和半监督学习算法可以按任意顺序阅读(自编码器可以独立于RBM/DBM):
- 自编码器和去噪自编码器——自编码器的描述
- 堆叠的去噪自编码器——深度网络的非监督前训练入门
- 受限玻尔兹曼机(RBM)——单层生成式RBM模型
- 深度信网络——堆叠RBM的非监督生成式前训练及监督式的调优
关于mcRBM模型,我们有一个新的关于从能量模型采样的教程:
- HMC采样 - 混合(又名汉密尔顿)蒙特卡洛采样与扫描
关于压缩型自动编码器教程,我们现在有了代码:
- 压缩型自动编码器——代码中包含了基本文档
包含词嵌入和上下文窗口的循环神经网络:
LSTM网络与情感分析:
基于能量的循环神经网络(RNN-RBM):
本教程的代码兼容Python2和Python3,除了Modeling and generating sequences of polyphonic music with the RNN-RBM一节只提供Python2的实现。