CS224d-Day 10:
Recursive neural networks -- for parsing
课程链接
视频链接
课件链接
本文结构：
- Recursive NN 是什么
- Recursive Neural Networks 和 Recurrent Neural Networks
- Recursive NN 可以用来做什么
- 怎样做到的
- 算法代码
- Recursive NN 是什么
Recursive Neural Networks 可以用来表达长句子，将一个句子映射到向量空间。
通过分析出句子的 parsing tree 的结构，把一个句子拆分成几个小组成单元，然后可以替换其中的一些部分，进而得到一些相似的句子，比如把这个 NP 名词短语，换成另一个 NP 名词短语。
这些句子由不同的短语组成，但是表达的意思却是一样的，在向量空间中，它们的距离也会很近。例如 ‘the country of my birth’ 和 ‘the place where I was born’ 意思一样，向量空间上的表达也就很近。
- Recursive Neural Networks 和 Recurrent Neural Networks
想要分析数据的 hiearchical structure 的时候，Recursive NN 要比 Recurrent NN 更有效一些。
Recurrent NN 是 Recursive NN 的一种特殊形式，一个 链 可以写成一棵 树 的形式。
Recursive NN 可以返回树上每个节点的向量表达，Recurrent NN 在任何时候返回一句话的向量。
- Recursive NN 可以用来做什么
Recursive NN 可以用一个很好的方式来描述句子。
可以识别句子中的成分，可以通过替换组件来形成同样合理的句子，可以处理歧义问题，分析句子的语法结构，语义结构，理解一段话的指代词的含义。
可以学习到一个句子里哪个组成成分更重要，比如VP比NP更重要。可以学习到哪几个句子意思相近。
- 当我们需要学习句子的结构的时候，会用 Recursive Neural Networks 来的到 parsing tree。
- 也可以用来做 sentiment analysis，因为这个情感喜好的结果，不仅仅和单词本身有关，还和句子组成和顺序有关。
- 还可以用来分析图片的组成，比如它可以分析出房顶，二层楼，一层楼，并组成一个房子。
- 怎样做到的
RNN 的输入是句子，输出是一个 parse 树结构。
下图是一个最标准的神经层，W 在整个网络中是一样的。
有个拓展模型 Syntactically-United RNN，是根据不同的组成成分使用不同的 W
RNN由三部分组成，根，左叶子，右叶子，也就是一个 Binary Tree。
它的每个节点上由一些神经元组成，神经元的个数由句子的复杂程度决定。
叶子是接收数据的，也就是向量，根是分类和评分的。
第一步，会先把句子的结构学习出来。
单词两两组合，进行评分，再作为一个整体，和后面的一个单词组合，再评分。
两个单词如果应该放在一起，就会得到高分，否则分数较低。
一个句子会得到多个结构，用 Greedy 选择其中分数最高的，作为最终的树结构。
用 Max Margin 来学习最优的树结构。每个 i 代表一个句子，A(x_i) 是包含 x_i 的所有可能的树，当 y 与 y_i 一样时，delta＝0.
模型训练时，通过比较 labeled 数据，比较合适的结构和预测的结构，用 BTS 使误差达到最小。
第二步，再为结构中的每个小部分找到合适的语法标签，判断是什么成分的短语，是NP名词短语，VP动词短语，还是PP介词短语等。
- 算法代码
定义线性的神经元，做内积 W(left + right) + b
用 softmax 对每个点做 classify
node.probs -= np.max(node.probs) 这个技巧可以保证stable
下面的代码就是计算红色框里的式子
[cs224d]
Day 1. 深度学习与自然语言处理 主要概念一览
Day 2. TensorFlow 入门
Day 3. word2vec 模型思想和代码实现
Day 4. 怎样做情感分析
Day 5. CS224d－Day 5: RNN快速入门
Day 6. 一文学会用 Tensorflow 搭建神经网络
Day 7. 用深度神经网络处理NER命名实体识别问题
Day 8. 用 RNN 训练语言模型生成文本
Day 9. RNN与机器翻译
Day 10. 用 Recursive Neural Networks 得到分析树
Day 11. RNN的高级应用
我是 不会停的蜗牛 Alice
85后全职主妇
喜欢人工智能，行动派
创造力，思考力，学习力提升修炼进行中
欢迎您的喜欢，关注和评论！
