*反向传播
*Word representation
*Sequence modeling
*反向传播
Review
layer 输出关系，从a 到z的关系
从z到a的关系
输出层关系
神经网络公式
训练集的损失函数
神经网络的梯度下降
梯度下降最优化
image.png
算法最优化
神经网络的梯度下降
正向传播和反向传播
Chain Rule
神经网络梯度下降
*Word representation
文字处理领域：
Knowledge-based representation
Corpus-based representation
from nltk.corpus import wordnet as wn
pandas = wn.synset('pandas.n.01")
hyper = lamda s: s.hypernyms()
list(pandas.closure(hyper))
knowledge-based representation issues: 新词，主观性很强，注释困难，很难计算词与词之间的相似性
基于语料库的表达
^Atomic symbols: one-hot representation
有相同语义的词都有相似的neighbors
