1.线性回归的基本要素
优化函数步骤：(1)初始化模型参数，一般来说使用随机初始化；(2)我们在数据上迭代多次，通过在负梯度方向移动参数来更新每个参数。
2.线性回归模型从零开始的实现
3.softmax回归是一个单层神经网络
4.O=(XWh+bh)Wo+bo=XWhWo+bhWo+bo. 输出层权重参数为WhWoWhWo，偏差参数为bhWo+bo
5.文本预处理通常包括四个步骤：
读入文本；分词；建立字典，将每个词映射到一个唯一的索引（index）；将文本从词的序列转换为索引的序列，方便输入模型
6.分词存在的缺点：(1)标点符号通常可以提供语义信息，但是我们的方法直接将其丢弃了
(2)类似“shouldn't", "doesn't"这样的词会被错误地处理
(3)类似"Mr.", "Dr."这样的词会被错误地处理
7.一段含有4个词的文本序列的概率 P(w1,w2,w3,w4)=P(w1)P(w2∣w1)P(w3∣w1,w2)P(w4∣w1,w2,w3).
