https://www.boyuai.com/elites/

重点留坑内容的代码实践：

1、Kaggle房价预测

2、modernCNN

3、modernRNN

4、注意力机制和Transformer

1、Kaggle房价预测

未经调优的数据的预处理、模型的设计和超参数的选择。

1)查看数据

查看前4个样本的前4个特征、后2个特征和标签（SalePrice）

从这一步开始有疑问，pd.concat()

数据预处理：对连续数值的特征做标准化（standardization）、将离散数值转成指示特征（0、1）

因为python编程水平问题导致代码理解开始出现困难，还因为对pd.get_dummies等功能函数的不熟悉

这一步转换将特征数从79增加到了331，为什么？

.view(-1, 1)的功能：一行转换成一列

https://www.cnblogs.com/MartinLwx/p/10543604.html

训练模型部分的代码理解出现困难，子函数勉强能够看懂其功能。

1要知道流程

2要会每个流程中的子函数写法

复习交叉验证：https://blog.csdn.net/u010451580/article/details/51373081/

还很欠缺，尤其是2.

2、modernCNN：AlexNet/VGG/NiN/GoogLeNet

LeNet、AlexNet和VGG：先以由卷积层构成的模块充分抽取 空间特征，再以由全连接层构成的模块来输出分类结果。

NiN：串联多个由卷积层和“全连接”层构成的小⽹络来构建⼀个深层⽹络。

GoogLeNet：并联

3、ModernRNN：GRU/LSTM/深层RNN/双向RNN

出现明显的拖延、抗拒感。。。

4、注意力机制和Transformer

3) 第三次打卡内容（2月18日-21日）截止打卡时间：2/21-22:00

直播分享（2月18日）

Task06：批量归一化和残差网络；凸优化；梯度下降（1天）

Task07：优化算法进阶；word2vec；词嵌入进阶（1天）

Task08：文本分类；数据增强；模型微调（1天）

19、优化算法进阶(太深了，学不进去了)

Adagrad的自适应学习率没有使用EMA，而是对梯度平方进行累加，因而存在梯度消失的问题

Moving Average解决了Adagrad梯度消失的问题,RMSProp不是直接对梯度平方进行累加，而是使用EMA对上一时刻的自适应学习率的分母进行衰减.

AdaGrad出现梯度消失的原因是自适应学习率分母的不断累加使其存在最终趋于0的可能,当梯度一直不为0时，Adagrad的自适应学习率的分母会不断累加，使自适应学习率趋于0，出现梯度消息的问题.

AdaDelta是基于RMSProp的改进算法，其只有一个超参数,Adelta是基于RMSprop的改进，只需传入EMA的衰减参数.

Adam使用了Momentum算法，其是RMSProp与Momentum的结合

Adam：

Adam使用了Exponential Moving AverageAdam

对大小相差很大数量级的梯度都可以rescale到相近的大小

Adam是RMSProp和Momentum算法的结合，并对EMA权重进行了无偏操作

Adam使用了两次Exponential Moving Average，并且二者使用相同的衰减参数

mt​ 和 v_tvt​ 均使用了EMA，但是二者的衰减参数并不相同

20、word2vec词嵌入基础

one-hot 词向量无法准确表达不同词之间的相似度。

Word2Vec 词嵌入将每个词表示成一个定长的向量，并通过在语料库上的预训练使得这些向量能较好地表达不同词之间的相似和类比关系，以引入一定的语义信息。

Word2Vec 能从语料中学到如何将离散的词映射为连续空间中的向量，并保留其语义上的相似关系。

Skip-Gram 模型的实现：

PTB 数据集：载入数据集、建立词语索引、二次采样、提取中心词和背景词

Skip-Gram 跳字模型

负采样近似

训练模型

除负采样方法外，还有层序 softmax (hiererarchical softmax) 方法也可以用来解决计算量过大的问题。

21、词嵌入进阶（太难）

文本学习难度过大。。。