欠拟合是模型在训练集没有学习到很好的特征，在训练集测试集表现都很差

其中原因可能是

1.数据集的特征表示过于简单，不能表示复杂的对应关系；

2.模型的复杂性也过于简单，没有较强的学习能力

3.为了避免过拟合，正则项系统过大，从而产生欠拟合

普通卷积前后尺寸计算公式

OutputSize = ( InputSize - ConvSize + 2 x Padding ) / Stride + 1

2 卷积神经网络基础

2.1 卷积层

二维互相关运算的输入是一个二维输入数组和一个二维核数组，输出也是一个二维数组，其中核数组通常称为卷积核或过滤器。卷积核的尺寸通常小于输入数组，卷积核在输入数组上滑动，在每个位置上，卷积核与该位置处的输入子数组按元素相乘并求和，得到输出数组中相应位置的元素。

.2 填充和步幅

我们介绍卷积层的两个超参数，即填充和步幅，它们可以对给定形状的输入和卷积核改变输出形状。

填充（padding） 是指在输入高和宽的两侧填充元素（通常是0元素）。

步幅 指在互相关运算中，卷积核在输入数组上滑动，每次滑动的行数与列数即是步幅（stride）。

2.4 卷积层与全连接层的对比

二维卷积层经常用于处理图像，与此前的全连接层相比，它主要有两个优势：

一是全连接层把图像展平成一个向量，在输入图像上相邻的元素可能因为展平操作不再相邻，网络难以捕捉局部信息。而卷积层的设计，天然地具有提取局部信息的能力。

二是卷积层的参数量更少。

2.6 池化

池化层主要用于缓解卷积层对位置的过度敏感性。

3 机器翻译及相关技术

机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。

主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。

NLP注意力机制

常用的有点积注意力和MLP注意力