主要提问点
- 写出softmax损失函数代码（python），以及交叉熵损失函数
- 判断和消除过拟合的方法
dropout，正则项，还有其他的方法？ - 正则化的方法与原理
L0，L1，正则化 - batchnorm的原理，要看论文
- 手推正向传播反向传播的向量表达式
梯度消失的原因，除了梯度爆炸/消失以外还应该考虑权值的影响（推完公式里面就能看出来，因为他是链式求导，偏导数相乘）。 - 动量更新
区别于sgd的原因 - 写出几种常见的神经网络
VGGNet、ResNet - Relu激活函数也不能解决梯度消失问题。
会使得神经元失活 - 基本超参数的调整方式（调参）
- 何凯明，提出resnet之前的论文有无了解
