单变量线性回归 ：f(X)=ax+b tf.keras实现
损失函数：
使用均方差作为成本函数 预测值和真实值之间差的平方的平均值
优化：
找到合适的a和b ，使得Z = (f(x)-y)^2/n越小越好
使用梯度下降方法。
梯度下降算法：致力于找到函数极值点的算法
梯度的输出向量表明了在每个位置损失函数增长最快的方向。
Z = (f(x)-y)^2/n 受a,b影响
线性回归模型 -- 单个神经元：
计算输入特征的加权和 然后使用一个激活函数(或传递函数)计算输出
多层感知器(神经网络)：神经元互相连接，多层网络
输入层->隐含层->输出层->输出 层数越多，模型拟合能力越强
激励函数：relu Sigmoid
逻辑回归与交叉熵
逻辑回归给出 “是”与“否” 利用Sigmoid概率分布函数 给定某个输入，输出一个概率值
对于分类问题，最好使用交叉熵损失函数会更有效，会输出一个更大的“损失”
实际输出（概率） 与期望输出（概率）的距离，交叉熵越小，两个概率分布越接近。
概率分布p为期望输出 激活函数使用Sigmoid
概率分布q为实际输出
H(p,q)为交叉熵 keras中用binary_crossentropy 计算二元交叉熵
softmax多分类
对数几率回归解决的是二分类的问题，
softmax是对数几率回归在N个可能不同的值上的推广 要求每个样本必须属于某个类别，且所有可能的样本均被覆盖
softmax个样本分量之和为1 当只有两个类别时，与对数几率回归完全相同
在tf.kreas里，对于多分类问题
categorical_crossentropy 和 sparse_categorical_crossentropy 计算softmax交叉熵
label是顺序标签用第二个（1,2,3,4,5...）
label进行独热编码时用第一个
独热编码 onehot
如 beijing[1,0,0] 将其编码。 突破了10的限制
shanghai[0,1,0]
shenzhen[0,0,1]
Fashion MNIST数据集
MNIST数据集包含手写数字(0,1,2等)的图像
优化函数
梯度下降算法
优化器（optimizer）是编译模型所需要的两个参数之一
可以先创建一个优化器对象再传入model.compile()
或通过名称来调用优化器，将使用优化器的默认参数。
SGD：随机梯度下降优化器
RMSprop：卷积，训练循环神经网络RNN的不错选择
Adam：对超参数的选择不敏感。 学习率建议为0.001 可基于训练数据迭代地更新神经网络权重
optimizer = tf.keras.optmizers.Adam(lr=0.01)
学习速率
梯度就是表明损失函数相对参赛的变化率
对梯度进行缩放的参数被称为学习速率（learning rate）
学习速率是一种超参数或对模型的一种手工可配置的设置
反向传播算法
高效计算数据流图中梯度的技术
每一层的导数都是后一层的导数与前一层输出之积
网络优化与超参数选择
网络容量
可以认为与网络中的可训练参数成正比
容量越大 神经单元越多，层次越多，神经网络的拟合能力越强 但是容易过拟合
超参数
搭建神经网络中，需要我们自己去选择的参数。
提高网络的拟合能力
增大网络容量
增加层 大大提高拟合能力（注意过拟合）
增加隐藏神经元个数 效果不明显 但是不能太少， 太少会欠拟合
欠拟合
神经元个数太少，无法容纳整个层的信息。造成信息丢失。
在训练数据上，得分很低。在测试数据上得分也比较低
Dropout抑制过拟合与超参数选择
过拟合
在训练数据上，得分很高。但是在测试数据上得分较低
Dropout
人为丢弃单元
取平均的作用
减少神经元之间复杂的共性关系。
类似于性别在生物进化中的角色。
参数选择原则 -理想模型 刚好在欠拟合和过拟合的界线上，正好拟合数据
首先开发一个过拟合的模型 - 确保有足够的拟合能力
添加更多的层
让每一层变得更大
训练更多轮次
然后，拟制过拟合
dropout
正则化
图像增强
增加训练数据
再次，调节超参数
学习速率
隐藏层单元数
训练轮次
超参数的选择是一个经验与不断测试的结果
特征工程
增加训练数据
交叉验证
总原则
增大网络容量到过拟合
采取措施拟制过拟合
继续增大容量，直到过拟合
函数式API - 将每一层看做一个函数
可调用
