本文实际是学习吴恩达的深度学习课程作业的学习笔记。
一、目标及步骤
目标：
根据用神经网络实现逻辑回归对猫图片的分类
步骤：
1、建立一个学习算法的基本框架：
- 1 初始化参数
- 2 计算损失函数（前向传播）和梯度（反向传播）
- 3 用最优化算法学习参数
2、实施算法
- 1将以上三个步骤的函数，按照正确的顺序组合到一个函数model（）中去
注意，以上只是算法的基本框架，并不包含数据预处理，数据预处理也是十分重要的一个步骤
二、数据预处理
大致分为三个步骤
- 1 弄清每个数据集的维度和shape
- 2 把图片数据reshape成 向量形式，利于计算
- 3 标准化数据
1、数据集简介
数据集分为四个小部分，分别是训练集X_train，训练集标签Y_train，测试集X_test，测试集标签Y_test。
训练集X_train维度为[209,64,64,3]，第一维代表训练样例个数，后面三维网代表一个图片，可以通过X_train[0]索引到第一个图片。训练集标签Y_train是一维数据，分别对应该图像是不是猫图片，第i个图片是猫，则Y_train[i]=1，反之则为零。
测试集类似。
2、图片扩展成一维数据
2.1、reshape函数中-1的意思
-1表示该位置的维度并不确定，是根据整个数组的所有元素个数以及其余维度位置上的数一起确定的。
比如，数组
X=[[1,2,3],
[4,5,6]]
X.shape = (2,3)
X共有6个元素，那么reshape(X,(3，-1))表示：
- 1、把X重新排列成一个二维数组，其中第一维数是3，第二维的数不确定。
- 2、X 先按行展开成[1,2,3,4,5,6],再按行分配元素。1,2分给第一行，3,4分给第二行，5,6分给第三行。
- 3、得到新的数据
X_new =
[[1,2],
[3,4],
[5,6]]
2.2、reshape(X,(3,-1)).T和reshape(X,(-1,3))的不同
把X reshape后，变成shape为(3,2)的矩阵以后转置得到一个shape为(2,3)的矩阵
并不等于
把Xreshape后，变成shape为(2,3)的矩阵。
个人理解为因为reshape的分配原理导致的不同。
第一部分，X 先按行展开成[1,2,3,4,5,6],再按行分配元素（因为代表行维度的数已经确定为3）。1,2分给第一行，3,4分给第二行，5,6分给第三行。得到新的数据
X_new_1 =
[[1,2],
[3,4],
[5,6]]
第二部分，X 先按行展开成[1,2,3,4,5,6],再按列分配元素（因为代表列维度的数已经确定为3）。1,2,3分给第一列，4,5,6分给第二列。于是得到新的数据
X_new_2=
[[1,4],
[2,5],
[3,6]]
所以，即使对同一个数组，reshape和转置的作用最后得到的数组shape相同，但数组是不一定相同的。这里的“不一定”，比如是二维数组中，另一个维度的数是1，以上两种情况就是相同的了。平时用的时候，也大多是这么用的，不用太纠结-1在前还是在后。
2.3、把数据集reshape成（num_pxnum_px3,num_data）的形式
X_train.reshape(X_train.shape[0],-1).T
这里想要得到的数组是，每一列代表一个图片的所有像素，一共有X_train.shape[0]（即209）列。所以是先把原数据排列好之后按照行进行分配，每一行包含了该图片的所有像素，再转置。利于W.T X计算。
但若是用X_train.reshape(-1，X_train.shape[0])得到的数可能就不一样了，每一列可能包含的像素顺序就很乱，而不是一整个图片的像素。
对于图片数据的处理，需要注意这个，先明确X矩阵是什么形式的
3、数据标准化
数据处理成比较友好的格式以后，还需要进行标准化。
这里比较简单，每个元素都除以像素的最大值255即可。
三、算法的大致框架
1、算法的数学表达
- 1 从单个的x_i开始，将需要计算的一些变量，比如z，y等都用数学表达式表达出来。
- 2 根据所有样例的损失函数得到最终的cost function的表达式。
四、编写算法的每一部分的代码
1、定义sigmoid函数，作为每个神经元的激活函数。
输入为z，输出为sigmoid（z）
2、定义初始化参数函数
输入为dim，表示想要的维度，输出为W和b参数（初始化）。
3、定义前向传播和反向传播函数
1、前向传播，计算cost，即根据上面公式，用W,b,X,y一起得到损失函数。
2、反向传播，计算梯度，即计算cost对各个参数的梯度dw，db用于更新W和b。
-
3、输入W,b,X,y，输出损失函数cost和梯度grands。
grads = {"dw": dw,"db": db}
4、定义优化函数
cost和grand已知，至于要定义好learning_rate遍可以进行参数更新，再定义好循环次数，即可。
输入为(w, b, X, Y, num_iterations, learning_rate, print_cost = False)
输出为params, grads, costs。（后面两个可以不需要，重要的是学习到的参数params）
5、定义预测函数
输入为一系列的样本测试数据X_test，输出为标签Yhat
五、输入数据集，得到结果
1、把所有函数放到一个model中，得到预测值
- 1 输入训练集，测试集，学习率，循环次数等参数，输出评价标准下的预测值。
- 2 初始化参数 ==> 利用优化函数学习到参数 ==> 利用参数得到预测值==>根据评价标准，得到期待的预测值。
2、数据可视化
利用matplotlib等模块，cost的值可视化，用以检测算法在不同参数下的性能。
