前言
近期在自学机器学习，把笔记做个整理，以方便查阅和整理知识框架。喜欢探讨机器学习或者Android开发技术的同学可以加学习小组QQ群: 193765960。
本文是机器学习的第一篇，因为我本人对机器学习的整个理解有限，就不再给大家一本正经的胡说八道了，以免误人子弟，仅是根据自己的理解做一个学习笔记，如果有大牛发现我这个小菜鸟的学习路线跑偏了，还希望能够提醒一下哈，在此表示感谢。
版权归作者所有，如有转发，请注明文章出处：https://xiaodanchen.github.io/archives/
数学基础教材名目（我自己根据理解指定的，不一定准确）
- 线性代数（同济大学 第四版）
- 概率论与数理统计（浙江大学 第三版）
- 复变函数（西安交通大学 第四版）
- 随机过程极其应用（陆大絟 清华大学）
线性代数
第一章 行列式
概念：
- 行列式是一个算术表达式的矩阵式的表达方式，比如表达式{% math%}a_{11}a_{22} - a_{12}a_{21} {% endmath%}的二阶行列式表示为：
{% math%}
\begin{vmatrix}
a_{11}\ \ a_{12} \
a_{21}\ \ a_{22}
\end{vmatrix}
{% endmath%}
$a_{ij}$称为行列式的元素或元 - 全排列及其逆序数
- 把n个元素排成一列就叫这n个元素的一个全排列，简称排列。
- 对n个元素规定好一个标准的次序，对于这n个元素的任何一个排列，如果任意两个元素相互的先后次序与标准排列中的次序不一致，就说有一个逆序。
- 一个排列中的逆序总数称为这个排列的逆序数
- 逆序数为奇数的排列称为奇排列，为偶数的排列称为偶排列。
n阶行列式(t是$p_1，p_2，...，p_n$相对于自然数列1，2，...n的逆序数)
{% math%}
\sum(-1)^ta_1p_1a_2p_2...a_np_n = \begin{vmatrix}
a_{11}\ \ a_{12}\ ... a_{1n}\
a_{21}\ \ a_{22}\ ... a_{2n}\
.....\
a_{n1}\ \ a_{n2}\ ... a_{nn}
\end{vmatrix}= D
{% endmath%}转置行列式$D^T$
{% math%}
D = \begin{vmatrix}
a_{11}\ \ a_{12}\ ... a_{1n}\
a_{21}\ \ a_{22}\ ... a_{2n}\
.....\
a_{n1}\ \ a_{n2}\ ... a_{nn}
\end{vmatrix},D^T = \begin{vmatrix}
a_{11}\ \ a_{21}\ ... a_{n1}\
a_{12}\ \ a_{22}\ ... a_{n2}\
.....\
a_{1n}\ \ a_{2n}\ ... a_{nn}
\end{vmatrix}
{% endmath%}
定理及推论
- 主对角线以下（上）的元素全为零的行列式叫做上（下）三角行列式，其算术表达式为对角线元素乘积。
- 一个排列中，任意两个元素对换，排列改变奇偶性。
- 奇数排列变成标准排列的对换次数为奇数，偶数排列对换成标准排列的次数为偶数。
- 行列式与他的转置行列式相等
- 互换行列式的两行（列）,行列式变号。
- 行列式中如果有两行或两列成比例，则次行列式等于零。
- 把行列式的某一行（列）的元素各自拆分成2个数字的和，则行列式的值等于拆分的两个子行列式的和
- 把行列式的某一行（列）的各个元素乘以同一个数加到另一行（列）对应的元素上去，行列式不变。
余子式：在行列式中，把第{% math%}a_{ij}{% endmath%}元素所在的行和列删除后，剩余的行列式称为{% math%}a_{ij}{% endmath%}的余子式，计做{% math%}M_{ij}{% endmath%}。{% math%}A_{ij} = (-1)^{i+j}M_{ij}{% endmath%}称为{% math%}a_{ij}{% endmath%}的代数余子式。
- 一个行列式，如果其中第i行所有元素除{% math%}a_{ij}{% endmath%}之外全为零，那么这个行列式等于{% math%}a_{ij}{% endmath%}与他的代数余子式{% math%}A_{ij}{% endmath%}的乘积。
- 行列式等于他的任意一行（列）的各个元素与其对应的代数余子式的乘积之和。（行列式的按行、按列展开）
克拉默法则
含有n个未知数的n个线性方程的方程组
{% math%}
\left{\begin{matrix}
a_{11}x_1 + a_{12}x_2 + ...+ a_{1n}x_n = b_1\
a_{21}x_1 + a_{22}x_2 + ...+ a_{2n}x_n = b_2\
......\
a_{n1}x_1 + a_{n2}x_2 + ...+ a_{nn}x_n = b_n
\end{matrix}\right.
{% endmath%}
如果线性方程组的系数不等于零，即
{% math%}
D = \begin{vmatrix}
a_{11}\ \ a_{12}\ ... a_{1n}\
a_{21}\ \ a_{22}\ ... a_{2n}\
.....\
a_{n1}\ \ a_{n2}\ ... a_{nn}
\end{vmatrix}\neq 0,
{% endmath%}
那么，方程组有唯一解
{% math%}
x_1 = \frac{D_1}{D}, x_2 = \frac{D_2}{D},..., x_n = \frac{D_n}{D},
{% endmath%}
其中，{% math%}D_j(j = 1,2,...,n){% endmath%}是把系数行列式D中的第j列用方程式组右端的常数项替换后所得的n阶行列式。
根据克拉默法则，可以得出如下定理，
- 如果n阶线性方程组的系数行列式不等于0，则方程组一定有唯一解。
- 如果n元线性方程组无解或者有两个不同的解，则它的系数行列式必为0
- 如果n元齐次方程组（方程组右端为0）的系数行列式不等于0，则齐次方程组没有非零解。
- 如果齐次方程组有非零解，则它的系数行列式必为0.
第二章：矩阵及其运算
矩阵定义
- 由{% math%}m \times n{% endmath%}个数排成的m行n列的数表称为m行n列矩阵，简称{% math%}m \times n{% endmath%}矩阵,记作
{% math%}
A = \begin{bmatrix}
a_{11}\ \ a_{12}\ ... a_{1n}\
a_{21}\ \ a_{22}\ ... a_{2n}\
.....\
a_{m1}\ \ a_{m2}\ ... a_{mn}
\end{bmatrix}\neq 0,
{% endmath%}
简记作{% math%}A_{m \times n}{% endmath%} - 元素是实数的矩阵称为实矩阵，元素为复数的矩阵称为复矩阵
- 行数和列数都为n的矩阵称为n阶方阵，记为{% math%}A_n{% endmath%}
- 只有一行的矩阵称为行矩阵，又叫做行向量
- 只有一列的矩阵称为列矩阵，又叫做列向量
- 两个行数和列数均分别相等的矩阵，称为同型矩阵
{% math%}
{% endmath%}
