一、高等数学

本部分，除了函数相关基础概念，需要重点掌握的有：极值问题，梯度相关（如梯度下降法），拉格朗日乘子法(如SVM推导用到)，

1. 函数

1.1 函数的定义

定义：设数集 $D\subset R$ ，则称映射 $f:D\rightarrow R$ 为定义在 $D$ 上的函数，记为
$y=f(x),x\in D$

对每个 $x\in D$ ，按对应法则 $f$ ，总有唯一确定的值 $y$ 与之对应，这个值称为函数 $f$ 在 $x$ 处的函数值，记为 $f(x)$ ，因变量 $y$ 与自变量 $x$ 之间的这种依赖关系，通常称为函数关系

1.2 反函数

设函数 $f:D\rightarrow f(D)$ 是单射，则它存在逆映射 $f^{-1}: f(D)\rightarrow D$ ，称此映射 $f^{-1}$ 为函数 $f$ 的反函数。

按此定义，对每个 $y\in f(D)$ ，有唯一的 $x\in D$ ，使得 $f(x)=y$ ，于是有 $f^{-1}(y)=x$ ，即反函数 $f^{-1}$ 的对应法则是完全由函数 $f$ 的对应法则所确定的。
一般的， $y=f(x), x\in D$ 的反函数记为 $y=f^{-1}(x), x\in f(D)$

1.3 复合函数

设函数 $y=f(u)$ 的定义域为 $D_f$ ，函数 $u=g(x)$ 的定义域为 $D_x$ ，且其值域 $R_g\in D_t$ ，则由下式确定的函数，
$y=f[g(x)], x\in D_x$
称为由函数 $u=g(x)$ 与函数 $y=f(u)$ 构成的复合函数，它的定义域为 $D_x$ ，变量 $u$ 成为中间变量

2. 导数

2.1 导数的定义

定义：设函数 $y=f(x)$ 在点 $x_0$ 的某个邻域内有定义，当自变量 $x$ 在 $x_0$ 处取得增量 $\Delta x$ ，如果 $\Delta y$ 与 $\Delta x$ 之比在 $\Delta x \rightarrow 0$ 时的极限存在，则称函数 $y=f(x)$ 在点 $x_0$ 处可导，并称这个极限为函数 $y=f(x)$ 在点 $x_0$ 处的导数，记为 $f^{\prime}(x_0)$ ，即
$f^{\prime}(x_0)=\lim_{\Delta x \rightarrow 0} \frac{\Delta y}{\Delta x}=\lim_{\Delta x \rightarrow 0} \frac{f(x+\Delta x) - f(x_0)}{\Delta x}$