三、非线性模型
1. 非线性最小二乘
- 非线性回归模型一般可记为：
为因变量
- 非随机向量
是自变量
为未知参数向量
为随机误差项并且满足独立同分布假定
- 如果
，那么模型为线性模型，而且必然有k=p。
- 对于一般情况的非线性模型，参数的数目与自变量的数目并没有一定的对应关系，不要求k=p
- 对非线性回归模型，仍使用最小二乘法估计参数
，即求使
达到最小的
，称
- 在假定f函数对参数
达到最小的
- 将Q函数对参数
求偏导，并另其为0，得p+1个方程：
- 解为非线性最小二乘估计
- 该公式成为非线性最小二乘估计的正规方程组，是未知参数的非线性方程组。
- 一般用Newton迭代法求解
- 也可以直接及消化残差平方和Q，清楚未知参数
- 对于非线性最小二乘估计，仍需要做参数的区间估计、显著性检验，回归方程的显著性检验等回归诊断。
- 需要知道有关统计量的分布
- 在非线性最小二乘中，一些精确分布很难得到，在大样本情况下，可以得到近似的分布。
- 在非线性回归中，平方和分解式
不再成立。
- 用类似于线性回归中的付决定系数，定义非线性回归的相关指数
2. 分线性回归模型的应用
- 一位药物学家使用下面的非线性模型对药物反应拟合回归模型：
，式中：
- 自变量x为药剂量，用级别表示；
- 因变量y为药物反应程度，用百分数表示；
- 3个参数
都是非负的，根据专业知识，
的上限是100%
- 3个参数的初始值取为
- 测得9个反映数据为：
| x | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 |
|---|---|---|---|---|---|---|---|---|---|
| y(%) | 0.5 | 2.3 | 3.4 | 24.0 | 54.7 | 82.1 | 94.8 | 96.2 | 96.4 |
-
首先画出散点图
- 从图中可以看出，y与x之间呈非线性关系。
- 经过6步迭代后收敛，相关指数
，说明非线性回归拟合效果非常好。
- 总平方和SST = 14917.889，也就是
的离差平方和。
- 回归平方和 SSR = 37839.852，是n个回归值
的平方和
，不是线性回归中的离差平方和。
