大师兄的应用回归分析学习笔记（二十七）：非线性回归（三）

大师兄的应用回归分析学习笔记（二十六）：非线性回归（二）
大师兄的应用回归分析学习笔记（二十八）：含定性变量的回归模型（一）

三、非线性模型

1. 非线性最小二乘
  • 非线性回归模型一般可记为：y_i=f(x_i,\theta)+\epsilon_i,i=1,2,...,n
  • y_i为因变量
  • 非随机向量x_i=(x_{i1},x_{i2},...,x_{ik})'是自变量
  • \theta=(\theta_0,\theta_1,...,\theta_p)'为未知参数向量
  • \epsilon_i为随机误差项并且满足独立同分布假定
  • 如果f(x_i,\theta)=\theta_0+ x_{i1} \theta_1 + x_{i2} \theta_2 + ... + x_{ip} \theta_p，那么模型为线性模型，而且必然有k=p。
  • 对于一般情况的非线性模型，参数的数目与自变量的数目并没有一定的对应关系，不要求k=p
  • 对非线性回归模型，仍使用最小二乘法估计参数\theta，即求使Q(\theta) = \sum^n_{i=1}(y_i-f(x_i,\theta))^2达到最小的\hat\theta，称\hat\theta为非线性最小二乘估计。
  • 在假定f函数对参数\theta连续可微时，可以利用微分法建立正规方程组，求使Q(\theta)达到最小的\hat\theta。
  • 将Q函数对参数\theta_j求偏导，并另其为0，得p+1个方程：\frac{\delta Q}{\delta\theta_j}|_{\theta_j=\hat\theta_j} = -2\sum^n_{i=1}(y_j-f(x_i,\hat\theta))\frac{\delta f}{\delta\theta_j}|_{\theta_j=\hat\theta_j}=0
  • 解为非线性最小二乘估计\hat\theta
  • 该公式成为非线性最小二乘估计的正规方程组，是未知参数的非线性方程组。
  • 一般用Newton迭代法求解
  • 也可以直接及消化残差平方和Q，清楚未知参数\theta的非线性最小二乘估计值\hat\theta
  • 对于非线性最小二乘估计，仍需要做参数的区间估计、显著性检验，回归方程的显著性检验等回归诊断。
  • 需要知道有关统计量的分布
  • 在非线性最小二乘中，一些精确分布很难得到，在大样本情况下，可以得到近似的分布。
  • 在非线性回归中，平方和分解式SST = SSR+SSE不再成立。
  • 用类似于线性回归中的付决定系数，定义非线性回归的相关指数R^2=1-\frac{SSE}{SST}
2. 分线性回归模型的应用
  • 一位药物学家使用下面的非线性模型对药物反应拟合回归模型：y_i=c_0-\frac{c_0}{1+(\frac{x_i}{c_2})^{c_1}}+\epsilon_i，式中：
  • 自变量x为药剂量，用级别表示；
  • 因变量y为药物反应程度，用百分数表示；
  • 3个参数c_0,c_1,c_2都是非负的，根据专业知识，c_0的上限是100%
  • 3个参数的初始值取为c_0=100,c_1=5,c_2=4.8
  • 测得9个反映数据为：
x 1 2 3 4 5 6 7 8 9
y(%) 0.5 2.3 3.4 24.0 54.7 82.1 94.8 96.2 96.4

  • 首先画出散点图


  • 从图中可以看出，y与x之间呈非线性关系。

  • 经过6步迭代后收敛，相关指数R^2=0.999，说明非线性回归拟合效果非常好。
  • 总平方和SST = 14917.889，也就是y_1,y_2,...,y_n的离差平方和。
  • 回归平方和 SSR = 37839.852，是n个回归值\hat y_1,\hat y_2,...,\hat y_n的平方和\hat y_1^2,\hat y_2^2,...,\hat y_n^2，不是线性回归中的离差平方和。
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容