局部加权回归法对机器学习中线性回归法的改进。
改进的起因在于普通的线性回归努力寻找的是一个使得全局损失函数最小的模型（全局最优），这个模型对于整体而言是最好的，但是对于局部点来说，可能不是最好的。
改进的核心思想：设计损失函数时，待预测点附近的点拥有更高的权重，权重随着距离的增大而减小。
改进的具体关键环节：计算损失函数时，多乘一个权重函数w，这个w保证：越靠近待测点附近权值越大，越远离待测点权值越小
w一般采用如下函数，它的图形很像高斯分布，越靠近x，权值越大
思考：
空间分析时，基于地理学第一定律，距离越近的点越相似，那么在局部预测时，可以参考局部加权回归的思路，通过设置一个权重函数，使得越靠近待测点的权值越大。
局部加权回归方法是1988年提出的
Locally Weighted Regression: An Approach to Regression Analysis by Local Fitting. Journal of the American Statistical Association, 1988, 83(403):596-610.
基于局部加权回归思想，1996年大神把它用在地统计领域，提出了地理加权回归模型
Geographically weighted regression: A method for exploring spatial nonstationarity. Brunsdon C,Fotheringham A.S,Charlton M. Geographical Analysis . 1996
指数加权平均（exponentially weighted averages）用在动量法（momentum）中，用于解决mini-batch的优化，让梯度下降不那么抖动，整体变得更平缓，防止损失函数值在最低点附近瞎晃悠，影响模型效果
动量法的参数更新时，多了一个v_dw，它考虑了前面若干个dw（实际上，V_dW约等于前1/(1-β)个dW的平均值，数学上称为“指数加权平均”）这样，dW的方向就会受到前面若干个dW的冲击，于是整体就变得更平缓。
v_t就是v_dw
指数加权平均本质上就是一种近似求平均的方法，它把待测点的前面近期的数据加权变大，但较旧的数据也给予一定的加权
指数加权平均本质是以指数式递减加权的移动平均。各数值的加权随时间而指数式递减，越近期的数据权值越大，但较旧的远期数据也给予一定的加权
指数加权平均可以节省计算量，通过保存前一个点的加权平均值，增加一个点时，计算均值不再需要全体数据参与计算，节省了大量空间。
思考：
时序分析时，如果采样数据密度很大（物联网系统，采集间隔理论上可以按分钟或秒），而且理论上预测指标不会出现较大突变，可以考虑参考局部加权回归的思路，给时间相近的数据权重增大。再参考指数加权平均的思路，一定时间范围内，考虑指数加权？
这个思路不是很清晰，待完善
