一.FM原理
大家可能用过sklearn中的这个多项式特征处理函数：sklearn.preprocessing.PolynomialFeatures，它作用是就是将原始特征扩展为多项式特征，比如原始特征为，那么它会做如下扩展：
而FM的初衷便是对这组新特征做线性建模，一般地，它可以表示如下：
FM通常不会对平方项建模（比如上面的），这里
代表样本的特征数量，
是第
个特征值，
是模型参数，到这里大家可能会有疑惑，我们干嘛不先通过多项式特征处理函数做转换，然后再接着做一个线性回归或者logistic回归之类的不就行了吗？那这个...FM拿它何用？如果按照刚刚的操作其实是有很大问题的，主要有两点问题：
（1）参数爆炸；
（2）高维稀疏；
第一点比较容易理解，对于个特征，
将会有
项，形象点说就是平常随意用到的100个特征，扩展后将会有5000个，而参数越多，如果没有足够的数据做训练，模型很容易陷入过拟合，而对于第二点，经常处理离散特征的同学会很容易理解，比如下图
包含有三个特征（最左侧的是标签），且都是离散特征，而对于离散特征我们经常做的一种操作便是one-hot转换，转换后的结果如下图：
如果我们在对这些特征做多项式转换，可以发现转后的20多个特征中，仅仅只有3个非零特征，这就意味着绝大部分的将会是0，而损失函数关于
的导数必然会包含有
这一项，这就意味
大部分情况下就是个摆设，很难被更新到，而FM便可以解决这两个问题，它假设
由两个向量的内积生成：
这里，表示第
个特征的隐向量，其向量长度为
，通常
即可，这时FM模型方程如下：
进一步的，我们可以将其化简为如下形式：
这里，表示向量
的第
个元素，上述化简用到了这样的关系：
，接下来我们可以进一步看看梯度：
可以发现前面的两个问题可以被FM解决了，第一个问题，参数量从降低到了
，第二个高维稀疏导致参数无法被训练的问题，对于
只要
不为0，且所有
中有一个不为0，那么梯度
就不为0，这比
不为0的条件松了很多
二.代码实现
这里就对FM应用到回归任务做简单实现，更多的功能扩展放到FFM中，下面推导一下损失函数对参数的梯度，假设样本对应的标签为
，那么损失函数可以表示如下：
那么：
再根据链式求导有：
三.测试
import matplotlib.pyplot as plt
%matplotlib inline
#造伪数据
data1 = np.linspace(1, 10, num=200)
data2 = np.linspace(1, 10, num=200) + np.random.random(size=200)
target = data1 * 2 + data2 * 1 + 10 * data1 * data2 + np.random.random(size=200)
data = np.c_[data1, data2]
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(data, target, test_size=0.4, random_state=0)
#训练模型
model = FM()
train_losses,eval_losses = model.fit(X_train, y_train, eval_set=(X_test,y_test))
epoch: 1 / 1 ,samples: 1 / 120 ,train loss: 327.43304536928594 ,eval loss: 291.9721877542085
epoch: 1 / 1 ,samples: 2 / 120 ,train loss: 326.7160901918784 ,eval loss: 291.3271189485855
epoch: 1 / 1 ,samples: 3 / 120 ,train loss: 325.7151828483661 ,eval loss: 290.43528663690176
epoch: 1 / 1 ,samples: 4 / 120 ,train loss: 324.4152130238985 ,eval loss: 289.2810645127806
epoch: 1 / 1 ,samples: 5 / 120 ,train loss: 323.01897436328363 ,eval loss: 288.0444933403834
epoch: 1 / 1 ,samples: 6 / 120 ,train loss: 321.3838207470574 ,eval loss: 286.5995936954016
epoch: 1 / 1 ,samples: 7 / 120 ,train loss: 319.94927792261774 ,eval loss: 285.3310103840077
epoch: 1 / 1 ,samples: 8 / 120 ,train loss: 318.5719337115685 ,eval loss: 284.11400223694636
epoch: 1 / 1 ,samples: 9 / 120 ,train loss: 316.9476360205337 ,eval loss: 282.6800903373831
epoch: 1 / 1 ,samples: 10 / 120 ,train loss: 314.7864859352729 ,eval loss: 280.7747654767163
#查看拟合效果
plt.scatter(data[:, 0], target)
plt.plot(data[:, 0], model.predict(data), color='r')
#查看loss
plt.plot(range(0,len(train_losses)),train_losses,label='train loss')
plt.plot(range(0,len(eval_losses)),eval_losses,label='eval loss')
plt.legend()
