FM模型简介与推导

一、FM简介

在一般的回归线性模型中，模型可表示为 $y=b+\sum_{i}^n{w_ix_i}$ 然而这样的线性模型并未考虑到特征与特征之间交叉的影响，当加入特征交叉时，模型可表示为 $y=b+\sum_{i}^n{w_ix_i}+\sum_{i=1}^{n-1}\sum_{j=i+1}^{n}w_{ij}x_ix_j$
从上面的式子可以很容易看出，组合部分的特征相关参数共有 $n(n−1)/2$ 个。但是某些情况下 $x_i$ 为categorical特征，需要通过one-hot编码处理，因而样本的特征就会变的稀疏。在大规模稀疏特征存在的场景下，比如CTR预估和推荐排序，这些场景的最大特点就是特征的大规模稀疏，此时满足 $x_i$ ， $x_j$ 都不为0的情况非常少，这样将导致 $w_{ij}$ 无法通过训练得出。
为了解决这一问题，FM对于每个特征，学习一个大小为 $k$ 的一维向量，于是特征 $x_i$ 与特征 $x_j$ 的特征组合权重值，通过特征对应的向量 $v_i$ 与 $v_j$ 的内积表示。因此FM模型可表示为 $y=b+\sum_{i}^n{w_ix_i}+\sum_{i=1}^{n-1}\sum_{j=i+1}^{n}\left<v_i,v_j\right>x_ix_j$
FM对特征的处理方式本质上是在对特征进行embedding化表征。那么为什么说FM的这种特征embedding模式，在大规模稀疏特征应用环境下比较好用？为什么说它的泛化能力强呢？根据上式，即使在训练数据里两个特征并未同时在训练实例里同时出现过，但是因为FM是学习了单个特征的embedding，并不依赖某个特定的特征组合是否出现过，所以只要特征 $x_i$ 和其它任意特征组合出现过，那么就可以学习自己对应的embedding向量。于是，尽管样本中并没有 $x_i$ 和 $x_j$ 这样的特征组合，但他们与其他特征有过组合并学习到了自身的embedding，就可以通过内积算出这个新特征组合的权重。因而FM模型泛化能力强。

二、梯度推导

$\begin{equation} \begin{aligned} \sum_{i=1}^{n-1}\sum_{j=i+1}^{n}\left<v_i,v_j\right>x_ix_j\\ &=\frac{1}{2}(\sum_{i=1}^{n}\sum_{j=1}^{n}\left<v_i,v_j\right>x_ix_j-\sum_{i=1}^{n}\left<v_i,v_i\right>x_ix_i)&\\ &=\frac{1}{2}(\sum_{i=1}^{n}\sum_{j=1}^{n}\sum_{f=1}^{k}v_{if}v_{jf}x_ix_j-\sum_{i=1}^{n}\sum_{f=1}^{k}v_{if}v_{if}x_ix_i)&\\ &=\frac{1}{2}\sum_{f=1}^k((\sum_{i=1}^nv_{if}x_i)(\sum_{j=1}^nv_{jf}x_j)-\sum_{i=1}^nv_{if}^2x_{if}^2)\\ &=\frac{1}{2}\sum_{f=1}^k((\sum_{i=1}^nv_{if}x_i)^2-\sum_{i=1}^nv_{if}^2x_{if}^2) \end{aligned} \end{equation}$
经过这样的简化之后，再对FM中需要训练学习的参数计算梯度
对于 $b$ $\frac{\partial y}{\partial b}=1$
对于 $w_i$ $\frac{\partial y}{\partial w_i}=x_i$
对于 $v_{if}$ $\frac{\partial y}{\partial v_{if}}=x_i\sum_{i=1}^nv_{if}-v_{if}x_{if}^2$

三、FM与其他模型的联系

https://medium.com/@yaoyaowd/%E6%B7%B1%E5%85%A5%E6%B5%85%E5%87%BAfm%E5%92%8C%E7%B1%BB%E4%BC%BC%E6%8E%A8%E8%8D%90%E7%AE%97%E6%B3%95-8e9cf836d146

四、FM代码

import tensorflow as tf
class fm(object):
    """
    """

    def _init_graph(self,feature_dim,vector_dim,learning_rate):
        self.input_x = tf.placeholder(tf.int32, [None, feature_dim], name="input_x")
        self.input_y = tf.placeholder(tf.float32, [None, 1], name="input_y")

        #input_x shape is [B, N], w shape is [N,1], v shape is [N, K]
        w0 = tf.Variable(tf.random_uniform([1]))
        w = tf.Variable(tf.truncated_normal([feature_dim, 1]))
        linear_part = tf.add(w0, tf.matmul(self.input_x, w))

        v = tf.Variable(tf.truncated_normal([feature_dim, vector_dim]))
        head = tf.pow(tf.matmul(self.input_x, v), 2)
        tail = tf.matmul(tf.pow(self.input_x, 2), tf.pow(v, 2))
        pair_part = 0.5*tf.reduce_sum(head - tail)

        final = tf.add(linear_part, pair_part)
        lambda_w = tf.constant(0.0001)
        lambda_v = tf.constant(0.0001)
        w_l2_loss = tf.reduce_sum(tf.multiply(lambda_w, tf.pow(w, 2)))
        v_l2_loss = tf.reduce_sum(tf.multiply(lambda_v, tf.pow(v, 2)))
        l2_loss = tf.add(w_l2_loss, v_l2_loss)
        error = 0.5*tf.reduce_mean(tf.pow(self.input_y - final, 2))
        self.loss = tf.add(error, l2_loss)
        self.optimal = tf.train.AdagradOptimizer(learning_rate=learning_rate)
        self.train_op = self.optimal.minimize(self.loss, global_step=self._global_step)

参考

https://cloud.tencent.com/developer/article/1099532
https://zhuanlan.zhihu.com/p/58160982
https://www.zhihu.com/question/58312854

最后编辑于：2019.12.02 09:13:12