wide&deep和deepFM在推荐搜索中比较常见，这里对原理不做过多介绍，主要想说下特征处理。
1. wide&deep
模型结构
wide&deep结合了LR和DNN，模型结构如下：
如何理解wide和deep呢？论文中说wide的作用是记忆，deep的作用是泛化，如何理解？实践中是如何做的呢？
记忆能力，可以理解为发现“直接的”、“暴力的”、“显然的”关联规则的能力。正如在Google的应用场景：用户安装了应用A，此时曝光应用B，用户安装的B概率大。因此，wide部分主要是人工交叉特征，且是非常稀疏的，所以wide部分其实特征稀疏会比较好。而deep的泛化能力，是因为无法枚举所有的交叉情况，因此需要deep去学习。deep模型直接将连续型特征以及类别特征embedding后作为输入，由于DNN本身就有学习高阶特征的能力，在deep中不需要交叉特征。
为什么Deep部分不特别考虑稀疏性的问题？
大家注意观察可以发现Deep部分的输入，要么是Age，#App Installs这些数值类特征，要么是已经降维并稠密化的Embedding向量，工程师们不会也不敢把过度稀疏的特征向量直接输入到Deep网络中。所以Deep部分不存在严重的特征稀疏问题，自然可以使用精度更好，更适用于深度学习训练的AdaGrad去训练。
见见微知著，你真的搞懂Google的Wide&Deep模型了吗？的评论部分：
- 说得直接一些，deep部分的作用就是泛化，为的就是解决预测数据中出现wide部分没有包含的特征，尤其是ID组合特征。如果理想态下所有ID级的特征组合在训练集都充分出现，并且不考虑服务和存储压力，我猜deep部分是基本没什么用的，毕竟都是统计模型，本质上就是个复读机。只是因为ID特征组合不可能都在训练集中都出现，以及服务和存储压力还是很重要的，所以deep才有了用。
- 你说这个让我想起之前我做的一个场景，item集很小，几千的规模，但是流量很大，因此有充足的机会去探索不同item在不同用户和场景组合上的效果，最终简单的统计模型的效果就很好，利用复杂深度学习模型的收益微乎其微。
2. deepFM
模型结构
DeepFM相比于wide&deep和FM的优点在于：
- 不需要预训练FM模型得到隐向量
- 不需要人工特征工程。在wide&deep中，wide部分因为是LR仍需要人工特征工程，但是FM可以学习二阶交叉特征，因此省去了人工特征工程
- 能同时学习低阶和高阶的组合特征
- FM和DNN共享feature embedding部分，可以更快的训练，以及更精确的训练学习
FM与LR一样，更适合于稀疏特征，优点在于可以学习二阶交叉特征。在图3的模型中，主要介绍了稀疏特征（我的理解就是类别类特征），如果有数值类特征怎么办呢？我目前看到的大多是将数值类特征离散化，然后再embedding成dense特征。或者能不能参考wide&deep，将数值类特征直接和dense embeddings作为DNN的输入？
另外，FM其实有两部分：一阶和二阶。FM 一阶输入为原始特征，二阶输入为embedding后的输入；DNN 为embedding后的输入。
数值类特征怎么加入深度模型？
- 归一化后直接输入dnn部分，不参与fm部分交叉
- 不归一化经过bn后输入dnn，不参与fm部分交叉
- 离散化后作为id feature, embedding后与其他sparse feature的embedding 一起参与fm的交叉
- 为每一个field下的dense value
维护一个embedding vector，取
作为其最终的embedding表示，与其他sparse feature的embedding一起参与fm的交叉
损失函数计算
concat_input = tf.concat([self.y_first_order, self.y_second_order, self.y_deep], axis=1)
out = tf.nn.sigmoid(tf.add(tf.matmul(concat_input,weights['concat_projection']),weights['concat_bias']))
loss = tf.losses.log_loss(tf.reshape(label,(-1,1)), out)
optimizer = tf.train.AdamOptimizer(learning_rate=dfm_params['learning_rate'], beta1=0.9, beta2=0.999,epsilon=1e-8).minimize(loss)
将FM、DNN的输出concat后进行加权求解（相当于LR），然后再sigmoid/softMax，得到out，即预测值。计算loss，是用out和真实标签计算交叉熵损失函数，并优化。
