在模型训练过程中，对于sparse input的特征来说，每个特征值（feasign）出现的概率有高有低。对于高频的特征，其参数得到更新的几率较大，而低频特征更新几率较小。
使用出现次数作为其gradient scale参数，对高频特征进行打压：gradient = gradient / show。提升低频特征的预估拟合能力。
PS：当然，如果低频特征过多，会导致整个参数量过大。（特别是对于一些长尾分布的特征）参数量过大则容易造成过拟合，所以对这些低频特征也应当进行适当的削减。
深度学习中的特征工程-高频与长尾特征
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
