mmoe

参考文献:https://blog.csdn.net/leon_winter/article/details/104314441

主要是多任务学习(Multi-Task Learning,MTL)

传统share bottom的结构:


可以直观的看到,这是一个双塔模型(或者多塔模型),在共享底部结构中,学习相似性,每个独立的塔在学习一下每个label的自己独立的特性,这样设计很有意思。但是之前我们说过,SB模型一个很重要的前提就是任务相关性,如果多个label的相关性比较差,那共享的底部结构就是一种相互负面影响,会对每个label的预测带来一定的负面影响。但是相似性问题本身就没有一个明确的度量,在全世界范围内都是一个开放问题,那么多相似性度量指标咱们怎么选,为何这样能衡量相似性,这就陷入了另一个问题之中。

  因此,一些研究就尝试利用神经网络学习的方法,自动解决这个相似性的问题,其中一种方法是引入门结构(gating structures),这就有一些很有名的改进型,例如MMOE(Multi-gate Mixture-of-Experts)和SNR(Sub-Network Routing)。

MMOE结构如下:



©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容