论文解读: Few-Shot Text Classification with Induction Network

目的

在文本分类中,经常碰到一些很少出现过的类别或这样不均衡的类别样本,而且当前的few-shot技术经常会将输入的query和support的样本集合进行sample-wise级别的对比。但是,如果跟同一个类别下的不同表达的样本去对比的时候产生的效果就不太好。
因此,文章的作者就提出了,通过学习sample所属于的类别的表示得到class-wise的向量,然后跟输入的query进行对比,这样能比state-of-the-art的模型提高3%正确率,同时泛化的效率也更高。

模型

模型分为三个模块:Encoder, Induction 和 Relation. 大概的架构如下图.


1.png

Data:
构建数据集的时候会把样本分为support set—S 和 query set — Q,support set就是用来训练参数的,query set就是用来模拟真实请求,计算loss的;
support set是从C个Class中,每个class抽出K个样本生成的,那么在C个class中剩余的部分就作为query set.
Encoder Module:
Encoder阶段就是将support set的文本进行encoding; 首先,会经过Bi-LSTM得到这样句子的表示;
假如:support set的样本是m (m=C * K),LSTM输出的表示的维度是u的话,经过Bi-LSTM会得到H,其维度为(m, T, 2u).

2.png

利用Self-Attention得到最终的表示,也希望通过attention的方式来决定哪些hidden state, ht更值得学习。于是,作者就通过将Bi-LSTM得到的表示H,经过线性组合和tanh变换,再做Softmax处理得到attention score — a, 其维度是(m,T);
然后将a(m,T) 乘以原来的每个H(m, T, 2u)的ht,并且相加,得到了e矩阵,其维度变成了(m, 2u).


3.png

Induction Module:
在得到每个样本的表示后,es矩阵(m, 2u),我们下一步需要将其向上抽象成class的表示了;

4.png

首先,通过matrix transformation, Ws(2u,2u),将样本的表示进行变形,从实验结果看,这样能让不同类别的样本区分得更好。同时,由于matrix对于所有样本向量都是共用的,不管什么样的样本size都可以支持了。所以,将Ws(2u,2u)乘以es矩阵(m, 2u)得到es'(m,2u)
5.png

其次,为了确保class的表示已经囊括了这个sample feature vector,我们还会动态地去调整这个coefficients — d, 这个d是在0,1之间分布,用来确保这个sample的类别所属。因此,这里会对耦合系数b进行softmax(在大于一定值后,随着input的增加,softmax的score的值增加得越大); 注意,这个耦合系数b的初始值为0,然后会通过学习来更新。(后面会提到)
6.png

然后,再通过加权聚合来得到class的表示ci',其维度是(k, 2u)
7.png

之后,通过squashing函数将ci'的表示进行压缩,这种压缩不会改变正负但可以减少区间,得到ci其维度是(k, 2u)
8.png

最后,回到刚才提到的b的更新,其实就是动态规划,如果这个样本是属于这个类别的话,这个sample的向量就应该得到更大的值,而且在不同的类别的话,这个值就应该更小;
9.png

总的来说,通过多次迭代后,不但可以让不同class之间的表示得到区分,同时,同一个class下的样本贡献程度也会通过学习后变得不一样。同时,这里的Ws(2u,2u)也会给予后面预测去使用。

Relation Module:
在得到了ci(k, 2u)后,我们就可以计算ci与query set的相关性分数了,作者采用的是neural tensor layer的方式。
首先,从其中一个class开始,假设是ci(k, 2u),先做一次matrix transformation, 将Ci转置得到CiT(2u,k),然后乘以M[1:h],其维度(k,n), 得到中间结果的维度为(2u, n),然后乘以query set, eq(n, 2u)得到结果的维度为(2u, 2u),然后再过一个RELU函数.

10.png

然后,将v(ci,eq)的结果经过全联接,再经过一个sigmoid函数,得到一个第i个class与query的相似度
11.png

目标函数

最后,把riq的值和yq做对,如果匹配就是1,否则就是0,计算query set的loss;


12.png
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,542评论 6 504
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,822评论 3 394
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 163,912评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,449评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,500评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,370评论 1 302
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,193评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,074评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,505评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,722评论 3 335
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,841评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,569评论 5 345
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,168评论 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,783评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,918评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,962评论 2 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,781评论 2 354

推荐阅读更多精彩内容