1. 概率建模
1.1 对于ctc:
设为标签
不同于CTC将直接将联合建模:
标签的条件概率为:
1.2 对于RNNT:
定义输出概率分布为
整个标签的计算从只依赖于,到同时依赖于和。而且,基于和,RNNT预测的标签概率为或者。
2. 前向后向计算
2.1 对于RNNT:
前向后向计算主要用于对已知序列的概率进行求解
定义:
2.2 对于CTC
来自于满足条件的序列,例如,对于时刻()到标()签对应的序列来自的序列可通过下图规则计算,对应的多条路径
具体形式化为:
其中定义直接能行的跳转,包括本字符和前一字符,其中前一时刻为从(插入)中的或为:
初始化为:
3. 总结
3.1 从条件概率角度:
RNN-T联合前一标签输出和前一时刻的特征输出来决定这一时刻的标签概率;
而CTC只基于这一时刻的特征输出标签概率。
3.2 从转移规则来讲:
RNN-T在的转移要不:来自于(前一特征)的这一标签转移为空标签的概率;要不来自于(这一特征时刻)的前一标签转移到非空标签()的概率;
而CTC则的特征转移是固定来自于前一时刻,只有标签的转移。