RNN-T和CTC的区别？

1. 概率建模

1.1 对于ctc：

设 $k$ 为标签 $k \in \overline{Y}$

不同于CTC将直接将 $h(k,t)$ 联合建模： $h(k,t)=\exp(f_t^k)$

$k$ 标签的条件概率为：
$Pr(k \in \overline{ Y} | t) = \frac{h(k,t)}{ \sum_{k'\in \overline{ Y}} h(k',t) }$

1.2 对于RNNT：

定义输出概率分布为 $h(k,t,u)=\exp(f_t^k + g_u^k)$
$Pr(k \in \overline{{Y}} | t,u) = \frac{h(k,t,u)}{\sum_{k' \in \overline{\mathit{Y}} }h(k,t,u)}$
整个标签 $k$ 的计算从只依赖于 $x_t$ ，到同时依赖于 $x_t$ 和 $y_u$ 。而且，基于 $x_t$ 和 $y_u$ ，RNNT预测的标签概率为 $y_{u+1}$ 或者 $\phi$ 。

2. 前向后向计算

2.1 对于RNNT：

前向后向计算主要用于对已知序列 $y$ 的概率进行求解

rnnt 路径计算

定义：
$y(t,u) = Pr(y_{u+1}|t,u) \\ \phi(t,u) = Pr(\phi|t,u)$

$\alpha (t,u) = \alpha (t-1,u) \phi(t-1,u) + \alpha (t,u-1) y(t,u-1)$

2.2 对于CTC

$\alpha_t(s) \overset{def}{=} \sum_{\pi \in N^T:\\ \mathit B(\pi_{1:t})=\mathit l_{1:s}} \prod _{t'=1}^Ty_{\pi_t}^t$

来自于满足 $\mathcal B(\pi_{1:t})=\mathit l_{1:s}$ 条件的序列，例如，对于 $3$ 时刻（ $\pi_{1:3}$ ）到 $A$ 标（ $l_{1:2}$ ）签对应的序列来自的序列可通过下图规则计算，对应的多条路径

ctc 计算路径

具体形式化为：

$\alpha_{t}(s)=\left\{\begin{array}{lc} \bar{\alpha}_{t}(s) y_{l_{s}^{\prime}}^{t} & \text { if } l_{s}^{\prime}=b \text { or } l_{s-2}^{\prime}=l_{s}^{\prime} \\ \left({\bar\alpha}_{t}(s)+\alpha_{t-1}(s-2)\right) y_{l_{s}^{\prime}}^{t} & \text { otherwise } \end{array}\right.$

其中 $\bar{\alpha}_{t}(s)$ 定义直接能行的跳转，包括本字符和前一字符，其中前一时刻为 $t-1$ 从 $l^{\prime}$ （ $l$ 插入 $blk$ ）中的 $s$ 或 $s-1$ 为：
$\bar{\alpha}_{t}(s) \stackrel{\text { def }}{=} \alpha_{t-1}(s)+\alpha_{t-1}(s-1)$
初始化为：
$\begin{array}{l} \alpha_{1}(1)=y_{b}^{1} \\ \alpha_{1}(2)=y_{1}^{1} \\ \alpha_{1}(s)=0, \forall s>2 \end{array}$