OCR技术作为机器视觉领域一个非常重要的研究反向,涉及的应用领域多种多样。现今,各应用领域已经出现了非常多的产品,包括卡片证件类识别、票据类识别...
权重共享 共享embedding层与softmax前的线性映射层的参数。两层的参数矩阵在语义上是相通的,有共享的理论基础。相对于,由于更接近损失...
自然语言处理中的大部分模型输入都是变长的离散序列, 在tensorflow处理变长序列中介绍了tensorflow中如何循环神经网络如何处理变长...
深度学习中处理变长序列往往都是使用循环神经网络RNN(Recurrent Neural Network),其中RNN有很多变种,包括朴素RNN、...
介绍 seq2seq中的decoder是一个自回归的生成模型,那么在训练阶段,第t步输入的前缀序列是来自真实数据分布的,这种学习方式称为教师强制...
在自然语言处理中,当字典维度过大时,embedding 将占据模型大部分参数量。例如机器翻译任务中,词表维度大约是,embedding维度取10...
tensor2tensor中抽象出了一个Modality类,用来解耦模型主干和依赖任务的数据形式转化。例如一个self-attention模块既...
如何构建一个字典是基本所有自然语言任务都需要考虑的,当然也是根据具体任务因地制宜的。 基于单个字符的字典应用于一些中文任务中,如NER,BERT...
问题 深度学习炼丹师们大都在面对某项任务是都会在github上搜索SOTA的模型实现,clone下来,尝试魔改一番以适应当前任务,评测指标达标可...