OCR技术作为机器视觉领域一个非常重要的研究反向，涉及的应用领域多种多样。现今，各应用领域已经出现了非常多的产品，包括卡片证件类识别、票据类识别、文字信息结构化视频类识别、自...
发简信
IP属地：上海
-
Transformer训练注意点
权重共享 共享embedding层与softmax前的线性映射层的参数。两层的参数矩阵在语义上是相通的，有共享的理论基础。相对于，由于更接近损失计算层，不容易出现梯度消失的问...
-
变长序列 bucket 方法
自然语言处理中的大部分模型输入都是变长的离散序列, 在tensorflow处理变长序列中介绍了tensorflow中如何循环神经网络如何处理变长序列. 目前深度学习的优化算法...
-
tensorflow处理变长序列
深度学习中处理变长序列往往都是使用循环神经网络RNN(Recurrent Neural Network)，其中RNN有很多变种，包括朴素RNN、LSTM、GRU等。目前的优化...
-
缓解Exposure Bias的一种实现
介绍 seq2seq中的decoder是一个自回归的生成模型，那么在训练阶段，第t步输入的前缀序列是来自真实数据分布的，这种学习方式称为教师强制(Teacher Forcin...
-
Adaptive Softmax在自然语言处理中，当字典维度过大时，embedding 将占据模型大部分参数量。例如机器翻译任务中，词表维度大约是，embedding维度取1024，那么就会产生将近1亿参数...
-
彻底理解cookie，session，token
作者：墨颜丶博客园： cnblogs.com/moyand/p/9047978.html 发展史 1、很久很久以前，Web 基本上就是文档的浏览而已， 既然是浏览，作为服务器...
-
tensor2tensor 1.10--Modality
tensor2tensor中抽象出了一个Modality类，用来解耦模型主干和依赖任务的数据形式转化。例如一个self-attention模块既可以用于离散的字词序列，也可以...
-
tensor2tensor 1.10--SubwordTextEncoder
如何构建一个字典是基本所有自然语言任务都需要考虑的，当然也是根据具体任务因地制宜的。 基于单个字符的字典应用于一些中文任务中，如NER，BERT，但是在英文任务中可能使学习任...
-
tensor2tensor 1.10 框架简介
问题 深度学习炼丹师们大都在面对某项任务是都会在github上搜索SOTA的模型实现，clone下来，尝试魔改一番以适应当前任务，评测指标达标可能就准备上线了，然后遇到下一个...