Rare Chinese Character Recognition by Radical Extraction Network 笔记

声明：仅翻译部分内容，若阅读体验不佳，还请见谅

摘要：

首先提取和识别基础的Graphical components。
在这篇论文里面提出了新的Radical Extraction Network。使用CNN提取和识别Radicals
首先在常见的Chinese characters里面学习到识别不同的Radicals，然后迁移学习到的deep appearance models到常用的Chinese characters上面。

1 Introduction

Opitcal Character Recognition(OCR)
中文识别起来比较困难(中文OCR比较困难)是因为中文字比较多而且字与字之间比较相似。

Chinese characters are formed by a combination of radicals（中文字由部首组成）

takes as input the feature maps(以feature maps作为输入)

不同于传统的方法经常需要对齐的radical-level训练图片作来实现识别不同radicals的功能，we learn to localize in a weakly supervised fashion：在训练过程中只用到了character-level（字级别）的图片。

weakly supervised object detection(WSD)弱监督目标检测

REN has three data streams: 1 a radical-level classification stream to classify different radicals,2 a radical-level detection stream to select positive candidate bounding box that tightly contain a particular radical,3 and a character-level classification stream to classify different Chinese characters based on radical-level recognition results.(偏旁部首级别的分分类，偏旁部首级别的目标检测，字级别的分类)

整个过程端到端训练，训练过程中只需要字级别的图片，REN被训练以自动地从字级别的annotations（标注？）中提取和检测不同的radicals。

REN可以以较高准确率识别出radicals，并且提高了Chinese characters的识别准确率。

2 Method

Architecture of Radical Extraction Network

WSDDN is a state-of-art weakly supervised object detection method。REN has one more stream than WSDDN to perform classification on character-level.

ROI pooling layer:
输入：
$\phi^{conv}(x; \theta)$ 以及region set $\mathcal{R}$
输出：
$\phi^{ROI}(x, \mathcal{R}; \theta) \in \mathbb{R}^{B \times d_{ROI}}$
where the $d_{ROI}$ is the dimension of pooled representation of each bounding box.

a radical-level classification stream

矩阵 $\phi^{ROI}(x; \mathcal{R}; \theta)$ 被几个全连接网络处理，并且每个区域(region)分别被映射到一个 $C_{rad}$ 维向量。这些全连接网络输出矩阵
$\phi_c(x,\mathcal{R}; \theta) \in \mathbb{R}^{B \times C_{rad}}$ ，之后一个row-wise softmax operator被应用到上面。该数据流的最终输出为：
$[\phi^{sm}_c(x, \mathcal{R}; \theta)]_{ij} = \frac{exp[\phi_c(x,\mathcal{R};\theta)]_{ij}}{\sum_{k=1}^{C_{rad}}exp[\phi_c(x, \mathcal{R};\theta)]_{ik}}$

b Radical-level detection data stream

The aim of this data stream is to select a best bounding box for every radical.
该数据流始于被池化的表示矩阵 $\phi^{ROI}(x, \mathcal{R};\theta)$ 。我们通过几个全连接网络将每个region映射到一个 $C_{rad}-dimensional$ 向量。这些全连接网络输出一个score matrix $\phi_d(x, \mathcal{R};\theta) \in \mathbb{R}^{B \times C_{rad}}$ ，之后一个column-wise softmax operator 将被加之于上。在第一个(?)数据流里面我们不会让这些层之间共享权重系数。该数据流的最终输出 $\phi_d^{sm}(x,\mathcal{R};\theta)$ 由下式给出：
$[\phi_d^{sm}(x,\mathcal{R};\theta)]_{ij}=\frac{exp[\phi_d(x,\mathcal{R};\theta)]_{ij}}{\sum_{k=1}^b exp[\phi_d(x,\mathcal{R};\theta)]_{kj}}$

The radical score $\phi^{rad}(x, \mathcal{R};\theta) \in \mathbb{R}^{C_{rad}}$ is obtained by combining $\phi^{sm}_c(x, \mathcal{R};\theta) \in \mathbb{R}^{C_{rad}}$ and $\phi^{sm}_d(x, \mathcal{R};\theta) \in \mathbb{R}^{C_{rad}}$ :

$[\phi^{rad}(x, \mathcal{R};\theta)]_j=\sum_{k=1}^B[\phi^{sm}_c(x, \mathcal{R};\theta) \odot \phi^{sm}_d(x, \mathcal{R};\theta)]_{kj}$

其中 $\odot$ 表示各对应元素相乘( element-wise product operator). 考虑到 $\phi^{rad}$ 中的每个元素都在 (0, 1)中取值，我们将 $[\phi^{rad}]_j$ 视为字 $x$ 包含第 $j$ 个radical的置信度(confidence)。

c Character-level classification data stream

The aim of this stream is to obtain the final character-level classification score.我们基于以下信息对一个中文字做分类：1)中文图片本身以及，2）从图片中识别出的偏旁部首。图片本身可以提供必要的global context，从中识别出的偏旁部首则可以捕获到字的内部结构。在该数据流中我们融合了以上两种信息。

该数据流始于卷积feature map $\phi^{conv}(x;\theta)$ ，并通过几个全连接网络将其映射到一个 $C_{glo}-dimensional$ 的global context 向量 $\phi^{glo}(x;\theta)$ 。之后，再在上面施加一个linear map，再追加一个softmax operator：
$\phi^{cha}=Softmax(W_1\phi^{glo} + W_2\phi^{rad})$

where $\phi^{cha} \in \mathbb{R}^C$ is the final character-level classification score, $W_1$ , $W_2$ are weights to be learned, and $W_1\phi^{glo} + W_2\phi^{rad} \in \mathbb{R}^C$ .

Training REN

training data: $\{x_1, x_2, ..., x_N \}$
charcter-level labels: $\{y_1, y_2,...,y_N\}$
where $y_i \in$ $\{1, 2, ...,C \}$ .
我们使用Edge Boxes从 $x_i$ 中提取了大约B个bounding box，由此构成的集合记为 $\mathcal{R}_i$ 。更进一步，我们可以构造一个character-radical correspondence matrix $T \in$ ${\{0,1 \}}^ {{C \times C_{rad}}}$ ，以表示一个character是否包含一个特定的radical。注意到该矩阵与训练集的大小无关，因此容易获得。基于 $T$ 我们可以为 $x_i$ 构造一个radical-level的标签 $y_i^{rad} \in$ ${\left\{1,2\right\}}^{{ C^{rad}}}$ ，以表示某一特定的radical是否在 $x_i$ 中。

$J_{cha}(\theta)=-\frac{1}{N} \sum_{i=1}^N \sum_{j=1}^C \mathbf{1} \left\{y_i=1\right\}log[\phi^{cha}(x_i, \mathcal{R}_i; \theta)]_j$

$J_{rad}(\theta)=-\frac{1}{N} \sum_{i=1}^N \sum_{j=1}^{C_{rad}} \mathbf{1} \left\{y_i^{rad}=1\right\}log[\phi^{rad}(x_i, \mathcal{R}_i; \theta)]_j -\frac{1}{N} \sum_{i=1}^N \sum_{j=1}^{C_{rad}} \mathbf{1} \left\{y_i^{rad}=0\right\}log(1-[\phi^{rad}(x_i, \mathcal{R}_i; \theta)]_j)$

$J(\theta)=J_{cha}(\theta) + \lambda_1J_{rad}(\theta) + \frac{\lambda_2}{2}{{\| \theta \|}}^2$

TBC

最后编辑于：2019.08.17 14:45:02

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 215,874评论 6赞 498
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 92,102评论 3赞 391
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 161,676评论 0赞 351
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 57,911评论 1赞 290
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 66,937评论 6赞 388
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 50,935评论 1赞 295
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 39,860评论 3赞 416
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 38,660评论 0赞 271
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 45,113评论 1赞 308
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 37,363评论 2赞 331
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 39,506评论 1赞 346
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 35,238评论 5赞 341
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 40,861评论 3赞 325
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 31,486评论 0赞 21
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 32,674评论 1赞 268
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 47,513评论 2赞 368
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 44,426评论 2赞 352

Rare Chinese Character Recognition by Radical Extraction Network 笔记

Rare Chinese Character Recognition by Radical Extraction Network 笔记

摘要：

1 Introduction

2 Method

a radical-level classification stream

b Radical-level detection data stream

c Character-level classification data stream

Training REN

推荐阅读更多精彩内容