AI技术之三:语音识别&翻译&自然语言处理

当前技术:★★★★✰
未来潜力:★★★✰✰
应用落地:★★★★✰

语音识别,翻译和自然语言处理其实是三种技术,但由于在场景中经常混用,放在一起更合适一点。

语音识别

语音识别领域在机器学习算法前已经取得了巨大的进步。主要采用统计模式识别技术,涉及的技术包括还包括发声机理,听觉机理,信号处理,概率论和信息论等等。

语音识别领域也曾一筹莫展,直到1952年AT&T贝尔实验室开发的Audrey语音识别系统通过跟踪语音中的共振峰的方法得到了98%的正确率。到1950年代末,伦敦学院(College of London)的Denes已经将语法概率加入语音识别中。1960年代,人工神经网络被引入了语音识别。这一时代的两大突破是线性预测编码Linear Predictive Coding (LPC), 及动态时间规整Dynamic Time Warp技术。

语音识别技术的最重大突破是隐马尔科夫模型Hidden Markov Model的应用。从Baum提出相关数学推理,经过Labiner等人的研究,卡内基梅隆大学的李开复最终实现了第一个基于隐马尔科夫模型的非特定人大词汇量连续语音识别系统Sphinx。此后严格来说语音识别技术并没有脱离HMM框架。

在这之后语音识别的主要进步是在应用方面,Siri系统,微信的语音转换都已经成为日常。

开放平台,语音识别的开放平台很多,几乎各大厂都有,另外科大讯飞的被人为是全套自主产权的专业语音识别系统。

翻译

机器翻译曾长久依赖是人们的梦想,最初的设想是简单的词汇逐词逐字翻译,类似使用一个词典并配以语法规则,语言学分析也曾经是翻译的一大流派,乔姆斯基的《句法结构》被认为是理论语言学的最大贡献。

当机器学习开始盛行开始,翻译问题也被简单粗暴的用大量数据的方式解决了。翻译算法主要使用RNN循环神经网络,RNN 是神经网络中的一种,它擅长对序列数据进行建模处理。长短期记忆网络(LSTM)作为一种特殊的RNN,能帮助我们处理不能被先验知道的序列,并且能够学习长期性的依赖关系,是翻译最常使用的方式。

当前的技术是一个研究员可以很方便的制作自己的机器翻译机,使用序列到序列模型(也称为seq2seq),包括两个RNN,一个是处理输入的编码器网络,一个是产生输出的解码器网络。

翻译技术目前也已经成熟。结合语音识别,再加上电子合成音技术,就是微软曾经演示过的,使用skype不同语言者可以自由语音对话,效果惊人。

虽然说翻译技术成熟,在目前的机器学习道路下已经没有什么可以改进的了,但由于维特根斯坦指出的语言本身的问题,翻译不会"完美“。所以高水平的人工翻译还是需要,而且我们还是继续需要学外语。

自然语言处理NLP

自然语言处理是三个领域中最具潜力的,当然本身的含义也比较广,甚至是包括了如今的机器翻译的。

自然语言处理NLP的机器学习和下棋的机器学习不一样,下棋的机器学习更多关注算法本身,因为输入数据非常明确,就是棋子落在那里,结果就是赢或输,而且可以机器自对弈积累更多输入数据,但语言最终的判断还在人这里,并且有一定的模糊性。

所以包含在自然语言处理NLP的技术很多,数据输入阶段包括语言识别技术、OCR技术、分词技术等,语言初步处理包括上下文,语法,语义等分析,比如分析一个词(指英文词)的前后缀、词根等,从语法结构上(乔姆斯基的用上了)分析一个句子的构成,用语料库进行语义分析。自然语言处理NLP的应用无处不在,在使用语言作为主要交流的场景里,比如网络搜索、提取关键信息,情感分析,翻译,对话系统等,目前都有还不错的结果。

以上每种技术,每种方法,每个场景都有一些小窍门,可以花很久时间研究,有些已经成熟,有些尚有空间。甚至可能有一些数据预处理的方法我们还没有发现,算法这里我倒觉得不会有突破性进展了,都是小修小补,而场景上有非常大的拓展空间。

学习自然语言公认的是斯坦福的CS224N,由于自然语言处理NLP技术包含很多,每年如果是不同教授讲,内容差别挺大的。自然语言这块,我觉得最好从场景出发选技术,而不要想要把NLP所有技术都学会。

个人职业选择

目前语音识别的算法已经可以看作成熟,而且因为用统计方法实现,稳定性比机器学习算法好,不会受刻意设计的对抗样本攻击。因为能改进的方面有限,所以新进入语音识别领域做工程师并不是一个很好的选择。

但如果本行业中可能用到语音识别相关的能力,可以从语音识别开始学习和了解人工智能,设想一下新的应用场景,反正技术实现成本已经很低,很值得“玩”一下。

翻译领域类似,各大厂都有自己的翻译平台,技术可能有高低,但意义不大,而且还都是免费平台,对个人来说,选择这个领域的意义也不大。

但是自然语言处理还仍旧是很有潜力的,尤其是大厂把通用语言处理做的再好,我们依然可以为某个专门领域,专门场景设计自然语言处理器,而在商业环境中这往往是非常需要的。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,294评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,493评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,790评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,595评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,718评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,906评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,053评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,797评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,250评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,570评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,711评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,388评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,018评论 3 316
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,796评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,023评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,461评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,595评论 2 350

推荐阅读更多精彩内容