Deep learning lecture 3

RNN

Language modeling

目标：估计一个word sequence的概率

举个例子： recognize speech or wreck a nice beach， 从声音讯号里是判断不出来，但我们可以估计出来recognize speech的概率会更大一些

传统的方法是N-gram Language Modeling

n-1 个字的概率

smoothing 表示给某些情况一些小概率，例如p=0.0001

这些概率是不准确的，我们在training data里不能收集到所有情况

Neural language modeling里，会自动做smoothing

RNNLM: recurrent neural network language model

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容

  • 悼在天堂的姥姥姥爷
    我问： 那是什么地方？ 你却怎么都不会回答 ...
    周小天的天空阅读 3,658评论 0赞 0
  • 请忆起母亲的伟大
    第一次看到《丰乳肥臀》这本书时，是在我们学校的书院的架子上的，整整齐齐的放着莫言的十余本小说，一眼看去，便被这《...
    15阮兰鹏阅读 2,806评论 0赞 0
  • 请珍惜你所热爱的
    请珍惜你所热爱的，一份热情，一份执着，不容易，只有在热爱的事业中，才能感到自由和舒坦，无尽的动力。也许热爱的你暂时...
    C_JS阅读 1,693评论 0赞 0
  • 你大我三岁 我爱你三年
    也许遇见很偶然。明明你在同龄人中很高，可我却不曾在意过你。明明你来替别人打听过我，可我却忘得一干二净。明明记不清你...
    茜元谭阅读 3,462评论 0赞 0

友情链接更多精彩内容