数据处理的第一步自然是将待处理的数据从硬盘或者其他地方加载到程序中,此时读入的是原始文本数据,还需要经过第3章介绍的分句、标记解析等预处理过程转换为标记序列,然后再使用词表映射工具将每个标记映射到相应的索引值。
2022-03-12
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
推荐阅读更多精彩内容
- 第九章:自然语言处理 * 9.1语言模型的背景知识 * 9.1.1语言模型简介 * 9.1.2语言模型的评...