2025-05-26： 学习

  1. 语音语言模型的目标与挑战
    ▫ 语音语言模型不仅要“听懂”声音，还要能“产生”声音，涉及输入输出均为语音的复杂任务。
    ▫ 相比文字，语音包含更多信息（如情绪、说话人、环境等），因此建模难度更大。
  2. 语音tokenization的技术演进
    ▫ 早期做法是将语音转为文字（ASR）再处理，但这样会丢失大量语音特有信息（如语气、情绪）。
    ▫ 另一极端是直接用采样点作为token，但数据量极大，模型难以处理。
    ▫ 目前主流做法是将语音信号压缩为离散token（如通过自监督模型或neural codec），在保留关键信息的同时降低序列长度。
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容