Lex Fridman关于AI（主要是deepseek）的节目笔记

节目简要

莱克斯·弗里德曼（Lex Fridman）播客节目

节目主题：关于 DeepSeek AI 模型、AI 行业前沿技术及其地缘政治影响的深度讨论（DeepSeek, China, OpenAI, NVIDIA, xAI, TSMC, Stargate, and AI Megaclusters）

节目嘉宾：迪伦·帕特尔（Dylan Patel）、内森·兰伯特（Nathan Lambert）

节目时长：5小时

总结要点：

一、DeepSeek-V3 与 DeepSeek-R1 的定义和用户体验

• DeepSeek-V3 (指令模型)： 这是一个新的专家混合（MoE） Transformer 语言模型，专注于生成快速、格式良好且人性化的答案（类似于高质量的 Reddit 或 Stack Overflow 回复）。

• DeepSeek-R1 (推理模型)： 这是一个在 V3 基础上经过不同后训练流程的模型。其独特之处在于用户可以查看一个冗长、详细的思维链（Chain-of-Thought, CoT）推理过程，模型会分解问题、自我挑战和反思，最终生成一个总结性的答案。这种“思考”过程极大地吸引了公众的想象力。

二、低成本和技术创新

DeepSeek 能够实现极低的训练和推理成本，主要归功于两项技术创新：

1. 专家混合（Mixture of Experts, MoE）：

   • DeepSeek-V3 拥有超过 600 亿参数，但每次训练或推理时只激活约 370 亿个参数。

   • 与传统密集模型（激活所有参数）不同，MoE 架构通过仅激活参数的子集（专家），极大地提高了 GPU 效率，可以将计算量减少约 30%，同时保持高性能。

2. MLA 潜在注意力（MLA Latent Attention）：

   • 这项新技术利用复杂的低秩近似数学，减少了推理时的内存使用，进一步提高了效率。DeepSeek 在 CUDA 层进行底层干预，显示出与顶尖封闭实验室相当的工程实现复杂度。

三、开放性、数据安全与后训练技术

• 开放权重（Open Weights）： DeepSeek 模型是开放权重的，并采用了宽松的 MIT 许可证。这与更完整的开源（包含训练数据和代码）不同，但它迫使其他公司（如 Llama 和 OpenAI）向更开放的方向发展。

• 数据安全： 开放权重意味着用户可以下载模型并在没有互联网的电脑上运行，从而完全掌控自己的数据。窃取用户数据的不是模型本身，而是托管模型的主机/API 提供商。

• 后训练（Post-training）流程： 预训练（下一个 token 预测）后，模型经历：

  • 指令调优（SFT/IFT）： 教授模型如何以特定格式回答问题。

  • 偏好微调（RLHF）： 基于人类偏好数据，使模型生成更符合人类喜好的回答。

  • 推理训练： 一种较新的强化学习技术，通过检查答案是否匹配真实解（例如数学或代码的单元测试），极大地提高了模型在可验证领域的能力。

四、行业影响和地缘政治

• “DeepSeek 时刻” 被认为是科技史上的一个关键事件，因为它以极高的效率和开放度挑战了 AI 前沿领域的现有格局。

• 对话涉及了 AI 行业中的主要参与者（OpenAI, Google, Meta, Anthropic, xAI），以及半导体（Nvidia, DSMC/TSMC）和更广泛的美、中、台关系。

• 对话也提到了 OpenAI 的新模型 o3-mini，指出 DeepSeek-R1 在性能相似的情况下价格更低，且展示了完整的思维链。