头条
AMD 的新语言模型
AMD 使用 OLMO 代码库来训练和发布在其加速器上训练的语言模型。
Etched & Decart 的 Oasis
https://www.etched.com/blog-posts/oasis
Etched 和 Decart 的 Oasis 是一种 AI 模型，可根据用户输入逐帧生成开放世界游戏，展现出先进的物理理解和实时交互能力。Oasis 采用针对即将推出的搜狐芯片优化的 Diffusion Transformer 架构，可实现大规模、低延迟的 4K 视频模型。该模型集成了定制硬件，可大规模提高性能，代表着向交互式 AI 生成内容的转变。
OpenAI 将开始使用 AMD 芯片，并可能在 2026 年制造自己的 AI 硬件
https://www.theverge.com/2024/10/29/24282843/openai-custom-hardware-amd-nvidia-ai-chips
OpenAI 正在与 Broadcom 和 TSMC 合作开发定制 AI 芯片，预计将于 2026 年开始生产。与此同时，OpenAI 正在将 AMD 的 MI300 芯片集成到其 Microsoft Azure 基础设施中。尽管在定制芯片战略上与其他科技巨头保持一致，但 OpenAI 在硬件开发方面仍落后于谷歌、微软和亚马逊。
研究
无相机姿势的 3D 场景重建
NoPoSplat 是一种前馈模型，可以从稀疏的多视图图像重建 3D 场景，而无需精确的相机姿势。
改进语言模型的推理
https://arxiv.org/abs/2410.23856v1
这项研究解决了 LLM 中的一个独特挑战：它们如何处理包含不相关或不正确的理由片段的推理提示。
语言模型中的长上下文评估
https://arxiv.org/abs/2410.23771v1
这项研究确定了使用困惑度 (PPL) 评估 LLM 的长上下文能力的一个关键缺陷 - PPL 对所有标记进行平均，并忽略了理解扩展输入所需的关键标记。为了改进这一点，作者引入了 LongPPL，这是一种突出显示这些基本标记的指标，可以更清楚地衡量长上下文性能。
工程
语言模型中的快速思维与慢速思维
https://github.com/mingliiii/layer_gradient
该项目探索了不同的“思维”方法——快速（简洁）与慢速（详细，如思维链推理）——如何影响 LLM 中的分层梯度和稳定性。
仅使用 2D 图像进行 3D 物体检测
https://github.com/yangtiming/imov3d
ImOV3D 是一个框架，它利用 2D 图像来克服 3D 注释的稀缺性，从而推进开放词汇 3D 物体检测 (OV-3Det)。
文本到视频生成中的真实运动
https://pr-ryan.github.io/DEMO-project/
DEMO 是一个将文本和条件分为内容和运动组件的框架。通过对静态内容和动态运动使用不同的编码器和条件，DEMO 可以更好地从文本提示中解释和生成运动。
杂七杂八
Project Sid
https://threadreaderapp.com/thread/1852397383939960926.html
Project Sid 展示了文明进步、专业化、治理以及模因和宗教的发明和传播。这些都得益于 Altera 的新认知架构：PIANO。
我们正在分叉 Flutter, 原因如下
https://flutterfoundation.dev/blog/posts/we-are-forking-flutter-this-is-why/
Google 将公司重点转向人工智能，降低了 Flutter 桌面平台的优先级，导致这个曾经迅速扩张的 UI 工具包出现劳动力短缺。作为回应，一个名为 Flock 的分支正在开发中，其中包含 Flutter 团队无法解决的重要错误修复和功能，旨在通过社区参与加速 Flutter 的发展。Flock 计划改进贡献流程并简化 PR 审核，弥补 Flutter 主团队在支持和开发速度方面留下的差距。
使用强化学习和 4.80 美元的 GPU 时间找到有史以来最好的 HN 帖子
https://openpipe.ai/blog/hacker-news-rlhf-part-1
本文讨论了使用强化学习从人类反馈 (RLHF) 开发一个奖励模型，该模型可以预测 Hacker News 故事的点赞数。利用全面的数据集和 4.80 美元的 GPU 时间，对奖励模型进行了标题、作者和内容等特征的训练，以优化帖子质量，最终目标是利用 RLHF 技术来增强高价值内容的创作。由此产生的模型虽然并不完美，但可以成功识别未被重视的故事并预测潜在的头版点击量。
Google 的 AI 搜索摘要正在推广到 100 多个国家
https://www.theverge.com/2024/10/28/24281860/google-ai-search-summaries-expand-more-countries
Google 的 AI 概览正在扩展到 100 多个国家，提供多种语言的 AI 生成的搜索摘要。
埃隆·马斯克终于承认特斯拉的 HW3 可能不支持完全自动驾驶
埃隆·马斯克承认特斯拉的 HW3 可能不支持完全自动驾驶，而 HW4 的功能要强大得多。
NVIDIA 以太网网络加速由 xAI 打造的全球最大 AI 超级计算机
https://nvidianews.nvidia.com/news/spectrum-x-ethernet-networking-xai-colossus
xAI 的 Colossus 由 NVIDIA 的 Spectrum-X 以太网网络平台提供支持。
