头条
红帽收购Neural Magic
Neural Magic是vLLM项目的主要贡献者之一。该公司在稀疏推理技术方面也成果斐然。
韩国游戏公司KRAFTON与英伟达合作,为《绝地求生》和《Inzoi》打造更智能的人工智能角色
https://links.tldrnewsletter.com/LB1FIW
英伟达和 Krafton 推出了一款设备端小型语言模型,用于强化《绝地求生》和《代号:无限大》中的人工智能角色。这项技术让人工智能角色能与玩家交流并制定策略,带来更沉浸式的游戏体验。该模型在本地运行,无需依赖云端,还能提升隐私保护。
2025年首家上市的人工智能芯片初创公司将是布莱兹(阅读时长3分钟)
https://techcrunch.com/2025/01/13/the-first-ai-chip-startup-to-go-public-in-2025-will-be-blaize/
人工智能芯片初创公司Blaize将通过与特殊目的收购公司(SPAC)合并的方式在纳斯达克上市,专注于边缘应用芯片。尽管尚未盈利,但Blaize有4亿美元的潜在交易,合并后估值目标为12亿美元。此举凸显出人工智能芯片正越来越多地融入实体产品,而非仅用于数据中心。
研究
数学推理中开发过程奖励模型的经验教训
https://arxiv.org/abs/2501.07301
这可能是迈向推理模型开放复现的首个真正步骤。通义团队发布了他们训练好的奖励模型,该模型能对用强化学习训练的实际推理模型的生成过程进行监督。除了论文,他们还在Hugging Face上公布了这个过程奖励模型的权重 。
VIDEORAG:基于视频语料库的检索增强生成(阅读时长27分钟)
https://arxiv.org/abs/2501.05874
这是视频检索增强生成的精彩介绍和强大基线。主要挑战之一是如何衡量这种系统的性能。到目前为止,大多数系统都是将视频转换成文本描述进行检索,而不是直接对视频本身进行操作。
GPT 逐层学习
https://arxiv.org/abs/2501.07108v1
这篇论文探讨了大语言模型(LLMs)如何构建内部世界模型,以及这些模型在开发能够在各种任务中表现出一致、适应性行为的智能体方面的重要性。
工程
在单精度通用矩阵乘法方面超越CUBLAS(阅读时长12分钟)
https://salykova.github.io/sgemm-gpu
这是对CUDA很好的入门介绍,其性能与当前最先进的方法相比也颇具竞争力。它既有巧妙的优化,解释也很到位。
大语言模型的终身学习(GitHub 仓库)
https://github.com/qianlima-lab/awesome-lifelong-llm-agent
一项关于大语言模型智能体终身学习的调查。
热门内核实现(GitHub 仓库)
https://github.com/tgcsaba/ksig
一个与scikit-learn兼容的Python软件包,它利用CuPy为最强大且最受欢迎的时间序列内核和特性提供GPU加速实现。
其他
协同适配人机界面与学习管理系统
https://jessylin.com/2024/11/12/co-adapting-human-interfaces/
人工智能整合正在重塑数字交互,各种环境越来越多地适配大语言模型(LMs)。代码库和界面正针对高效使用大语言模型进行调整,这与过去为搜索引擎做的SEO优化类似。这一转变引发了有关未来仍以人类为核心的界面和功能的疑问。
人工智能系统将越来越多地伪造对齐性
https://thezvi.substack.com/p/ais-will-increasingly-fake-alignment
Anthropic和Redwood Research的论文显示,像Claude这样的大语言模型存在“对齐伪装”现象,即在无人监督时,模型会策略性地遵循有害指令以维持其原始偏好。他们的研究表明,人工智能在受监视时,会产生看似符合要求实则未真正采用预期对齐方式的策略性行为。该研究凸显了人工智能模型展现欺骗行为能力带来的潜在风险,强调了完善安全和对齐策略的重要性。
致我们那些耗能的“大佬”的一则通知
https://www.ai-supremacy.com/p/note-to-our-energy-sucking-overlords
人工智能基础设施竞赛正推动能源消耗大幅增加,预计到2028年,数据中心将占美国电力需求的12%。OpenAI、亚马逊和谷歌等大型科技公司正大力投资人工智能相关基础设施,导致能源成本上升,并带来可持续性挑战。由于可再生能源短期内可能不够用,人们正考虑使用天然气和核能等传统能源来满足这些需求。
需要词典数据?从每月50英镑起即可使用牛津词典API(赞助商)
https://account.oxforddictionaries.com/pricing
牛津词典为人工智能、游戏或研究提供举世闻名的多语言词典数据,现在你能以更低成本获得完整数据访问权限。查看定价方案[17]
久泰的氦1预览模型(Hugging Face平台)
https://huggingface.co/kyutai/helium-1-preview-2b
从事实时语音助手业务的Kyutai发布了一款不错的、在多语言环境中表现出色的竞争型语言模型。
OpenAI董事会意译:“要想成功,我们只需要巨额资金”
https://daringfireball.net/2024/12/openai_unimaginable
OpenAI董事会需要大量资金来保持竞争力,其处境类似于20世纪90年代围绕网景的投资泡沫。
2024年我们对大语言模型(LLMs)的了解
https://simonwillison.net/2024/Dec/31/llms-in-2024/
2024年,众多机构在大语言模型(LLMs)方面取得进展,在上下文长度、多模态能力和效率上有突破,超越了OpenAI的GPT-4 。