头条
斯坦福 HAI 发布 2024 年人工智能指数报告
https://hai.stanford.edu/research/ai-index-report
斯坦福以人为中心的人工智能研究所发布了第七份年度人工智能指数报告。 今年的报告涵盖了多模式基础模型的兴起、对生成人工智能的重大现金投资、新的绩效基准、不断变化的全球观点以及新的主要法规。
苹果的 iOS 18 AI 将在设备上保护隐私，而不是在服务器端
https://appleinsider.com/articles/24/04/15/apples-ios-18-ai-will-be-on-device-preserving-privacy-and-not-server-side
据传，苹果即将在 iOS 18 中推出的人工智能功能将重点关注隐私，最初的一组增强功能完全在设备上运行，无需互联网连接或基于云的处理，这要归功于该公司内部已知的内部大语言模型 作为“阿贾克斯”。
[谷歌的新技术为LLM提供了无限的窗口长度(https://venturebeat.com/ai/googles-new-technique-gives-llms-infinite-context/)
https://venturebeat.com/ai/googles-new-technique-gives-llms-infinite-context/
谷歌研究人员推出了无限注意力技术，该技术使LLM能够处理无限长度的文本，同时保持内存和计算需求不变。
研究
压缩线性地代表智力
https://arxiv.org/abs/2404.09937
大多数现代人工智能都是围绕将训练数据集压缩到模型中的想法构建的。 压缩越好，模型就越好。 本文严格证明了这种关系，并假设规模基准分数与模型压缩小说文本的能力密切相关。
Transformer中的反馈
https://arxiv.org/abs/2404.09173
TransformerFAM 提供了一种反馈机制，允许 Transformer 关注自己的潜在表示。 从理论上讲，这可以将递归引入到模型中，以在上下文中处理极长的输入。
Megalodon 高效Transformer预训练
https://arxiv.org/abs/2404.08801
另一篇长上下文论文——这一次是一种使用两种新颖的权重更新方案的新架构。 它在相同数量的训练令牌 2T 上优于 Llama 2。 它还可以在推理时扩展到无限的上下文长度。
工程
人工智能系统可创建详细的、引用的报告并进行检索 (GitHub Repo)
https://github.com/stanford-oval/storm
斯坦福大学发布了一个名为 Storm 的简洁研究系统，该系统使用检索引导语言模型来创建特定主题的报告。
自动驾驶的道路线分割
https://arxiv.org/abs/2404.07626v1
准确分割道路线和标记对于自动驾驶至关重要，但由于车辆、阴影和眩光造成的遮挡而具有挑战性。 单应性引导融合 (HomoFusion) 模块通过利用新颖的表面法线估计器和像素到像素的注意机制，使用视频帧来识别和分类模糊的道路线。
增强的视觉语言模型 (GitHub Repo)
https://github.com/congvvc/lasagna
视觉语言模型 (vLLM) 常常难以处理每个图像的多个查询以及识别对象何时不存在。 本研究引入了一种新的查询格式来解决这些问题，并将语义分割纳入训练过程。
杂七杂八
加速 AI：利用 Intel(R) Gaudi(R) 3 和 Ray 2.10
https://www.anyscale.com/blog/accelerating-ai-harnessing-intel-gaudi-3-with-ray-2-10
Anyscale 的 Ray 最新版本 Ray 2.10 增加了对 Intel Gaudi 3 的支持。开发人员现在可以启动和管理自己的 Ray 集群，直接通过 Ray Core API 在 Gaudi 队列上配置 Ray Core 任务和 Actor，利用 Gaudi 上的 Ray Serve 通过 Ray Serve API 获得更高级别的体验，并配置 Intel Gaudi 加速器基础设施以在 Ray Train 层使用。
Qwen Coder
https://qwenlm.github.io/blog/codeqwen1.5/
Code Qwen 1.5 是一组新的 7B 模型，在代码相关数据的 3T 令牌上进行训练。 它在 HumanEval 上表现良好，在 SWE-bench 上得分非零。 聊天变体特别显示了长达 64k 令牌的长上下文检索任务的前景。
1-bit Quantization
https://mobiusml.github.io/1bit_blog/
对 Llama2-7B 等小型预训练模型进行极端低位量化具有挑战性，但仅微调 0.65% 的参数即可显着提高性能。 新微调的 1 位模型优于 2 位 Quip# 模型，而具有专门数据的 2 位模型可以超过全精度模型。 这项研究表明，适当的微调和量化可以在不影响模型质量的情况下提高效率，从而可能将重点从训练较小的模型转移到优化较大的量化模型。
推出 ALOHA 释放
https://twitter.com/tonyzzhao/status/1780263497584230432
Google DeepMind 的 ALOHA Unleashed 是一个利用低成本机器人和人工智能突破灵活性界限的程序。
创始人整合人工智能的四个步骤
https://foundationcapital.com/from-idea-to-integration-four-steps-for-founders-integrating-ai/
目前，制定将人工智能纳入现有产品的计划面临着巨大的压力。 这个简短的分步指南将帮助人们迈出第一步。
Limitless (Product)
https://www.limitless.ai/
个性化人工智能应用程序和可穿戴设备由人们的所见所闻提供支持。
