数据科学简讯 2023-03-23

头条

Google 发布 Bard

它在这里！谷歌期待已久的语言模型服务游戏。 Bard 是 Lambda 的轻量级版本，Lambda 是几年前训练的 70B 参数的模型。他们花了很多努力使模型安全，并且避免胡说八道，我们将看到人们何时开始被添加到 wait list，如果这次 Google 能兑现承诺的话。

OpenAI 停止 Codex

自 2021 年以来一直处于免费测试阶段的 4 种流行编码模型集现已停产，取而代之的是 turbo 和 gpt-4 模型。虽然这些模型非常擅长编码。但研究界担心，淘汰这些模型将大大降低重现基于它们的先前研究的能力。

Adobe 的生成模型

Player 2 已经发布。 Adobe 为其 Firefly 模型集推出了私人测试版。在强大的视觉团队和重要数据的支持下，这家艺术巨头现在准备提供他们自己的生成图像模型。越来越多的人认为技术不那么重要，渠道仍然是王道，当两者结合时，我们将拭目以待！

研究

Google 提出SVDiff, 一种个性化的文本到图像扩散模型

谷歌的研究人员提出了一种称为 SVDiff 的新方法，以解决现有文本到图像扩散模型在个性化方面的局限性，包括过度拟合和低效的参数存储。 SVDiff 涉及对权重矩阵的奇异值进行微调，从而产生紧凑且高效的参数空间，从而降低过度拟合、语言漂移的风险，并具有明显更小的模型大小，使其在实际应用中更加实用。

Zero-1-to-3：Zero-shot 图像到 3D Object

Zero-1-to-3 是一个框架，用于从单个 RGB 图像更改对象的相机视点，使用条件扩散模型从合成数据集中学习相对相机视点的控制。这种方法对分布外数据集和野外图像（包括印象派绘画）显示出强大的零样本泛化能力，并且可用于从单个图像进行 3D 重建，优于最先进的模型利用互联网规模的预训练。

工程

我需要多少个 GPU 来训练我的模型？

简而言之，训练一个模型至少需要16*N（十亿参数）GB的集群内存。较大的集群可以加快收敛速度和训练时间，本文的方法是一种估量自己训练模型成本与性能的好方法。

GPTNeox 2.0 (GitHub Repo)

最好的、开放的、可用的模型并行训练库之一现在是最新的 deepspeed 版本。让这两个项目保持同步一直是一个挑战，现在将得到更多的关注。如果您想从头开始训练具有数十亿个参数的模型，那么这可能是适合您的存储库。

CG3D 提出了一种框架，通过使用点云、渲染的 2D 图像和文本训练 3D 编码器，实现了零样本 3D 几何特征提取。对比损失（Contrastive loss）将特征对齐到多模态嵌入空间，并且可训练输入参数的提示微调（prompt tuning）克服了分布偏移问题。CG3D 展示了令人印象深刻的零样本、开放场景理解和检索能力，并作为下游 3D 识别任务的强起始权重（starting weight）。

杂七杂八

Nvidia H 系列芯片获得内存提升

大多数大型语言模型受限于芯片上的内存。这个新系列的芯片提供了188GB的芯片内存，令人惊叹。同时，这个芯片还拥有990 TFLOPS的计算能力，预计会更频繁地被用于训练和推理需要大量计算的模型。

人工智能与旅游行业的机遇

在这篇文章中，a16z 认为，旅游行业在从计划旅行到预订机票，再到旅途中的各个方面，都可以通过人工智能实现颠覆性的变革。生成式人工智能可以利用公共和私人旅行偏好、位置、交通和活动等方面的数据，提供洞察和建议。初创公司可以利用人工智能为旅行者提供灵感、行程规划、预订和旅途协助，创造更具有对话性和定制化的旅行体验。