多年来,模型在聊天方面的表现早已超越人类,那么,自动化究竟在哪里?这是过去四年来一直驱动着我的问题。在 OpenAI 工作期间,我参与构建了相关方法,让语言模型能够有效地遵循指令并与人交流。这项工作最终成为 ChatGPT 背后的研究成果。当时,我认为聊天模型或许能够引领我们走向 AGI,但尽管外界对此大肆炒作,我还是逐渐意识到,其中显然缺少了某种非常重要的东西。
经过两年的隐秘研发、无数技术挑战以及一系列研究突破……我无比激动地宣布,今天,TypeSafe AI 正式发布了我们的首个 System One Model:全新的前沿模型类别,旨在做出快速、结构化的决策,让软件能够直接使用这些决策。
我们构建了一套完全专注于自动化的新技术栈,其中包括全新的模型架构、能够实现最高效率的并行采样器,以及「校准决策强化学习」(Reinforcement Learning for Calibrated Decisions,RLCD)的训练方法。
首个公开模型是 Jev,今天起开放早期访问。与现有LLM相比,Jev 在 System One 任务上能够达到相近的智能水平,同时速度和效率提升了两个数量级。Jev 放弃字符串生成能力,但针对结构化输出进行优化,且不会产生幻觉。
可把 Jev 想象成一个拥有前沿智能的函数调用:输入非结构化状态,输出带类型的概率决策。
新旧前沿技术
| 现有 LLM | System One + Jev | |
|---|---|---|
| 优化方法 | 基于人类反馈的强化学习(RLHF)/ 基于可验证奖励的强化学习(RLVR) | 校准决策强化学习(RLCD) |
| 优化目标 | 人类偏好:生成评分者更喜欢的说明性文本和聊天回复。可验证奖励:生成能够通过程序验证的输出。 | 校准决策:针对 System One 任务,给出在认知层面诚实反映概率的答案。 |
| 输入 | 非结构化数据(例如文本),重点关注顺序消息。 | 非结构化数据(例如文本),重点关注结构化程序状态。 |
| 输出 | 字符串 / 生成的文本。 字符串具有很强的灵活性,可以是任何内容:聊天回复、代码、幻觉、拒绝回答,甚至是类型安全的结构化值。若要供软件使用,就必须对回复进行解析和验证。此外,AI 始终存在偏离正轨的风险。 | 类型安全的结构化值。 可能的输出及其结构都已预先定义。模型绝不会出现类型错误。所有答案都附带经过校准的概率和置信度分数。 |
| 采样方式 | 顺序式。 每次生成一个 token,每个 token 的生成都以此前生成的 token 为条件。 | 并行式。 一次查询即可生成所有输出。效率极高,并且能够充分考虑硬件特性。 |
| 成本 | 输入 token:每百万 token 0.20 至 10 美元。输出 token:价格约为输入 token 的 5 倍。 | 输入 token:每百万 token 0.042 美元(每十亿 token 42 美元)。输出 token:免费(成本低到无需计量)。 |
| 速度 | 端到端响应时间为3 至 329 秒,针对的是前沿模型。对于与人类交互而言,这已经足够快,但当模型被集成进代码时,就会成为一个巨大的瓶颈。 | TypeSafe 的端到端响应时间为 70 至 500 毫秒。 对于形态适合 System One 的查询,在达到相同前沿智能水平的情况下,速度可提升 40 至 200 倍。 |
| 置信度 | 即使明确要求模型估计置信度,它们通常仍然会过度自信,而且表现不一致。如果一个模型有 95% 的概率能够完成某项任务,却无法判断自己何时处于剩余 5% 的失败区间,那么这项任务就无法实现自动化。 | 每次输出都会明确传达置信度和不确定性。经过校准:置信度越高,准确率越高。表现也更加一致:相似的输入会得到相似的答案。 |
| 使用场景 | 需要人在环路中的任务(聊天机器人、copilot、编程智能体)。 通用性强、能力出色,但仍需要人工监督,因为模型的自由度也意味着它们可能偏离正轨。可验证问题(数学证明、内核优化)。 当正确性能够以较低成本自动验证时,LLM 可以生成、测试并不断迭代,直到找到可行方案。演示原型。 字符串的灵活性使其非常适合快速构建原型,即使这些原型只能在部分情况下正常运行。 | AI 驱动的工作流 / 智能 if 语句。 结构化输出可以直接嵌入常规软件,作为模糊决策规则:在手写逻辑过于脆弱的地方进行分类、路由、评分、提取或分支判断。外围代码限制了模型的自由度,因此更容易将其组合成可靠的系统。对海量数据进行 Map 归约。 将 PB 级数据转化为特征和洞察。实时应用。 100 毫秒级的速度意味着可以在用户体验至关重要的应用中使用 AI。验证一切。 对 LLM 提示词、推理轨迹和/或输出进行评分、判断、验证、设置防护机制,并检测越狱攻击。 |
证据 / 技术结果
有些主张很容易验证:
- 单次调用速度: 我们确实有这么快
- 单次调用成本: 我们公开透明地展示定价。我们无法证明这些价格没有得到补贴;要证明定价模式具有可持续性,还需长期观察(我们预计价格只会下降,不会上涨)
- 不存在类型错误: 只需一个反例,就很容易推翻这一说法,但从数学上来说,这种情况不可能发生
对于更大胆的主张,我们希望尽可能充分地说明其中的细节和限定条件。
并排演示
我们的并排演示展示了 Jev 与 LLM 之间的一个关键区别:Jev 会并行输出所有概率,而不是通过自回归方式逐个 token 地生成结果。字符串的能力极其强大、适用范围也很广,但代价高昂。实际上,放弃字符串生成能力,反而赋予了我们许多超能力!
具体说明
- 对于已经获得 TypeSafe 早期访问权限的用户,可以在这里查看实际查询。
- 该查询经过了高度简化,并且我们特意为
questions选择了具有描述性、易于人类理解的键名,以便屏幕上的输出更容易理解。 -
state同样采用了一段简短、信息密集且细节丰富的段落,以突出不同采样方法之间的差异。相对较短的输入让我们的模型显得更有优势。
- 该查询经过了高度简化,并且我们特意为
- 对于观察细致的人来说,在这次录制的运行中,Jev 与 GPT-5.6 Terra 唯一存在分歧的地方是「客户流失可能性等级」(Churn likelihood level)。在我们看来,这个问题的实际答案确实存在歧义。
- 在这个示例中,我们使用了默认推理设置下的 GPT-5.6 Terra,因为我们发现,平均而言,它在智能水平上与 Jev 最具可比性。
- 一个有趣的事实:正是一个类似的演示,说服了我们全力投入 System One Models 这一方向!
工作流评估
我们创建了一种新型评估方法,用于衡量 AI 在代码环境中的表现。我们不会针对某个真实标签分类结果进行优化,也不会允许评估框架和模型发生变化(否则,可能通过设计评估框架的方式造成过拟合)。相反,我们假设存在一个正确的计算图(即用代码表示的「工作流」),并使用外部最强大、最智能、成本最高的模型所给出的预测概率作为参考。
换句话说,每个模型都使用相同的工作流。我们测试它们的表现,并将其与最智能模型的平均水平进行比较(在本例中,这些模型是 Astra 和 Fable)。
[图片上传失败...(image-d3efb4-1792402867504)]
Jev 的表现远超其他模型——在帕累托前沿上占据了绝对优势,覆盖范围接近两个数量级。我们还将其与另一类模型进行了比较:这些模型通过生成的提示词,在自身的思维链中完成所有逻辑推理。但这种方法的表现通常明显逊于直接使用工作流本身。
请注意,这里的调用要比上面的并排演示复杂得多,因为它们更能代表真正实现业务自动化所需的生产级工作负载类型。下面展示的是我们公开发布的四种工作流中最简单的一种:
[图片上传失败...(image-ba196b-1792402867504)]
在现实世界中,最可靠的工作流往往包含许多彼此独立、经过拆解的问题,其细粒度行为取决于概率,而不是离散决策。最终结果表现为离散分支,但要得到最终答案,需要进行大量特定领域的工程设计,并且这些设计必须以极高的一致性执行。
具体说明
- 我们主页上所宣称的快 193.6 倍、便宜 444.6 倍,正是来源于这些评估结果。我们预计,这些提升幅度处于现实世界收益的较高水平。
- 这些工作流的内容并非为了让我们的模型看起来表现出色而刻意挑选或构建的,而且它们也不属于我们的训练数据分布。不过,这些工作流由我们模型能力团队的成员创建,因此仍可能存在一定偏见。
- 我们使用 GPT-6 Astra 和 Fable 5.1 的平均表现作为参考答案,这会使评估结果偏向 OpenAI 和 Anthropic 的模型。我们可能低估了自家模型以及 DeepSeek 模型的相对表现。
- LLM 使用我们提供的 System One LLM 封装器,该封装器会限制 LLM,使其输出与我们的 API 兼容的结构化决策。我们发现,这是让 LLM 做出决策时最准确的方法,但与直接输出不带概率的决策相比,这种方法通常更慢、成本也更高。
幻觉与类型安全
[图片上传失败...(image-eac7ea-1792402867504)]
幻觉与类型安全有着内在联系,而我们认为,类型安全是实现自动化的基本门槛。对于智能体而言,产生一个带有幻觉的工具调用虽然令人头疼,但如果这种调用发生在有延迟保证要求的系统中,或者隐藏在依赖链的深层位置,那么它就完全不可接受。现有模型无论多么智能,仍然会产生幻觉,也仍然会出现类型错误。
具体说明
- LLM 的相关数据来自 OpenRouter,也就是说,这里几乎可以肯定存在偏差:更复杂的查询可能会被路由到更优秀的模型。
- 我们自己的数据并非通过实证测量得出。由于模式匹配能够得到保证,因此我们可以有把握地在图表中将其错误率设为 0%。
有趣的演示
我们这项工作最令人兴奋的地方,或许在于它能够实现全新的使用场景。我们还有更多内容想要展示,但这里先介绍几个团队最喜欢的案例:
Wikiracing
[图片上传失败...(image-ae0052-1792402867504)]
目标:从维基百科上的一个页面出发,只能通过浏览过程中遇到的链接,最终抵达另一个指定的维基百科页面。每一步都可能需要从数百甚至数千个链接中做出选择!这是一个非常适合展示模型每秒智能处理能力的试验场,也能体现避免幻觉所带来的累积优势,尤其是在候选选项数量极多的情况下。
Jev 支持的候选选项数量最高可达 255 个。对于候选选项数量更高的情况,我们采用两阶段系统:先分别进行评分,再明确做出选择,因此偶尔会出现速度变慢的情况。
计划
Jev 还处于发展的早期阶段。我们还有大量计划中的工作,也非常期待继续推出新成果 🔥。
创立 TypeSafe,是因为我们相信,AI 需要一种软件能够依赖的接口。我们迫不及待地想看到新的应用场景在社区和整个经济体系中不断扩散。
AI 最苦涩的教训
算力推动 AI 进步,但如果你没有在做正确的任务,那么这种进步又有什么意义!Rich Sutton 提出的苦涩的教训(The Bitter Lesson指出,算力胜过算法:
从 70 年的人工智能研究中可以得出的最大教训是:能够利用计算能力的通用方法,最终会展现出最高的效果,而且优势幅度非常大。 其根本原因在于摩尔定律,或者更准确地说,是它的一般化形式:单位计算成本持续呈指数级下降。大多数人工智能研究开展时,都假设智能体能够使用的计算资源是固定不变的(在这种情况下,利用人类知识便是提高性能的少数途径之一)。然而,只要时间跨度稍微超过一个典型研究项目的周期,能够使用的计算资源就不可避免地会大幅增加。为了在较短时间内取得显著改进,研究人员会寻求利用自己对特定领域的专业知识,但从长远来看,唯一重要的事情是如何充分利用计算能力。这两种方法并非必然相互矛盾,但在实践中,它们往往会发生冲突。花在一种方法上的时间,就意味着无法花在另一种方法上。人们在心理上会倾向于投入其中一种方法,而不愿放弃。并且,基于人类知识的方法往往会使方法本身变得更加复杂,从而降低其利用计算能力的通用方法所带来的优势。人工智能研究人员曾多次迟迟才领悟这一苦涩的教训,回顾其中一些最著名的案例,颇有启发意义。
在计算机国际象棋领域,1997 年击败世界冠军 Kasparov 的方法,建立在大规模、深度搜索的基础之上。当时,大多数计算机国际象棋研究人员对此感到沮丧,因为他们一直致力于利用人类对国际象棋特殊结构的理解来设计方法。当一种更简单、以搜索为基础,并配备专用硬件和软件的方法被证明有效得多时,这些基于人类知识的国际象棋研究人员却不愿接受失败。他们声称,「暴力搜索」这次也许赢了,但它并不是一种通用策略,而且无论如何,人类下棋并不是这样下的。这些研究人员希望基于人类输入的方法能够获胜,而当它们未能获胜时,他们感到十分失望。
计算机围棋领域也出现了类似的研究进展模式,只不过晚了整整 20 年。最初,人们投入了大量精力,试图通过利用人类知识或游戏本身的特殊性质来避免搜索,但一旦搜索得到有效的大规模应用,这些努力便被证明毫无意义,甚至起到了反作用。同样重要的还有通过自我对弈进行学习,以学习价值函数;在许多其他游戏中,甚至在国际象棋中也是如此,不过,在 1997 年首个击败国际象棋世界冠军的程序中,学习并未发挥重要作用。通过自我对弈进行学习,以及一般意义上的学习,与搜索类似,因为它们都能够让大规模计算能力得到充分运用。搜索和学习是人工智能研究中利用海量计算资源的两类最重要技术。在计算机围棋领域,正如计算机国际象棋领域一样,研究人员最初致力于利用人类的理解能力(以减少所需的搜索量),直到很久之后,他们才通过拥抱搜索和学习取得了更大的成功。
在语音识别领域,20 世纪 70 年代曾出现过一场由 DARPA 赞助的早期竞赛。参赛方案中包含了大量利用人类知识的特殊方法,例如关于词语、音素、人类声道等方面的知识。另一边则是一些更新的方法,它们在本质上更加依赖统计,利用隐马尔可夫模型(HMM)进行更多的计算。结果再次证明,统计方法战胜了基于人类知识的方法。这导致整个自然语言处理领域发生了重大转变,并在数十年间逐渐演变为统计方法和计算能力占据主导地位的局面。近年来,深度学习在语音识别领域的兴起,则是这一持续发展趋势的最新一步。深度学习方法对人类知识的依赖更少,同时使用更多的计算资源,并在海量训练数据上进行学习,从而打造出性能大幅提升的语音识别系统。与游戏领域的情况一样,研究人员总是试图构建按照他们认为自己大脑运作方式工作的系统——他们试图将这些知识植入系统中——但最终证明,这种做法适得其反。当摩尔定律使海量计算资源成为现实,并且人们找到了有效利用这些资源的方法时,这种做法就变成了对研究人员时间的巨大浪费。
在计算机视觉领域,也出现了类似的模式。早期方法将视觉理解为寻找边缘、广义圆柱体,或者基于 SIFT 特征进行处理。但如今,这些方法都已被摒弃。现代深度学习神经网络只使用卷积以及某些类型的不变性等概念,却能取得远为出色的表现。
这是一个重大的教训。作为一个领域,我们至今仍未彻底吸取这一教训,因为我们还在不断犯下同类错误。要看清这一点并有效地抵制这些错误,我们必须理解它们为什么具有吸引力。我们必须认识到这一苦涩的教训:将我们自认为的思维运作方式直接构建进系统,从长远来看是行不通的。 这一苦涩的教训建立在以下历史观察之上:1)人工智能研究人员经常试图将知识直接构建进智能体;2)这样做在短期内总是有所帮助,而且能让研究人员获得个人满足感;3)但从长远来看,这种方法的进步会陷入停滞,甚至阻碍进一步发展;4)最终,突破性进展总是通过与之相反的方法到来,即通过搜索和学习来扩展计算规模。最终的成功总是带着一丝苦涩,而且人们往往并未真正、彻底地吸取这一教训,因为这种成功意味着一种更受青睐、以人为中心的方法遭到了超越。
我们应该从这一苦涩的教训中学到的一点是:通用方法具有巨大的威力,尤其是那些即使可用计算资源变得极其庞大,仍然能够随着计算能力的增加而持续扩展的方法。目前看来,能够以这种方式实现任意规模扩展的两种方法是搜索和学习。
从这一苦涩的教训中应该学到的第二个普遍性结论是:心智的实际内容极其复杂,而且这种复杂性根本无法消除;我们应该停止试图用简单的方式来理解心智的内容,例如,用简单的方式来理解空间、物体、多智能体或对称性。所有这些都属于任意的、内在复杂的外部世界。它们不应该被直接构建进系统,因为它们的复杂性是无穷无尽的;相反,我们应该只将那些能够发现并捕捉这种任意复杂性的元方法构建进系统。这些方法的关键在于,它们能够找到良好的近似解,但寻找这些近似解的工作应该由我们的方法来完成,而不是由我们亲自完成。我们希望 AI 智能体能够像我们一样自主发现新知识,而不是仅仅包含我们已经发现的知识。将我们已有的发现直接构建进系统,只会让我们更难看清发现这一过程究竟是如何实现的。
研究人员希望将自己对智能的巧妙构想编码进机器中。然而最终胜出的都是那些能够利用更多计算资源的通用方法。搜索算法战胜了人工构建的国际象棋知识。神经网络战胜了人工设计的视觉特征。这一教训之所以令人苦涩,是因为研究人员热爱算法,但与规模相比,巧妙的设计并没有那么重要。
Sutton 的苦涩教训只是一个更苦涩的教训体系的冰山一角:除了算力和算法之外,还有数据,甚至还有一个更重要的问题:选择正确的机器学习任务。
[图片上传失败...(image-2bbae1-1792402867504)]
机器学习中最苦涩的教训:做正确的任务 > 数据 > 算力 > 算法。
Sutton 的苦涩教训在游戏领域最容易体现,因为游戏与现实世界存在两个主要区别:
- 正确的 任务显而易见(遵循规则以赢得游戏或最大化得分)
- 数据可以通过自我对弈不断生成(借助算力实现)。因此,算力成为下一个最重要的因素,这完全合乎逻辑
归根结底,机器学习所做的就是提高奖励或降低损失。但仍然需要有人决定究竟要优化什么目标。要做出正确的选择,就必须理解模型将要运行于其中的外部系统。如果没有选择正确的任务,那么即使一切运行得完美无缺,即使损失曲线和规模扩展曲线都再漂亮不过,模型仍然可能毫无用处!
遗憾的是,机器学习研究往往按照相反的顺序来解决这些问题。研究人员热衷于发明算法。近些年来,我们也开始热衷于规模扩展曲线。与此同时,数据杂乱无章。而选择正确的任务,往往意味着必须彻底跳出机器学习问题本身,转而研究用户、产品、组织,或是现实世界中任何一个本应从中受益的领域。
这并不是在反对规模扩展。一旦任务和数据都选对了,规模扩展的威力将令人惊叹。这是在反对将规模扩展视为一切问题的终极答案。
苦涩的 LLM
当生活给了你 LLM……
在 OpenAI 开发 InstructGPT/RLHF 时,我们就学到了这一教训:GPT-3 是一个令人惊叹的模型,它通过互联网文本训练来预测下一个 token,但人们真正想要的是一个能够遵循指令的模型,而不是一个超级强大的自动补全文本工具。规模只有 GPT-2 级别的模型(比 GPT-3 小 100 倍以上),只要在正确的任务上进行训练,1 即使使用最笨拙的算法,2 并且几乎不消耗算力,也能彻底击败 GPT-3。
[图片上传失败...(image-928f8-1792402867504)]
要想仅靠扩大预训练规模就超越这一基线,模型大约需要达到 GPT-7 的水平;而要超越基于 GPT-3 构建的 InstructGPT,则需要达到 GPT-9 的水平。
你优化什么,就会得到什么。而机器学习中最苦涩的教训是:其中最重要的部分,根本就不是机器学习本身。
[图片上传失败...(image-dd7066-1792402867504)]
LLM 的优化目标是成为出色的聊天机器人和copilot,因此它们在需要人类参与的任务中展现出了超越人类的能力。而我们优化的,则是面向 System One 的接口。
「System One Models」和「Jev」何来?
来自 Daniel Kahneman 的著作《思考,快与慢》。这一模型类别的名称源于书中对快速、直觉式的系统 1 思维与缓慢、审慎的系统 2 推理之间的区分。
「系统 1 思维」这个概念也常常意味着容易出错。出于一些我们未来会进一步解释的原因,我们相信,System One Models 可以比其他替代方案更加可靠。
Jev 的名字取自 William Stanley Jevons。我们预计,机器智能的发展会遵循与煤炭类似的路径:蒸汽机效率的提升带来了煤炭需求的增长。每当智能成本下降一个数量级,就会解锁数量级更多的应用场景。
为什么需要一种全新的训练算法?
每个实验室在进行基于人类反馈的强化学习(RLHF)时,都在优化同一项任务:生成让人类评分者更喜欢的文本。对于聊天产品来说,这个目标是正确的,但对于自动化而言却是错误的。这就是我们所说的最苦涩的教训:与数据、算力或算法相比,针对正确任务进行优化更加重要。
对于能够通过简单程序验证的任务,RLVR 非常出色,但大多数现实世界中的判断任务并不符合这种形式。这往往会导致智能表现不稳定、缺乏鲁棒性。
适合场景
Jev 在不同行业中都有多种用途。
按行业探索 TypeSafe 的应用场景,并将有潜力的想法转化为软件工作流。
你可以使用这张应用场景地图,思考 TypeSafe 如何应用于你的行业。打开最接近你所在行业的类别,浏览其中的决策示例,并根据自己工作流中的文档和操作进行调整。
示例应用场景类别:
AI 自动化软件
以可靠的方式将 AI 嵌入软件中,使系统能够在后台运行数百万次,而无需人工copilot。控制流由代码掌控(而不是 Markdown 文件),TypeSafe 则负责语义决策和语言理解。
实时应用
以实时速度(150 毫秒)提供前沿智能,意味着 AI 能够以快于人类感知的速度做出决策。它既足够快速,也足够智能,可以通过编程来玩游戏,或直接嵌入用户界面。
面向大数据的 AI Map Reduce
成本降低 100 倍,意味着你可以处理规模庞大的数据集。在海量语料库中搜索相关信息、对海量智能体执行轨迹进行分类,并提取特征以进行预测。
通用验证
验证输入提示词、提取结果、推理轨迹、工具调用,或任何其他 AI 的输入。以远低于实际 LLM 调用的成本,检测越狱攻击、引用错误、幻觉、失误,以及其他 AI 或 LLM 可能出现的错误类型。
Harness 工程
使用 Jev 查询让你的 harness(模型运行框架)变得更智能——以极快的速度和极低的成本,实现模型路由、语义上下文检索、LLM 错误检测与防护,以及推理轨迹分类。
自动化应用场景示例:
搜索与检索
- 在 RAG 流水线中,用语义搜索、评分和排序来替代或补充嵌入技术。
- 对查询与候选结果之间的相关性进行评分。
- 通过两两比较对结果重新排序。
- 对查询和候选项进行交叉编码,以提高精确度。
- 为下游 AI 工作流选择有用的上下文。
科学发现
- 根据纳入和排除标准筛选论文,用于系统性综述。
- 使用预先定义的主题或类别,对访谈记录、开放式调查回复和实地笔记中的段落进行标注。
- 检查论文和生成式摘要中引用的段落是否能够支持相关论断。
- 标记缺失的方法学细节,例如对照条件、数据集描述和实验设置。
- 识别不同论文中的实体及其关系,构建研究知识图谱,并将研究发现与支持这些发现的段落关联起来。
模型路由
- 使用 Jev 构建自定义路由器,为每条提示词选择接收它的 LLM。
- 针对特定工作流设置路由规则和阈值。
- 对意图和领域进行分类。
- 估计任务难度和风险。
- 将需要更昂贵模型处理的请求升级至相应模型。
LLM 防护机制
- 以远低于 LLM 调用的成本,对每一次 LLM 输入、输出和工具调用进行语义检查。
- 检测越狱攻击和提示词注入。
- 识别违反政策的行为以及敏感数据泄露。
- 实时检测工具调用错误和回复质量问题。
- 记录结构化检查结果及其概率,让 AI 系统和 harness 中的故障更容易追踪。
语义代码检查
- 使用 Jev 查询,为代码和写作添加自动化语义检查规则。
- 根据团队的编码规范和写作指南定义检查项。
- 在持续集成(CI)流程中运行这些检查,并标记违规内容以供审查。
用于预测建模的特征提取
- 使用 Jev 从自然语言数据中提取概率特征。
- 将这些特征与结构化数据结合,为具有真实结果标签的任务训练模型。
- 使用自动研究(autoresearch)工作流提出特征定义,并通过留出的真实标签数据评估这些特征的预测价值。
招聘
- 根据明确且与工作相关的标准,评估简历、求职申请和面试反馈。
- 识别相关工作经验。
- 对能够证明候选人具备所需能力的证据进行评分。
- 将候选人与岗位进行匹配。
- 将候选人分配给招聘经理或招聘人员。
- 将不确定的案例升级处理,交由人工审查。
线索生成
- 将公司简介、高管履历和主动发送的咨询信息与理想客户画像进行匹配。
- 对行业契合度和公司成熟度进行评分。
- 识别买家相关性、痛点和购买意向。
- 对销售线索进行优先级排序和路由分配。
客户支持
- 根据问题类型、产品领域和客户意图,对收到的工单进行分类。
- 处理通话记录,提取客户问题、承诺事项和后续行动。
- 检测紧急程度、客户不满情绪、客户流失风险和退款请求。
- 将案例路由至合适的团队、队列或自动化工作流。
- 根据政策和客户请求验证客服回复。
保险理赔
- 对首次出险通知、理赔员笔记和相关证明文件进行分类。
- 检测理赔案件的复杂程度、缺失信息和潜在欺诈迹象。
- 对理赔案件进行优先级排序,以决定是直接自动处理,还是交由专家审查。
- 将不确定或高风险的案件升级处理,交由人工理赔员审核。
金融犯罪
- 根据交易描述、KYC(了解你的客户)文件和警报历史记录,评估可疑特征。
- 在名称、个人或企业资料以及记录不一致的情况下,匹配相关实体。
- 根据风险、相关性和证据质量对警报进行优先级排序。
- 将存在歧义的案件分配给调查人员审查。
法律与合规
- 对合同、政策、监管申报文件和营销声明进行分类。
- 检测缺失条款、禁止性声明和违反政策的内容。
- 根据明确的法律或合规要求验证文件。
- 将高风险或不确定的发现升级处理,交由法律顾问或合规团队审查。
电子商务市场平台
- 对不同卖家目录中格式不一致的商品列表进行分类和标准化。
- 从商品标题和描述中提取商品属性。
- 检测违禁商品列表、假冒商品迹象、评论滥用行为和政策违规情况。
- 对商品进行排序,并将不确定的商品列表交由人工审查。
内容审核与信任安全
- 应用公司特定且细致的判断标准,决定哪些帖子符合内容审核规范。
- 对社区、客户支持和销售开发代表(SDR)工作流中的用户内容及自动化对话进行审核。
- 检测有毒内容、骚扰、垃圾信息、欺诈、不安全建议、个人数据泄露、退订请求,以及违反政策的声明。
- 结合严重程度和置信度,决定是允许发布、发出警告、交由审核,还是直接屏蔽内容。
广告
- 评估创意素材、广告文案、落地页以及广告投放位置的上下文。
- 对品牌安全性和受众适配度进行分类。
- 检查监管合规性和禁止性声明。
- 评估创意质量,以及广告内容与落地页之间的一致性。
游戏
- 评估玩家举报、游戏内聊天、评论和客服对话。
- 审核聊天内容,检测辱骂、有毒行为或可疑行为。
- 对内容进行标注,并为挫败感或参与度评分。
- 检测客户流失信号,并将玩家支持请求分配至相应渠道。
风险评估
- 将事故报告、理赔记录、交易描述和供应商评估转化为概率风险指标。
- 在保险和承保工作流中使用这些指标。
- 对风险类型进行分类,并检测可疑特征。
- 对严重程度进行评分,并确定审查优先级。
- 为更广泛的风险模型提取特征。
需求预测
- 从客户咨询、销售记录、产品评论、支持工单和市场报告中提取语义信号,为预测模型提供补充信息。
- 提取购买意向、紧迫程度和产品兴趣。
- 检测供应问题、竞争压力和新兴需求趋势。
- 将这些特征与历史时间序列数据结合,输入预测模型。
图与知识图谱
- 使用带类型的语义决策对知识图谱进行标注和验证。
- 对关系和实体类型进行分类。
- 检测记录或声明之间的矛盾。
- 支持概率式遍历和层级分类。
示例任务类别:
| 决策类型 | 适用场景 | 示例 |
|---|---|---|
| 分类(Classification) | 需要从已知类别中选出一个最合适的类别 | 意图、主题、部门、风险类型、实体类型 |
| 检测(Detection) | 需要估计某项属性存在的概率 | 垃圾信息、欺诈、紧急程度、越狱攻击、敏感数据 |
| 评分(Scoring) | 答案需要依据有序的评分标准进行衡量 | 严重程度、相关性、质量、挫败感、适配度 |
| 路由(Routing) | 根据类别选择下一条代码执行路径 | 工具使用、升级处理、模型路由、客服队列 |
| 搜索(Search) | 需要查找与自然语言查询相匹配的项目 | 语义搜索、文档发现、候选项生成 |
| 检索(Retrieval) | 工作流需要最相关的上下文或记录 | RAG 上下文、证据检索、知识查询 |
| 排序(Ranking) | 需要按照语义相关性或质量对项目进行排序 | 搜索结果、推荐、候选人优先级排序 |
| 验证(Verification) | 需要检查某个产物是否存在特定类型的问题 | 引用依据、政策违规、工具调用错误、回复质量 |
| 机器学习特征提取(ML Feature Extraction) | 下游传统机器学习模型需要语义信号 | 购买意向、产品兴趣、竞争压力、客户流失信号 |
| 结构化数据提取(Structured Data Extraction) | 需要从非结构化输入中提取已知字段 | 候选人属性、订单字段、文档标签 |
也非常期待看到开发者们构建出更多新用途。
Jev 只是一个更小的 LLM 吗?
Jev 既不是小型模型,也不是 LLM,因此它处于智能帕累托曲线之外。
参考:
- 工作流评估网站,包含示例、不同意见、完整查询以及每种工作流