开源优势与高效AI开发:摆脱黑箱模型依赖
自某机构的代码开源以来,黑箱时代的终结已成定局。追求技术独立的企业,正在转向开源。某中心创始人的观点揭示了内部技术部门和开发者应如何考量,以定制符合企业特定需求的语言模型。
关键转变:开源模型带来的自主权
事实证明,开源AI模型不仅为企业提供免许可使用和架构、数据流的完全透明,还实现了对基础设施、扩展和模型调整的完全控制。对于本地IT决策者而言,这意味着:不受制于私有API,无需面对某中心等平台供应商不可预测的价格变动,也没有强制的云端架构。相反,模型可以在本地运行,进行针对性优化(例如通过微调或LoRA),并无缝集成到现有的系统环境中。现代框架(如某中心、某工具或vLLM)还显著降低了入门门槛,即使是中型IT团队也能开发出智能支持特定企业流程的AI应用。
借助开源培养AI能力
现在认为必须聘请专业AI专家的想法已过时。相对于往往不透明的某黑箱解决方案,开源AI模型的一个主要优势在于,其实现并不需要高度专业化的知识,尤其是在非传统编码领域使用AI时。软件开发者无需额外资质,即可利用大型语言模型来解释复杂问题,或辅助非专业任务,例如构建技术基础设施。借助现代开源程序,未来他们将能够创建自己的AI应用,并承担大部分开发工作,在此过程中“边做边学”积累AI知识。
因此,耗时的培训或训练在此背景下几乎不再必要。一个具体例子:开发者请某模型提供解决技术问题的分步指南,或请其详细解释现有代码库。借助这种“按需知识模块”,后端开发者可以轻松接手前端同事的任务。或者,他可以询问另一个模型具体的实施步骤,并得到一个可以审查其可追溯性和合理性的答案。
这表明:内部开发者或其他IT通才可以运用和指导基于AI的工作流,只要他们知道大型语言模型在何处能提供附加值,以及何时可以更便捷、更快地应用开源工具。以这种方式处理业务需求,能自动获得对问题的整体视角,未来或许能更好地判断是否以及何时应使用人工智能。基于开源AI的应用还具有更强的协作性,这可能会加速整个实施过程。尤其在引入大语言模型时,筒仓思维(例如机器学习、后端和前端团队之间)已被证明是真正的创新杀手。
并非所有解决方案都需要AI
但是,并非每个承诺提高生产力的解决方案都必须基于人工智能。在许多情况下,为了精简和高效处理流程,基于规则的逻辑就足够了。有趣的是,在这个过程中,AI又可以发挥辅助作用——例如,当大型语言模型帮助开发正则表达式或匹配模式,以从非结构化文本中提取结构化信息时。换句话说,AI模型在评估具体业务解决方案中是否需要使用人工智能,或者传统基于规则的方法是否足够时,提供了宝贵的帮助。因此,IT专家应始终首先自问:这个任务我们需要大型LLM语言模型吗?
然而,面对大型语言模型无处不在的存在,决定不使用它们并不容易。企业在这个过程中也应始终意识到这些单一化系统的阴暗面。例如,使用它们通常需要将敏感数据发送给外部API,这引发了数据保护和数据主权问题。此外,还有透明度不足的问题:模型基于哪些数据得出结论往往不明确。几乎不可能有针对性地使用单个功能(例如模块化的独立解决方案),这极大地阻碍了与现有IT结构的集成。
结构化数据是决策的关键
一个例子说明了如何通过有针对性的提示来创建可靠的决策基础:如果要求语言模型开发基于规则的逻辑——例如以代码形式或借助开源库——它可以从文本中精准提取信息。通过这种方式,可以开发出切实可行、可追溯的解决方案。这种方法有助于评估传统方法是否足够,或者是否确实需要使用全面的AI架构。
对于相应的应用案例,从文本中提取结构化数据以获得带注释的示例并用于训练AI模型是成功的关键。其中最有价值的信息是尽可能具有企业和专业特性的信息。因此,建议在此过程中纳入其他专业领域的专家。不过,这并非一蹴而就。为了以这种方式训练AI模型,开发者和领域专家不仅需要相应数量的用例,还需要时间。
为何要自己标注?让大模型承担前期工作
既然几乎没有人再有时间为AI模型标注数小时的数据,大型语言模型又能通过自动化数据创建过程提供宝贵服务。在这种场景下,开发者只需进行少量修正。在标注工具中,这些示例可以由开发者和领域专家迅速审查和修正。最终,他们将获得一个包含特定应用示例的数据集,这是训练AI模型的合适基础。这个过程将不断重复,直到定制模型的性能超越大型语言模型。
结论
大型生成式语言模型在开发过程中承担了宝贵的辅助功能——例如在数据结构化或生成基于规则的逻辑方面。最终的AI系统自主工作,不依赖于外部黑箱模型。企业因此不仅保留了对敏感数据的控制权,还掌握了对基础设施、成本和结果质量的控制。有针对性地使用开源组件和内部专业知识创造了透明度,提高了效率,并提升了长期盈利能力——尤其是与纯基于API的云端解决方案相比。后者往往带来不透明、成本波动和外部依赖,而内部系统可以有针对性地优化、合规运营并进行经济高效的扩展。