买了很多大模型配置不过来?我花100块用AI做了个开源工具

多个大模型API的烦恼

不知道大家在平时用AI大模型API的时候,有没有遇到和我一样的烦恼。为了权衡模型效果和省钱,买了很多不同类型的模型API搭配使用,但是:

1、有些大模型供应商没有清晰的文档,不确定配置的对不对。特别是普通用户,不太接触Agent开发,很容易遇到这样的困扰。

2、买的大模型很多,配置各不相同,记不住,经常要去他们的官方网站找信息。

3、有些供应商是做转发的,或者要走代理,因为封号、网络等原因,稳定性不好,可能时不时就用不了。需要经常检查模型是不是可用的。

4、有些AI软件不稳定,特别是OpenClaw,配置还比较复杂。经常配置上了没效果,也不确定是模型的问题还是OpenClaw的问题。

5、同一个模型可能要用在很多不同的软件中,都需要分别配置。

6、有些软件只支持配置一个模型,还得经常切换。CC Switch可以解决这个问题,但是它只能针对某几个常见软件,没办法自己扩展更多软件。

我做的这个开源小工具 LLM Model Manager 就是想要解决这种问题,它的功能就是辅助用户把买的所有大模型全都添加进去,可以一键检查所有模型的可用性,也可以一键导入到常用的AI工具中。

目标就是:开源免费(逻辑透明,功能好扩展),功能简单(相对稳定),细节完善(增加提示信息,降低上手门槛)。

这个项目是基于Electron实现的,所以原生就是跨平台的,支持Mac、Linux、Windows,不过在Windows上,由于不能运行通用的脚本,导出功能是受限的。为了方便使用,里面内置了很多现成的大模型的信息,方便一键填入,并且会有一些提示信息,告诉你应该怎么填参数。

主界面(列表页)

这个应用的主界面就是一个供应商 - 模型的列表页。列表分为两级,第一级是供应商,也就是Provider。Provider里面有模型,也就是Model。

供应商和模型右边都有编辑、删除、复制之类按钮,还有一个拖拽按钮,可以调整上下位置。

每个供应商右边有添加模型的按钮,可以添加子模型。加载模型列表的按钮,获取供应商的所有可用模型,可以批量添加。

每个模型右边有测试按钮,点击测试按钮可以测试这个模型当前是否可用。

也可以批量选择多个模型,点击右上角的测试选中模型,就会同时测试这些模型是否正常。还可以点击导出选中模型,导出到常用AI APP。

添加供应商

在主界面左下角点击添加供应商,每个供应商对应一个API key。如果同一个供应商设置了多个API key,对应不同的配置,那就多创建几个。

供应商ID,这里面有很多预设值的候选下拉选项,都是一些目前比较知名的供应商。为了减少输入工作量,也是为了引导用户输入正确的值

也可以输入自己的ID,格式就按照界面里面的提示,小写加连字符就好了。这个ID只是在同一个软件里面区分不同的供应商,它并不是固定值。即使你是OpenAI官方供应商,也可以随便写ID(取决于每个AI软件怎么处理)。

接口类型里面,目前支持OpenAI和Anthropic两种类型,后续可以扩展。反正代码都是开源的,又有AI辅助,很好改。

如果选OpenAI接口,一般会把地址里的 /v1 放在BaseURL里,然后Endpoint是/chat/completions。如果是Anthropic接口,则Base URL不带版本,Endpoint一般是v1/messages。同样,Base URL和Endpoint里面也有很多预定义下拉候选项。这个是很多新手怎么配置都不对的原因,我在配置OpenClaw的时候。也被坑到了

在这里顺便分享一下我目前用的几个供应商产品。说明:我没有收广告费,只是我觉得用起来确实还行。

一个是性价比API,https://xingjiabiapi.org

朋友推荐的,做国外大模型中转服务的。有点像代理,调用的时候不用梯子,并且价格比官方还便宜(批量采购有优惠)。我们只管使用,怎么注册、怎么避免封号的问题都交给专业的人去解决了。提供国外多种大模型的中转,稳定性相对还行,但是也会因为上游封号等原因导致不可用。

另一个是ByteClaude,https://claude.bestswifter.com

这个是我好友列表里的字节大佬做的,也是做中转服务的。因为是个人项目规模有限,稳定性相对差一点,能选的模型主要就是目前最好用的Claude Opus 4.6,但是胜在价格更划算,有问题在群里也可以得到更及时的回复。并且大佬做了一个自研的缓存,可以有效降低Token消耗。

当然还有一些常规知名的,比如,火山方舟CodingPlan、Minimax、Cursor这种,要么是国产模型,要么是对国内用户比较友好的国外产品,比如Cursor甚至官网就可以用支付宝支付,这和某些极度反华、经常封号的公司形成了强烈反差。

批量添加模型

填好供应商以后,点击右边的加载模型列表按钮,就会尝试调用它的接口,加载供应商支持的全部模型列表

通常必须是填了API key才能调用这个接口。如果模型列表能加载出来,说明你的供应商肯定没问题。如果模型列表加载失败了,也不一定就有问题,可能有些供应商不支持这个接口。

添加单个模型

添加模型的另一种方式就是点击供应商右边的添加模型按钮,单独添加一个模型。

在这个界面同样有下拉框可以选择预设值。注意,和Provider ID不一样,这里的模型ID不可以乱填,这个ID格式取决于供应商,它会作为一个参数,在调用模型的时候发送出去。

模型能力与参数是可选的,这个目前主要是给OpenClaw使用的,不填也能用。如果你知道这个模型的这几项参数,填上去会更好。我是想通过调用接口自动获取这几个参数的,但是目前测试的提供商接口,返回值里面都没有这几个参数信息。

  • Context Window,上下文窗口大小,对于上下文窗口很大的模型比较有用,不填OpenClaw就会用一个默认值。
  • Max Tokens,最大的token数量。
  • Reasoning,是否开启推理。
  • 输入类型是文字text、图片image这种类型。如果模型支持图片输入,但是你只填了text,可能OpenClaw就不会把图片发给大模型。

模型测试

点击一个模型的测试按钮,或者选中多个模型,点击右上角的测试选中模型,就会对这些模型做测试。

实际原理就是调用这个模型发送一个Hello消息,看它会不会回应。

图中我有一个模型就测试成功了,而另一个OpenAI的模型没有测试成功,因为这只是一个空的Provider用于演示,我根本都没有填API key,所以OpenAI接口也明确给我返回了报错信息,说我没有API Key。

模型导出

在主界面选择某几个模型,然后点右上角的导出按钮,就可以导出到常用APP。目前的导出方式主要有几种:

  • 文档形式的,会生成一个文档告诉你要怎么配置,文档中的代码也是自动从模型参数生成的。
  • DeepLink形式的,有很多APP包括CC Switch、Cherry Studio等,都可以通过DeepLink直接调起,把参数导进去,并且这种方式是全平台兼容的。
  • 命令行形式的,如果是给本机配置,你可以直接点按钮就可以调起Terminal运行。这个目前只支持Linux和Mac,Windows不行,暂时也没有精力开发。如果有需求可以提出来。
  • 环境变量形式的,比如Claude Code,Codex就可以直接设置环境变量。这个软件里面会维护一个专门的环境变量文件~/.llm_model_mgr_env,当你要导出的时候,也是点击一下按钮运行,就会自动写这个环境变量到专门的环境变量文件,处理Bashrc的引用。

具体举例,如果你想把这几个模型配置给OpenClaw使用,我推荐你用这个手动的方式,也是我自己平时用的方式,这个文档是根据你填的参数生成的,直接复制、粘贴就好了。

当然也有用命令行配置OpenClaw的方式,不是很推荐,因为OpenClaw一直在升级,可能他们会改命令行参数。而且你在这个APP里设置的Provider ID有可能会和OpenClaw里已有的Provider有出入或者冲突,这都需要你人工检查一下。

如果要导出到Chery Studio,就是直接用这个DeepLink调起应用,Chery Studio就会弹窗让你确认信息,点确认就能添加好了。

其他功能

另外,这个APP还可以把你设置的所有模型参数导出到JSON和从JSON导入,点击主界面右下角的按钮即可,导入的时候也会检查冲突,让你选择合并还是覆盖。

除了调用模型接口要用API,这个APP其他功能都是完全本地运行的。你的API Key是保存在Electron默认的配置目录里,不会上传到任何第三方服务器,确保安全。

还需继续完善

我不确定这个项目是否是大家想要的,目前也只是做了一个粗略的版本,有些功能也没有做完整的测试,但是至少能解决我自己的需要。如果确实有很多人想要用这个东西,虽然它的功能不完善,但是已经起了个头,可以继续开发。

例如现在就有个已知的问题:模型的供应商很多,每个供应商的模型也很多,供应商和模型都有很多细节参数,目前我没有找到什么靠谱渠道可以批量获取这种信息的。

理论上至少每个供应商自己的官网应该提供,实际上可能是AI发展太快了,很多供应商自己的文档都不完善。我暂时是从Open Router还有OpenClaw里面提取到了一些信息,也有些是让AI帮我整理的。这里面难免有各种错误和缺失,需要完善。如果谁对这方面比较了解,也可以给我一些参考。

另外这个预设配置是几个JSON写死在代码里的,后续可以考虑增加启动后从GitHub拉取最新版本的功能。

我让AI帮我调研类似产品,发现现在已经有一些模型聚合的工具,例如LiteLLM。它们也是解决各种模型格式配置不兼容的问题,这也证实了我上面说的问题,现在的各种模型配置方式似乎挺混乱的。不过它们一般都是运行一个后台进程,把这些模型翻译成统一格式,还会提供自动选择模型、计费统计之类的功能,主要针对企业用户做开发时使用。

而我这个工具更轻量化一点,直接帮你把这些模型配置给需要的APP,主要针对个人用户日常使用,实际上也就是从解决我自己的需求来出发的。

如果你有什么问题,可以给我提Issue或者PR,直接在公众号里评论也行,比如你常用的AI APP都有哪些?我看能不能添加到导出功能里。还有比如你的大模型用的是什么供应商,看能不能给它加到预设里。

开发成本

这个软件全程花了一天多的时间。花掉了差不多2亿+的Token,Cursor 20刀一个月的套餐额度用掉了50+%,这么算下来就是接近100块钱的Token成本了。

全程都用的Auto模式,基本上也就是Cursor自带的Composer 2模型。Composer 2速度非常快,这一点体验很不错。虽然据说它背后调的主要是国产大模型,但是我实际使用感觉它的智商也比较在线,可能是Cursor从Agent层面做了优化。

觉得这个Token消耗比我预想的要多了不少。原因是我使用AI全程开发一个工具的经验还不够。而且这个项目一开始我没有完全想清楚它要做成什么样,也没打算好好做,但是后来觉得这个东西还是可以稍微多打磨一下细节的。

所以中间花了很多时间改设计,重构代码。甚至连技术架构都没提前设计好,从最原始的Electron + JS,改成了Electron-vite + TS,这个也是让AI帮我完成的,效率很高,但是真的很费Token。

就说这么多吧,希望对和我有同样困扰的人有所帮助,有需要的话,可以去安装我这个小工具实时。

GitHub地址在这里,直接按照文档里的链接,点到Release页面,下载最新版本就可以了。

https://github.com/jzj1993/llm-model-manager

原创不易,如果觉得文章有帮助,欢迎分享转发。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容