一个RAG演示需要一个下午:嵌入一些文档,运行相似性搜索,将结果粘贴到提示中。您可以放在真实用户面前的RAG API需要更长的时间,因为大部分工作不是LLM调用。是周围的一切...
一个RAG演示需要一个下午:嵌入一些文档,运行相似性搜索,将结果粘贴到提示中。您可以放在真实用户面前的RAG API需要更长的时间,因为大部分工作不是LLM调用。是周围的一切...
构建在以下基础上的应用层缓存map[string][]byte或Redis是热路径读取放大的默认答案。它们一直工作到停止:来自大堆分配的GC压力、Redis读取的网络RTT抖...
三个开放的模型,从17M到68M的参数,专为一项工作而构建:在文本中查找个人信息,精确到足以用于生产,快速到足以根据每个请求运行。 突出 隐私长凳上88.3%的F1,人工注释...
在我的以前的帖子,我描述了如何使用动态编程将QR汉字查找表减少36%。 该表现已集成到数据记录/二维码生成器。它提供了汉字模式所需的字符映射,而无需外部编码包。 这种集成还为...
我们已经熟悉了模型路由,简单的请求被送到更小、更快的LLM,而更复杂的问题由有能力的模型处理。这是一种平衡成本、延迟和性能的实用方法。但是,当我在过去几周开始探索专门的人工智...
代码生成器的第一次运行是神奇的。您运行一个CLI,输入一个OpenAPI规范或数据库模式,然后弹出一个包含文件夹结构、配置文件和类型的干净的存储库。 噩梦在三周后开始。htt...
你有没有打开过一个看起来很有趣的GitHub问题,通读了描述,然后意识到你完全不知道从哪里开始? 我有。 前一分钟,你还兴奋地为一个开源项目做贡献。接下来,您在问题描述、注释...
最近,我停用了后面的基础设施Scholent,这是我构建的多租户Laravel SaaS应用程序。 删除基础设施本身很容易。 更重要的问题是: 如果我在六个月或两年后再次需要...
今天,我想和大家分享我最近在项目中遇到的一个问题,以及我是如何克服它的。我将快速地说明问题,有什么可能的解决方案,我们决定用什么,为什么——没有不必要的内容污染,但有一定的智...
我以前从文件上解释过。这一次,我构建了一个一次性集群(kind,Kubernetes 137,containerd,cgroup v2),并应用了我能想到的每一个坏单元,以观...