在 GitHub 上,我们发现了一个令人兴奋的 Python 项目,它实现了类似于 Perplexity 等 AI 搜索引擎的搜索-提取-总结流程。这个项目非常简单且实用,它是一个开源的对话式 AI 搜索引擎,用大约 250 行 Python 代码就构建了一个功能完备的搜索工具,能够理解和生成自然语言,提供准确的搜索结果。
🚀代码在这里:https://github.com/pengfeng/ask.py
基本上给定一个查询,程序将会
* 搜索谷歌排名前10的网页
* 爬行并筛选页面中的文本内容
* 将文本内容分块并保存到矢量数据库中
* 对查询执行向量搜索,并找到匹配度最高的10个块
* 使用前10个块作为上下文,请求一个LLM生成答案
* 输出答案并附上参考文献
当然,这个流程是真正的 AI 搜索引擎的一个非常简化的版本,但它是理解基本概念的良好起点。 这个项目不仅适合开发者和技术人员,也适合任何对AI搜索技术感兴趣的人。你可以自由地使用、修改和分发这些代码。如果你对AI搜索技术充满好奇,或者正在寻找一个高效的搜索解决方案,它绝对是一个值得探索的项目。