两大类LLM应用开发框架
ChatBot开发框架
主要面向开发聊天机器人（ChatBot）的框架，例如LangChain和Llama Index。此外，大多数流行的RAG开发框架和低代码开发平台（如DiFy、Coze等）也属于这一类。这些框架通常用于构建基于对话的应用程序。
Autonomous Agent开发框架
主要面向开发自主代理（Autonomous Agent）的框架，例如AutoGPT、BabyAGI、Camel、MetaGPT、AutoGen（微软）、AutoAgents和Swarm（OpenAI）等。这些框架支持开发多代理应用，适用于复杂工作流的自动化应用。
两大类LLM模型
Chat模型
包括LLM和一些优化后的小模型，自带聊天（Chat）能力。
-
开源Chat模型举例（Hugging Face Hub上的名称）：
- meta-llama/Meta-Llama-3.2-8B
- Qwen/Qwen2.5-7B-Instruct
- THUDM/glm-4-9b-chat
Embedding模型
用于实现文本的向量化（嵌入），常用于知识库类应用。
-
开源Embedding模型举例（Hugging Face Hub上的名称）：
- BAAI/bge-large-zh-v1.5
- nomic-ai/nomic-embed-text-v1.5
模型量化精度
模型文件名中的fp32、fp16、int8、int4字样表示模型的量化精度。fp32为全精度，量化精度从高到低排列顺序是：fp32 > fp16 > int8 > int4。量化精度越低，模型的大小和推理所需的显存越小，但模型的能力也会相应下降。
常见LLM模型格式
Safetensors格式
Hugging Face Hub上的大多数开源语言模型文件都是Safetensors格式，基于Hugging Face Transformers库开发，依赖PyTorch。因此，运行这些模型需要配备高性能的显卡。
Ollama与vLLM
- Ollama：基于llama.cpp，即使没有安装Nvidia独立显卡，只要CPU足够强大且内存充足，就能运行开源LLM。
- vLLM：基于CUDA库，必须安装Nvidia独立显卡，对硬件配置的要求高于Ollama。
