玩转趣味Demo
主要任务
- 部署 InternLM2-Chat-1.8B 模型进行智能对话
- 部署实战营优秀作品 八戒-Chat-1.8B 模型
- 通过 InternLM2-Chat-7B 运行 Lagent 智能体 Demo
- 实践部署 浦语·灵笔2 模型
一、部署 InternLM2-Chat-1.8B 模型进行智能对话
1.1 装配 conda 环境
conda create -n demo python==3.10 -y
conda activate demo
conda install pytorch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 pytorch-cuda=11.7 -c pytorch -c nvidia
conda activate demo
pip install huggingface-hub==0.17.3
pip install transformers==4.34
pip install psutil==5.9.8
pip install accelerate==0.24.1
pip install streamlit==1.32.2
pip install matplotlib==3.8.3
pip install modelscope==1.9.5
pip install sentencepiece==0.1.99
安装成功！
1.2 下载模型
进入文件夹
mkdir -p /root/demo
touch /root/demo/cli_demo.py
touch /root/demo/download_mini.py
cd /root/demo
运行脚本，下载成功
1.3 运行cli_demo
运行脚本后，输入指令，得到结果。
二、部署优秀微调作品
运行命令
streamlit run /root/Tutorial/helloworld/bajie_chat.py --server.address 127.0.0.1 --server.port 6006
查询端口，在本地powershell进行ssh连接
开启服务器，在浏览器输入域名与端口号，成功连接
八戒
你认真的吗......
三、使用 Lagent 运行 InternLM2-Chat-7B 模型
Lagent
Lagent 是一种 Agent 框架，关于建立 Agent，已经有很多零代码或低代码的平台。
Lagent 的特性：流式输出，接口统一
3.1 配置基础环境
3.2 使用 Lagent 运行 InternLM2-Chat-7B 模型为内核的智能体
- 在 terminal 中输入指令，构造软链接快捷访问方式：
-
在代码文件中修改模型路径
-
运行代码，在本机PowerShell中建立ssh连接，并在浏览器中访问6006端口
等待加载
等待加载......加载成功后如下显示
勾选“数据分析”组件，提问：“请解方程 2*X=1360 之中 X 的结果”
解方程
运行成功！
3.3 更多尝试：真正的数据分析
上传泰坦尼克号数据集，让它来进行分析
它自动写代码，进行了数据集的读取与显示
随后它进行了画图，但是由于环境中没有安装seaborn库，于是我让它换一种方式
它直接选择对座舱进行分析，给出了自己的答案。如果用户在prompt上下一些功夫，或许可以更好地对多个因素进行综合分析，给出更全面的答案。
四、实践部署 浦语·灵笔2 模型
4.1 初步介绍 XComposer2 相关知识
浦语·灵笔2 是基于 书生·浦语2 大语言模型研发的突破性的图文多模态大模型，具有非凡的图文写作和图像理解能力，在多种应用场景表现出色，总结起来其具有：
- 自由指令输入的图文写作能力：
浦语·灵笔2可以理解自由形式的图文指令输入，包括大纲、文章细节要求、参考图片等，为用户打造图文并貌的专属文章。生成的文章文采斐然，图文相得益彰，提供沉浸式的阅读体验。 - 准确的图文问题解答能力：
浦语·灵笔2具有海量图文知识，可以准确的回复各种图文问答难题，在识别、感知、细节描述、视觉推理等能力上表现惊人。 - 杰出的综合能力：
浦语·灵笔2-7B基于书生·浦语2-7B模型，在13项多模态评测中大幅领先同量级多模态模型，在其中6项评测中超过GPT-4V和Gemini Pro。
