参考文献
在 Android 设备上运行自己的 AI 聊天机器人-CSDN博客
https://zhuanlan.zhihu.com/p/710841174
https://zhuanlan.zhihu.com/p/717439543
<font style="color:#DF2A3F;"></font>
手机安装 Termux 应用
https://github.com/termux/termux-app/releases/tag/v0.118.1
下载llama.cpp源码
git clone https://gitee.com/xuyangyan/llama.cpp.git
下载MiniCPM模型
https://huggingface.co/runfuture/MiniCPM-2B-dpo-fp16-gguf
量化模型
#使用本行代码执行成功后，/models/Minicpm/下将存在 ggml-model-Q4_K_M.gguf的4bit量化文件
./llama-quantize ./models/Minicpm/ggml-model-f16.gguf ./models/Minicpm/ggml-model-Q4_K_M.gguf Q4_K_M
推理
# 将电脑端量化后的模型推到手机上
adb push ggml-model-Q4_K_M.gguf /sdcard/Download
# 手机打开termux，输入termux-setup-storage
termux-setup-storage
# 手机端下载llama.cpp
git clone https://gitee.com/xuyangyan/llama.cpp.git
# 编译llama.cpp
cmake -B build
cmake --build build --config Release
# cmake生成成功后再make一下，可运行的二进制文件就会出现在build/bin文件夹中.
cmake
cd /build/bin
# 问答
./llama-cli -m /sdcard/Download/ggml-model-Q4_K_M.gguf --prompt "<用户>你知道openmbmb么<AI>"
推理结果
image.png
启动llama.cpp的web服务进行问答
# llama.cpp 最新指令集
https://github.com/ggerganov/llama.cpp/blob/master/examples/deprecation-warning/README.md
# 启动llama.cpp的webservice 16 指的是内核数减一
./llama-server -m models/minicpm/MiniCPM-2B-dpo-fp16-gguf-Q4_K_M.gguf -t 16
推理结果
image.png
图片推理
<font style="color:#DF2A3F;">MINICPMV2.6 下载链接</font>
image.png
example usage:
./llama-minicpmv-cli -m <llava-v1.5-7b/ggml-model-q5_k.gguf> --mmproj <llava-v1.5-7b/mmproj-model-f16.gguf> --image <path/to/an/image.jpg> --image <path/to/another/image.jpg> [--temp 0.1] [-p "describe the image in detail."]
./llama-minicpmv-cli -m ./models/minicpm-2.6/ggml-model-f16.gguf --mmproj ./models/minicpm-2.6/mmproj-model-f16.gguf -c 4096 --temp 0.7 --top-p 0.8 --top-k 100 --repeat-penalty 1.05 --image ./mmexport1717057349584.jpg -p "What is in the image?"
推理结果
image.png
mmap结果
/**
*
* normal 不执行模型推理时内存占用
* ~ $ free -h
* total used free shared buff/cache available
* Mem: 10Gi 3.9Gi 2.3Gi 7.0Mi 4.8Gi 6.6Gi
* Swap: 13Gi 1.1Gi 12Gi
*
*
* mmap = 1 使用 mmap：~730 MB/s
*~ $ free -h
* total used free shared buff/cache available
* Mem: 10Gi 7.8Gi 31Mi 5.0Mi 3.0Gi 2.7Gi
* Swap: 13Gi 6.8Gi 7.2Gi
*
*
* mmap = 0 不开启 mmap --no-mmap：~6.4 GB/s
* ram Mem被占用满了 发生崩溃
*
*
*
*/
Swap:
<font style="color:rgb(6, 6, 7);">在操作系统中，</font><font style="color:#DF2A3F;">当系统的物理内存（RAM）不足以容纳当前运行的所有进程时，操作系统会使用硬盘上的一部分空间作为虚拟内存，这部分空间被称为交换空间（Swap Space）。</font><font style="color:rgb(6, 6, 7);">对应的文件称为交换文件（Swap File），它允许系统将一些不常用的内存页移动到硬盘上，从而为需要更多内存的进程释放空间。</font>
