环境

操作系统：RockyLinux
安装anaconda环境，可参考：https://www.jianshu.com/p/9939df72356e

安装evalscope

conda create -n evalscope python=3.11
conda activate evalscope
pip install evalscope[perf] -U

压测

evalscope perf \
    --url "http://10.3.6.41:8000/v1/chat/completions" \
    --parallel 1 \
    --model deepseek-r1-70B-4bit \
    --number 15 \
    --api openai \
    --dataset openqa \
    --stream

参数说明：

• url: 请求的URL地址
• parallel: 并行请求的任务数量
• model: 使用的模型名称
• number: 请求数量
• api: 使用的API服务
• dataset: 数据集名称
• stream: 是否启用流式处理

效果

参考

https://evalscope.readthedocs.io/zh-cn/v0.9.0/user_guides/stress_test/quick_start.html#id2