模型评测-evalscope

大模型测评手段多样，旨在全面评估模型的性能和能力。以下是一些主要的测评方法和维度：

大模型评测方法分类表

一、evalscope介绍

1.1 概述

EvalScope 是魔搭社区（ModelScope）推出的大模型评测与性能基准测试框架，专注于为大型语言模型（LLM）提供多维度、自动化的评测能力。其核心目标是通过标准化测试流程和丰富的评测指标，帮助开发者全面评估模型能力、优化部署性能，并支持从学术研究到工业落地的完整生命周期管理。

9b455f261e9eae49107fa5dde4d43d69.png

1.2 核心功能

1.3 优势与局限

二、使用说明

安装部署

Docker

CPU环境镜像(python3.11)：

modelscope-registry.cn-beijing.cr.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-py311-torch2.3.1-1.24.1
modelscope-registry.cn-hangzhou.cr.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-py311-torch2.3.1-1.24.1
modelscope-registry.us-west-1.cr.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-py311-torch2.3.1-1.24.1

GPU环境镜像(python3.11)：

modelscope-registry.cn-beijing.cr.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-cuda12.1.0-py311-torch2.3.1-tf2.16.1-1.24.1
modelscope-registry.cn-hangzhou.cr.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-cuda12.1.0-py311-torch2.3.1-tf2.16.1-1.24.1
modelscope-registry.us-west-1.cr.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-cuda12.1.0-py311-torch2.3.1-tf2.16.1-1.24.1

针对LLM和AIGC模型的运行环境

modelscope-registry.cn-beijing.cr.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-cuda12.4.0-py311-torch2.5.1-1.24.1-LLM
modelscope-registry.cn-hangzhou.cr.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-cuda12.4.0-py311-torch2.5.1-1.24.1-LLM
modelscope-registry.us-west-1.cr.aliyuncs.com/modelscope-repo/modelscope:ubuntu22.04-cuda12.4.0-py311-torch2.5.1-1.24.1-LLM

本地安装

• Python 3.8+
• CUDA 11.7+
• Docker（可选，用于离线环境）

安装命令

pip install evalscope                # 安装 Native backend (默认)
# 额外选项
pip install 'evalscope[opencompass]'   # 安装 OpenCompass backend
pip install 'evalscope[vlmeval]'       # 安装 VLMEvalKit backend
pip install 'evalscope[rag]'           # 安装 RAGEval backend
pip install 'evalscope[perf]'          # 安装 模型压测模块 依赖
pip install 'evalscope[app]'           # 安装 可视化 相关依赖
pip install 'evalscope[all]'           # 安装所有 backends (Native, OpenCompass, VLMEvalKit, RAGEval)

模型评测

evalscope eval \
 --model Qwen/Qwen2.5-0.5B-Instruct \
 --model-args revision=master,precision=torch.float16,device_map=auto \
 --generation-config do_sample=true,temperature=0.5 \
 --dataset-args '{"gsm8k": {"few_shot_num": 0, "few_shot_random": false}}' \
 --datasets gsm8k \
 --limit 10

• 输出示例：

  +-----------------------+----------------+-----------------+-----------------+---------------+-------+---------+
  | Model Name            | Dataset Name   | Metric Name     | Category Name   | Subset Name   |   Num |   Score |
  +=======================+================+=================+=================+===============+=======+=========+
  | Qwen2.5-0.5B-Instruct | gsm8k          | AverageAccuracy | default         | main          |     5 |     0.4 |
  +-----------------------+----------------+-----------------+-----------------+---------------+-------+---------+
  | Qwen2.5-0.5B-Instruct | ai2_arc        | AverageAccuracy | default         | ARC-Easy      |     5 |     0.8 |
  +-----------------------+----------------+-----------------+-----------------+---------------+-------+---------+
  | Qwen2.5-0.5B-Instruct | ai2_arc        | AverageAccuracy | default         | ARC-Challenge |     5 |     0.4 |
  +-----------------------+----------------+-----------------+-----------------+---------------+-------+---------+ 
  

• 参数说明

• 支持的数据集：https://evalscope.readthedocs.io/zh-cn/latest/get_started/supported_dataset.html

模型API服务评测

、evalscope eval  \
 --api-url http://10.1.30.50:40000/v1/chat/completions  \
 --model deepseek-r1-channel-int8 \
 --api-key EMPTY --eval-type service \
 --datasets gsm8k arc hellaswag humaneval --limit 10

针对数学问题、考试、常识推理、代码生成做的评测

+--------------------------+-----------+-----------------+------------------+-------+---------+---------+
| Model                    | Dataset   | Metric          | Subset           |   Num |   Score | Cat.0   |
+==========================+===========+=================+==================+=======+=========+=========+
| deepseek-r1-channel-int8 | arc       | AverageAccuracy | ARC-Easy         |    10 |     1   | default |
+--------------------------+-----------+-----------------+------------------+-------+---------+---------+
| deepseek-r1-channel-int8 | arc       | AverageAccuracy | ARC-Challenge    |    10 |     1   | default |
+--------------------------+-----------+-----------------+------------------+-------+---------+---------+
| deepseek-r1-channel-int8 | gsm8k     | AverageAccuracy | main             |    10 |     1   | default |
+--------------------------+-----------+-----------------+------------------+-------+---------+---------+
| deepseek-r1-channel-int8 | hellaswag | AverageAccuracy | default          |    10 |     0.8 | default |
+--------------------------+-----------+-----------------+------------------+-------+---------+---------+
| deepseek-r1-channel-int8 | humaneval | Pass@1          | openai_humaneval |    10 |     1   | default |
+--------------------------+-----------+-----------------+------------------+-------+---------+---------+ 

e06cda83f8b45828f770ddcc072f8ad7.png

1ea004ba21a69855638d130922c18653.png

0515eaff164e0a66ab35ab1e824ff980.png

离线评测

# 数据集下载或者从modelscope下载
wget https://modelscope.oss-cn-beijing.aliyuncs.com/open_data/benchmark/data.zip
unzip data.zip
git lfs install
git clone https://www.modelscope.cn/datasets/modelscope/MMLU-Pro.git

# 下载模型
git lfs install
git clone https://www.modelscope.cn/Qwen/Qwen2.5-0.5B-Instruct.git

执行评测任务

evalscope eval \
 --model /path/to/workdir/Qwen2.5-0.5B-Instruct \
 --datasets arc \
 --dataset-args '{"arc": {"local_path": "/path/to/workdir/data/arc"}}' \
 --limit 10

自定义评测数据集

大语言模型仅支持选择题和问答题，同时对格式有要求

选择题MCQ：适合用户是选择题的场景，评测指标为准确率（accuracy）。格式如下：

mcq/
├── example_dev.csv  # （可选）文件名组成为`{subset_name}_dev.csv`，用于fewshot评测
└── example_val.csv  # 文件名组成为`{subset_name}_val.csv`，用于实际评测的数据

其中csv文件需要为下面的格式：

id,question,A,B,C,D,answer
1,通常来说，组成动物蛋白质的氨基酸有____,4种,22种,20种,19种,C
2,血液内存在的下列物质中，不属于代谢终产物的是____。,尿素,尿酸,丙酮酸,二氧化碳,C

id是序号（可选字段）、question是问题、A, B, C, D等是可选项，最大支持10个选项、answer是正确选项

问答题格式（QA）:适合用户是问答题的场景，评测指标是ROUGE和BLEU。

qa/
└── example.jsonl

{"system": "你是一位地理学家", "query": "中国的首都是哪里？", "response": "中国的首都是北京"}
{"query": "世界上最高的山是哪座山？", "response": "是珠穆朗玛峰"}
{"query": "为什么北极见不到企鹅？", "response": "因为企鹅大多生活在南极"}

system是系统prompt（可选字段）、query是问题（必须）、response是正确回答（必须）

脚本执行命令：（可转换命令执行）

from evalscope import TaskConfig, run_task

task_cfg = TaskConfig(
    model='qwen/Qwen2-0.5B-Instruct',
    datasets=['general_qa'],  # 数据格式，选择题格式固定为 'general_qa'
    dataset_args={
        'general_qa': {
            "local_path": "custom_eval/text/qa",  # 自定义数据集路径
            "subset_list": [
                "example"       # 评测数据集名称，上述 *.jsonl 中的 *
            ]
        }
    },
)

run_task(task_cfg=task_cfg)

推理性能压测

# 在线推理压测
evalscope perf --parallel 20 \
 --url http://10.1.30.50:40000/v1/chat/completions \
 --model deepseek-r1-channel-int8 \
 --log-every-n-query 10 --connect-timeout 600 \
 --read-timeout 600 --dataset random \
 --tokenizer-path meituan/DeepSeek-R1-Channel-INT8 \
 --max-prompt-length 1048 \
 --min-prompt-length 512 --stream --api openai  -n 500
 
# 使用prompt
evalscope perf \
 --url 'http://127.0.0.1:8000/v1/chat/completions' \
 --parallel 2 \
 --model 'qwen2.5' \
 --log-every-n-query 10 \
 --number 20 \
 --api openai \
 --temperature 0.9 \
 --max-tokens 1024 \
 --prompt '写一个科幻小说，请开始你的表演'

# 本地文件作为prompt
evalscope perf \
 --url 'http://127.0.0.1:8000/v1/chat/completions' \
 --parallel 2 \
 --model 'qwen2.5' \
 --log-every-n-query 10 \
 --number 20 \
 --api openai \
 --temperature 0.9 \
 --max-tokens 1024 \
 --prompt @prompt.txt

• 输出示例：

Benchmarking summary: 
+-----------------------------------+-----------------------------------------------------+
| Key                               | Value                                               |
+===================================+=====================================================+
| Time taken for tests (s)          | 10.739                                              |
+-----------------------------------+-----------------------------------------------------+
| Number of concurrency             | 1                                                   |
+-----------------------------------+-----------------------------------------------------+
| Total requests                    | 15                                                  |
+-----------------------------------+-----------------------------------------------------+
| Succeed requests                  | 15                                                  |
+-----------------------------------+-----------------------------------------------------+
| Failed requests                   | 0                                                   |
+-----------------------------------+-----------------------------------------------------+
| Throughput(average tokens/s)      | 324.059                                             |
+-----------------------------------+-----------------------------------------------------+
| Average QPS                       | 1.397                                               |
+-----------------------------------+-----------------------------------------------------+
| Average latency (s)               | 0.696                                               |
+-----------------------------------+-----------------------------------------------------+
| Average time to first token (s)   | 0.029                                               |
+-----------------------------------+-----------------------------------------------------+
| Average time per output token (s) | 0.00309                                             |
+-----------------------------------+-----------------------------------------------------+
| Average input tokens per request  | 50.133                                              |
+-----------------------------------+-----------------------------------------------------+
| Average output tokens per request | 232.0                                               |
+-----------------------------------+-----------------------------------------------------+
| Average package latency (s)       | 0.003                                               |
+-----------------------------------+-----------------------------------------------------+
| Average package per request       | 232.0                                               |
+-----------------------------------+-----------------------------------------------------+
| Expected number of requests       | 15                                                  |
+-----------------------------------+-----------------------------------------------------+
| Result DB path                    | ./outputs/20250416_194204/qwen2.5/benchmark_data.db |
+-----------------------------------+-----------------------------------------------------+

Percentile results: 
+------------+----------+----------+-------------+--------------+---------------+----------------------+
| Percentile | TTFT (s) | TPOT (s) | Latency (s) | Input tokens | Output tokens | Throughput(tokens/s) |
+------------+----------+----------+-------------+--------------+---------------+----------------------+
|    10%     |  0.0202  |  0.0027  |   0.1846    |      41      |      50       |       270.8324       |
|    25%     |  0.0209  |  0.0028  |   0.2861    |      44      |      83       |       290.0714       |
|    50%     |  0.0233  |  0.0028  |   0.7293    |      49      |      250      |       335.644        |
|    66%     |  0.0267  |  0.0029  |   0.9052    |      50      |      308      |       340.2603       |
|    75%     |  0.0437  |  0.0029  |   0.9683    |      53      |      325      |       341.947        |
|    80%     |  0.0438  |  0.003   |   1.0799    |      58      |      376      |       342.7985       |
|    90%     |  0.0439  |  0.0032  |   1.2474    |      62      |      424      |       345.5268       |
|    95%     |  0.0463  |  0.0033  |   1.3038    |      66      |      431      |       348.1648       |
|    98%     |  0.0463  |  0.0035  |   1.3038    |      66      |      431      |       348.1648       |
|    99%     |  0.0463  |  0.0037  |   1.3038    |      66      |      431      |       348.1648       |
+------------+----------+----------+-------------+--------------+---------------+----------------------+

• 指标说明

• 参数说明

0d8228060b40ef97d19230675e01c8ae.png

速度基准测试

模型在单个请求下的标准速度，类似Qwen官方报告的速度基准

b61696ccdde8d3a73b877cea3363d188.png

evalscope perf \
 --parallel 1 \
 --url http://10.1.30.50:40000/v1/completions \
 --model deepseek-r1-channel-int8 \
 --log-every-n-query 1 \
 --connect-timeout 6000 \
 --read-timeout 6000 \
 --max-tokens 2048 \
 --min-tokens 2048 \
 --api openai \
 --dataset speed_benchmark \
 --debug

可以使用 --dataset [speed_benchmark|speed_benchmark_long]来指定速度测试的数据集：

speed_benchmark: 测试[1, 6144, 14336, 30720]长度的prompt，固定输出2048个token。

speed_benchmark_long: 测试[63488, 129024]长度的prompt，固定输出2048个token。

RAG评测

527bb83d41ce4c320a116b81770a2c05.png

two_stage_task_cfg = {
    "eval_backend": "RAGEval",
    "eval_config": {
        "tool": "MTEB", # 评测工具
        "model": [
            {
                "model_name_or_path": "AI-ModelScope/m3e-base", # 模型名称或路径，支持从modelscope仓库自动下载模型
                "is_cross_encoder": False, # 模型是否为交叉编码器，默认为 False；reranking模型需设置为True
                "max_seq_length": 512, # 最大序列长度，默认为 512
                "model_kwargs": {"torch_dtype": "auto"}, # 模型的关键字参数，默认值为 {"torch_dtype": "auto"}
                "encode_kwargs": {
                    "batch_size": 64,
                },
            },
            {
                "model_name_or_path": "OpenBMB/MiniCPM-Reranker",
                "is_cross_encoder": True,
                "max_seq_length": 512,
                "prompt": "为这个问题生成一个检索用的表示", # 用于检索任务在模型前的提示，默认为空字符串
                "model_kwargs": {"torch_dtype": "auto"},
                "encode_kwargs": {
                    "batch_size": 32,
                },
            },
        ],
        "eval": {
            "tasks": ["T2Retrieval"], # 任务名称，可选https://evalscope.readthedocs.io/zh-cn/latest/user_guides/backend/rageval_backend/mteb.html#id2
            "verbosity": 2, # 选取前 K 个结果，检索任务使用
            "output_folder": "outputs",
            "overwrite_results": True,
            "top_k": 5,
            "limits": 100,
        },
    },
}
from evalscope.run import run_task

run_task(task_cfg=two_stage_task_cfg)

ms-swift集成

ms-swift是魔搭社区提供的大模型与多模态大模型训练部署框架，现已支持450+大模型与150+多模态大模型的训练（预训练、微调、人类对齐）、推理、评测、量化与部署。模型开发者可以在ms-swift框架中一站式完成围绕大模型的各类需求。目前ms-swift的主要能力包含：

🍎 模型类型：支持450+纯文本大模型、150+多模态大模型以及All-to-All全模态模型、序列分类模型、Embedding模型训练到部署全流程。

数据集类型：内置150+预训练、微调、人类对齐、多模态等各种类型的数据集，并支持自定义数据集。

硬件支持：CPU、RTX系列、T4/V100、A10/A100/H100、Ascend NPU、MPS等。

🍊 轻量训练：支持了LoRA、QLoRA、DoRA、LoRA+、ReFT、RS-LoRA、LLaMAPro、Adapter、GaLore、Q-Galore、LISA、UnSloth、Liger-Kernel等轻量微调方式。

分布式训练：支持分布式数据并行（DDP）、device_map简易模型并行、DeepSpeed ZeRO2 ZeRO3、FSDP等分布式训练技术。

量化训练：支持对BNB、AWQ、GPTQ、AQLM、HQQ、EETQ量化模型进行训练。

RLHF训练：支持纯文本大模型和多模态大模型的DPO、GRPO、RM、PPO、KTO、CPO、SimPO、ORPO等人类对齐训练方法。

🍓 多模态训练：支持对图像、视频和语音不同模态模型进行训练，支持VQA、Caption、OCR、Grounding任务的训练。

界面训练：以界面的方式提供训练、推理、评测、量化的能力，完成大模型的全链路。

插件化与拓展：支持自定义模型和数据集拓展，支持对loss、metric、trainer、loss-scale、callback、optimizer等组件进行自定义。

🍉 工具箱能力：除了对大模型和多模态大模型的训练支持外，还支持其推理、评测、量化和部署全流程。

推理加速：支持PyTorch、vLLM、LmDeploy推理加速引擎，并提供OpenAI接口，为推理、部署和评测模块提供加速。

模型评测：以EvalScope作为评测后端，支持100+评测数据集对纯文本和多模态模型进行评测。

模型量化：支持AWQ、GPTQ和BNB的量化导出，导出的模型支持使用vLLM/LmDeploy推理加速，并支持继续训练。

常见问题

LLM全链路最佳实践

modelscope 提供模型、数据集下载能力

data-juicer 提供数据集处理能力

ms-swift 提供模型训练、推理能力

evalscope 提供模型评测能力

百炼模型评测： https://help.aliyun.com/zh/model-studio/model-evaluation-overview