smevals：轻量级模型评估套件，用 YAML 定义测试并对比 GPT-5.5 与 Claude Opus 4.6 等模型表现
smevals 是 Prime Radiant 推出的开源评估工具，支持用 YAML 定义测试套件，一键运行于多个模型（如 GPT-5.5、Claude Opus 4.6）并自动评分。本文详解其用法、示例（俳句生成评估）及对中文开发者的实用价值，包括本地部署与国产模型适配建议。
一句话看懂
smevals 是一个轻量级模型评估套件，用 YAML 定义测试，可对比不同模型、提示词和 harness 的表现，并生成可视化报告。
详细发生了什么
Prime Radiant 应用 AI 研究实验室（由 Jesse Vincent 创立）与 Simon Willison 合作开发了 smevals，一个用于运行小型评估套件的开源工具。其核心设计是让开发者通过简单的命令行操作，快速评估不同模型配置下的能力差异。
工具的使用流程非常简洁：首先，通过 uvx smevals docs 命令让编码代理学习工具（输出 README）；然后，让代理根据需求构建评估套件。评估套件以目录形式存在，内含 YAML 文件定义测试用例。运行评估时，可指定多个模型，例如 uvx smevals run path-to-eval/ -m gpt-5.5 -m claude-opus-4.6，工具会并行执行测试并记录结果。
评分与运行分离：uvx smevals grade 根据预定义的检查项对运行结果进行评分；uvx smevals serve 启动本地 Web 服务器，方便交互式探索结果；uvx smevals build 则生成静态 HTML 报告，可托管到任意位置。Simon 还提供了一个示例：评估模型写俳句的能力，要求输出恰好三行非空文本，并展示了排行榜和详细分析面板。
中文圈视角
对中文开发者而言，smevals 的价值在于其轻量化和易用性。相比 Hugging Face 的 eval 库或 OpenAI Evals，它更聚焦于快速迭代和对比，适合日常开发中验证 prompt 或模型选择。无需复杂配置，一条命令即可运行，降低了评估门槛。
不过，国内用户需注意：smevals 依赖 uvx 和 GitHub，访问可能受限，建议使用镜像或代理。此外，工具目前主要支持 OpenAI 和 Anthropic 模型，但理论上可通过自定义 harness 接入国产模型，如 DeepSeek、Kimi 或智谱 GLM。对于中文场景，可以自定义评估指标，例如检查模型输出是否包含特定中文关键词或符合中文语法规则。
一个值得关注的盲点是：smevals 的评估结果高度依赖测试用例的质量，中文用户应设计针对中文语境的任务（如成语解释、古诗词创作），避免直接翻译英文测试导致偏差。
几条值得记住的细节
- smevals 通过
uvx smevals docs输出 README，方便编码代理快速学习，无需手动阅读文档。 - 评估套件由 YAML 文件定义，支持自定义检查项，如“输出恰好三行非空文本”。
- 运行和评分分离，可先运行多个模型，再统一评分，便于对比。
- 支持生成静态 HTML 报告，可托管到 GitHub Pages 或任意静态服务器，便于分享。
- 示例评估展示了俳句生成任务，验证模型对格式约束的遵循能力。
一句话总结
smevals 让模型评估变得像写配置文件一样简单，中文开发者可借此快速对比国产与海外模型，优化 prompt 和模型选型。