工具调用大模型微调完全指南：基于 XYZ-Aquila-SFT 与 Qwen3 的端到端实战

一句话看懂

本文介绍如何用 XYZ-Aquila-SFT 数据集，通过 LoRA 微调 Qwen3-0.6B 模型，使其具备工具调用能力，并给出完整代码与评估流程。

详细发生了什么

MarkTechPost 发布了一篇教程，作者 Sana Hassan 详细展示了如何构建一个端到端的监督微调流水线，用于训练具备工具调用能力的语言模型。教程使用的数据集是 XYZ-Aquila-SFT，模型是 Qwen3-0.6B，并借助 Hugging Face Transformers、PyTorch 和 PEFT 库实现。

教程首先通过 streaming 方式加载数据集，并检查数据结构，包括 question、answer、trajectory 等字段。随后，作者定义了嵌套安全的 JSON 解析器，从对话轨迹中提取结构化的工具调用、推理块和观察结果。接着，将工具 schema 从消息嵌入格式转换为结构化格式，并渲染成 Qwen 兼容的 ChatML 格式，同时使用 assistant-only loss masking 确保只对助手回复计算损失。

之后，作者准备了自定义的 PyTorch Dataset 和 collator，并使用 LoRA 对 Qwen3-0.6B 进行微调，设置了 30 步训练、8 步梯度累积、学习率 1e-4、LoRA rank 16 等超参数。最后，评估了训练前后模型在工具调用预测上的表现，并导出了转换后的数据集和语料统计信息，供进一步实验使用。

教程中的代码片段展示了如何配置环境、安装依赖、解析轨迹、统计语料特征（如工具调用次数分布、消息深度等），并可视化这些分布。整体而言，这是一个非常实用的技术指南，适合希望复现工具调用微调流程的开发者。

中文圈视角

对于中文开发者来说，这个教程的价值在于它提供了一个完整的、可复现的工具调用微调流程，而且使用的 Qwen3 是阿里云开源的中文友好模型。国内用户可以直接在本地或云端 GPU 环境运行代码，无需额外网络工具。不过，数据集 XYZ-Aquila-SFT 是英文的，如果希望模型支持中文工具调用，可能需要寻找或构建中文数据集，或者使用类似 ModelScope 上的中文工具调用数据集。

与国产框架相比，Hugging Face Transformers 和 PEFT 在国内使用广泛，但 ModelScope 也提供了类似的微调工具，且对中文支持更好。如果遇到网络问题，可以通过镜像源安装依赖。此外，教程中的 ChatML 渲染和 loss masking 方法同样适用于其他模型，如 DeepSeek 或 Kimi，开发者可以灵活迁移。

对于中文用户的具体场景，比如开发中文客服机器人或办公自动化助手，这个流程可以帮助模型学会调用外部 API 或工具，提升实用性。但需要注意，微调后的模型在中文工具调用上的表现可能需要额外验证，因为训练数据是英文的。

几条值得记住的细节

数据集 XYZ-Aquila-SFT 包含多轮工具使用轨迹，每条轨迹平均有 2-3 次工具调用，最长可达 10 次以上。
解析工具调用时，使用嵌套安全的 JSON 扫描器，避免正则表达式在嵌套 arguments 对象上出错。
训练配置：Qwen3-0.6B，LoRA rank 16，学习率 1e-4，最大序列长度 2048，训练 30 步。
评估阶段使用 24 个探测样本，对比训练前后工具调用预测的准确性。
教程代码可在 Google Colab 等环境运行，支持 CUDA 和 BF16 加速。

一句话总结

掌握这套微调流程，即可让 Qwen3 等模型学会调用工具，为中文应用开发提供新思路。