创建自定义测试集

你可以创建自己的基准测试集，测试你真正关心的主题 —— 完全不需要手写 JSON。测试集构建器既支持手动编写题目，也可以让本地 AI 模型自动生成。

侧边栏位置： 测试集构建器 路由： /benchmark（构建器标签页）

手动录入题目

完全手工构建一个测试集：

1. 打开基准测试页，点击构建器标签页。
2. 填写测试集名称和可选的描述。
3. 点击添加题目创建一个新条目。
4. 填写题干。
5. 添加选项（A、B、C、D）。如有需要可以增加更多选项。
6. 从下拉框中选择正确答案。
7. 可选：指定一个类别，用于按学科分组题目。
8. 对每一道要添加的题目重复第 3–7 步。
9. 完成后点击保存测试集。

你的自定义测试集会与内置测试集并列出现，随时可以运行。

AI 辅助生成

让本地模型替你完成繁重的工作：

1. 在构建器标签页中，切换到 AI 生成区域。
2. 输入一个主题 —— 例如「法国大革命」「TCP/IP 网络」或「有机化学」。
3. 选择要生成的题目数量。
4. 选择难度（简单、中等、困难）。
5. 从下拉框中选择负责生成题目的模型。
6. 点击生成。模型会实时流式产出题目。

生成完成后：

• 审阅每道题的准确性。
• 编辑需要修正的题干、选项或正确答案。
• 取消勾选格式不佳或有错误的题目 —— 它们不会被纳入。
• 点击加入测试集，把通过审阅的题目合并进你的测试集。

编辑测试集

点击任意自定义测试集上的编辑按钮即可修改。你可以：

• 重命名测试集或更新描述
• 添加、删除或重新排序题目
• 编辑单道题的题干、选项和正确答案
• 更改题目类别

内置测试集（ARC、GSM8K 等）不可编辑，但你可以复制一份来创建修改版本。

导出

点击自定义测试集上的导出按钮，可将其下载为 JSON 文件。导出内容包含：

• 测试集名称与描述
• 全部题目及其选项、正确答案索引和类别

你可以把导出的 JSON 文件分享给他人，或贡献到社区测试集合集中。