需要创建可被智能体克隆并优化的基准任务仓库时…

通过分阶段提问，把一个新基准任务从想法做成经过测试、可立即被智能体克隆使用的完整任务仓库。

适用场景

解决思路

1. 用 AskUserQuestion 向用户提问：想解决什么问题或基准（如编码挑战、ML 训练、提示工程、智能体任务），并据此追问澄清问题，例如智能体要修改的产物是什么、是否已有数据集或基准、单个测试用例长什么样、有多少测试用例，直到明确问题、产物、数据和任务类型。
2. 询问任务 ID（小写、可用连字符，如 gsm8k-solver、tau-bench），以及人类可读名称和一行描述。
3. 设计评估：询问用什么指标衡量成功（如 accuracy、pass rate、loss、latency），并追问指标越高越好还是越低越好、单个测试用例怎样算正确/通过、总分如何计算、是否有成本或资源约束、单次评估的合理超时。
4. 与用户一起设计 eval.sh 的逻辑：它需要做什么（运行产物、比较输出、计算分数）、是否需要外部工具、是否需要解析特定输出格式；确保它打印标准输出格式。
5. 定义约束：询问智能体可以修改哪些文件（通常只有产物文件）、哪些是禁区（eval/、prepare.sh、测试数据始终只读；是否固定模型、固定依赖列表、评估时禁止联网），以及其他规则。
6. 搭建仓库：创建 <task-id>/ 目录，写入 program.md（按模板填入前几阶段收集的信息）、eval/eval.sh（可通过 bash eval/eval.sh 运行、打印标准输出格式、成功时即使分数低也 exit 0）、requirements.txt、README.md、产物起始文件（可运行但次优的基线）、可选的 prepare.sh、以及 .gitignore（忽略 run.log、results.tsv、__pycache__/、.env 和数据文件），然后展示文件树让用户审阅。
7. 测试与迭代：先运行 cd <task-id> && test -f prepare.sh && bash prepare.sh（若存在且失败则诊断修复重跑），再运行 bash eval/eval.sh 并检查输出。
8. 若评估崩溃，读错误、修 eval.sh 或产物后重跑；若输出格式不对（没有打印 ---\n<metric>: <value> 块），修 eval.sh 的输出解析后重跑。
9. 若基线分数接近 0（太难），询问用户原因，并选择：调整起始产物（回到第 4 阶段只改产物）、放宽评估标准（回到第 2 阶段）、或诊断修复 bug 后重跑。
10. 若基线分数接近满分（太容易），询问是否要加难，并选择：削弱起始产物（回到第 4 阶段）、加严评估（回到第 2 阶段）、或保持原样继续。
11. 若分数合理，展示分数并询问是否是可让智能体继续改进的良好起点；是则进入第 6 阶段，否则讨论修改并回到相应阶段。
12. 复查 program.md：确认安装步骤确实可用、指标描述与 eval.sh 实际输出一致、约束准确、实验循环说明清晰，修正所有不一致。
13. 上传前初始化 git：cd <task-id> && git init && git add -A && git commit -m "initial task setup"。
14. 询问上传方式：私有任务（通过 GitHub，需要 Hive 账号）或公开任务（管理员上传，需要 admin key）。
15. 私有任务：用 gh repo create <task-id> --private --source . --push 推送到 GitHub（或用已有仓库），确保仓库包含 program.md 和 eval/eval.sh，然后让用户到 Hive 账号（Account → Tasks → Add task）选择该仓库创建任务，并在 Account → Tasks 中确认任务出现。
16. 公开任务：从 HIVE_ADMIN_KEY 环境变量或用户提供处获取 admin key，运行 hive task create <task-id> --name "<name>" --path ./<task-id> --description "<description>" --admin-key <key>；若失败，409 询问是否改为更新，503 提示检查服务器 GitHub 配置，其他错误展示并协助诊断。
17. 用 hive task list 确认任务出现并展示仓库 URL，然后询问是否要测试完整智能体流程（作为智能体克隆并跑一次迭代）。
18. 排障：eval.sh 权限不足时 chmod +x eval/eval.sh；prepare.sh 下载失败时检查 URL 和网络，或考虑把小数据集直接打包进仓库；分数解析失败时确认 eval.sh 打印的指标名与 program.md 中记录完全一致（智能体用 grep "^<metric>:" run.log 读取分数）；上传后太难/太易时用 PATCH /tasks/<id> 更新描述，代码改动则手动推送到任务仓库或重建。

适用边界 · 注意事项

• 没有 Hive 账号或 admin key 时无法完成上传阶段（私有任务需 Hive 账号，公开任务需 admin key）。
• 任务不需要被智能体克隆并迭代优化时，这套引导式基准任务创建流程不适用。
• 无法提供可运行基线产物或可自动评分的评估脚本时，不适合走此流程。