当 Ane 输入 /grade-system、/grade…

适用于按周期或在重大变更/利益相关方沟通前，对 Ann/Vi/Li/Researcher + wiki + harness + 三仓库架构做内部质量分级，而不是找具体 bug。

适用场景

解决思路

1. 始终在输出中包含“自我评分偏差说明”：你既在给系统评分，也在系统内运行；按 2026-05-06 mel-system-bias-audit，LLM-as-Judge 效应会使你偏向与自己推理模式一致的输出和架构。必须在输出中公开说明：该等级是系统内部校准，不是外部验证；社区/外部 MA 实践者审查这一结构性测试仍未获准存在。此说明不可省略，省略则等级有误导性。
2. Step 1 收集经验证据：并行读取 agent-improvements/ann-overlay.md（Active + Archived），提取带成本数字的回顾条目、harness 状态和关键学习；统计会话数；记录重大事故（如 DOCX truncation、em-dash regression）。
3. 读取 agent-improvements/coordination-log.md，记录摩擦事件及其状态（OPEN / CLOSED）。
4. 读取 agent-improvements/cost-calibration-log.md，统计有 observed actuals 的行与 not observed 的行；注意 ⚠️ 超出区间的条目。
5. 读取 agent-improvements/qa-rejection-log.md，统计数据行数并观察 verdict 趋势；这是实时 QA telemetry 信号。空表表示改进循环靠轶事驱动，应标为风险。qa-disagreement-log.md 仅为历史记录：2026-07-30 已退役为实时计数器（system-audit 第 12 项），其 3 行 Vi/Li elevation watch-trigger 因不可测量被撤回；读其头部说明了解退役理由；不要把它的行数当作 watch-trigger。表里有行仍可能在趋势意义上为空。该日志协议排除任何带 `⚠️ PILOT` 或 `⚠️ SMOKE TEST` 标签的行，不纳入 rejection-rate 趋势；所以要单独统计 eligible 行并报告该数字，而不是报告总行数：`grep -E '^\| 2026-' <log> | grep -vc -E '(PILOT|SMOKE TEST)'`。2026-08-15 十行全部带排除标签，因此所宣称的可测信号实际为零数据，尽管表看起来有内容。外部结构性测试仍然开放。
6. 审计历史：不要用 glob 找它，大部分已迁移。`agent-improvements/system-audit-*.md` 只匹配一个文件，即 2026-04-28 架构审计，仍可作基线阅读，但不是近期结果。`agent-improvements/audit-drift-*.md` 匹配一个每周系列，该系列于 2026-08-05 退役（Ane 决定；harness 承接其检查，`/system-audit` 按需覆盖判断环节），所以其最新文件是收尾条目，不是当前读数。近期审计发现位于 `agent-improvements/handoffs/`（例如 `system-audit-follow-ups.md`，其 locked-decisions 部分在其他地方不存在）和 `agent-improvements/improve-system-runs.md`。运行 `python scripts/handoff_status.py` 获取当前集合，而不是猜文件名。
7. 读取 mel_wiki/wiki/index.md，统计页面数（frameworks、concepts、indicators、lenses）。
8. 读取 agent-improvements/agent_registry.md，统计 specialist 数量；与 `~/.claude/agents/` 交叉核对。
9. 运行 `python tests/run_tests.py` 查看静态状态，运行 `python tests/run_tests.py --output` 查看 fixture coverage。
10. Step 2 应用 per-component grades。评分等级：A / A− / B+ / B / B− / C+ / C 及以下。使用 Step 1 的证据，不凭感觉。
11. Component Ann (Convener) 的考虑项：7-phase workflow integrity, retrospective discipline, cost-estimation accuracy, complexity-classification track record, Vi/Li orchestration ceiling。
12. Component Vi (Orchestrator) 的考虑项：SELECT → DELEGATE → REVIEW → COMPILE flow, reconciliation protocol, model-rule alignment with registry, in-context-skill ceiling, taxonomy-table completeness。
13. Component Li (Knowledge Manager) 的考虑项：Operations breadth (10 ops: QUERY, INGEST-FROM-RESEARCHER, INGEST-AD-HOC, INGEST-DOCUMENT, CATALOG, OVERLAY-DIGEST, LINT, CURATE, SYNC-CLAUDE-AI, REORGANIZE), CURATE quality (substantive vs archive-only), tier-branched ingestion, quarterly multilingual targets。
14. Component Researcher (Evidence Synthesis) 的考虑项：Two-artifact protocol, tier-tagged source classification, multilingual live-retrieval rule operational state, external-retrieval validation status。
15. Component Specialists (count from registry) 的考虑项：Agent file count match, calibration anchor coverage, registry-vs-Vi consistency, model-default discipline。
16. Component Wiki 的考虑项：Page count, YAML frontmatter discipline, em-dash count trend, P1/P2/P3 priority discipline, bidirectional cross-references。
17. Component Test harness 的考虑项：Static check count, fixture coverage, regression-protection breadth。
18. Component qa_block schema + Ann PHASE 5 gate 的考虑项：Field-by-field verification working, schema-vs-implementation consistency, recent additions (power_shift_check, external_review_check) integrated。
19. Component Three-repo architecture 的考虑项：claude-config + personal-skills + anework-package — restoration paths, mirror clones, sync gaps, migration robustness。
20. 对每个 component：给一个等级并附一行理由，引用证据文件。
21. Step 3 应用 per-dimension grades。维度 Correctness：Citation accuracy, framework version currency, lens application。
22. 维度 Reliability：Quality consistency across runs, failure-mode track record。
23. 维度 Robustness：Graceful degradation, self-detection, skill-fallback bannering。
24. 维度 Efficiency：Token cost vs output, observability surfaces。
25. 维度 Maintainability：Drift resistance, single source of truth, restoration paths。
26. 维度 Honesty / calibration：Data-gap flagging, recursive-limit acknowledgement。
27. 维度 Audience-tier register：Tier 1 working brief / Tier 2 publication / junior-MEL paths working。
28. 维度 Lens substantiveness：Feminist, decolonial, intersectionality applied vs tokenistic。
29. 维度 Power awareness：Positionality, knowledge origin, who shapes questions。
30. 维度 Empirical evidence base：How many real production runs back the design claims。
31. 对每个 dimension：给等级。每个等级都必须能由 Step 1 收集的证据辩护。没有具体证据不要给 A；没有具体缺口不要给 C。
32. 然后明确回答两个 graph-shape 问题。编排是一个 agent graph（jobs、arrows、shared state files、checkers、human gates）；把两个答案都并入 Reliability 等级，任何“否”都作为 Step 5 风险提出。
33. 问题 1：每个 checker 是否与其 writer 分离？qa-reviewer 和 reader-position-reviewer 按设计不带 Write/Edit 工具；验证这一点持续成立，并验证任何新增 reviewer 或 QA skill 也在不写入的情况下审查。能编辑自己所审产品的 checker 是 graph 缺陷，无论其文字质量多好。
34. 问题 2：每个人工 gate 是否放在错误代价高而不是方便的位置？映射 Ane 被请求批准的位置（plan approval、pre-publish、pre-overwrite）与错误实际会让她付出代价的位置（outward-facing sends、destructive writes、donor-visible content）。在低成本步骤设 gate 而高成本步骤没有 gate，就是错位；Run 4 post-decision-Q&A overrun 就是这个症状。
35. Step 4 应用 OECD-DAC adapted (6 criteria)。将 2019 六准则框架适配到系统语境。
36. Criterion Relevance：是否服务于 Ane 实际的 MEL/SRHR 工作？
37. Criterion Coherence：各部分是否契合？
38. Criterion Effectiveness：是否产出出版标准输出？
39. Criterion Efficiency：token cost vs output quality。
40. Criterion Impact：是否改变 Ane 相对基线的生产力/输出质量？没有反事实数据时通常为 "Insufficient evidence"。
41. Criterion Sustainability：可维护性、抗漂移、依赖鲁棒性。
42. Step 5 三个具体风险。三个诚实风险，按影响排序。每个包括：Description（一句话）；Why it matters（一句话）；Mitigation in place（如有）；What could close it。2026-05-06 grading 示例：silent qa-reviewer disagreements that Ane accepts without flagging；token cost estimation opacity；self-derived bias-correction roadmap。
43. Step 6 外部 MA 评估者仍会想要什么。列出系统从自身边界内无法满足的事项：Sample of qa_block outputs reviewed by non-IPPF MA practitioner；Counterfactual data (productivity vs baseline)；The first time qa-reviewer flagged a Tier 2 output for missing external review and publication was actually delayed；Track record on humanitarian-srhr-specialist running multi-country (the Opus override condition fires there)；Quarterly non-English ingestion targets met for 2 consecutive quarters。
44. Step 7 总体等级和建议。单一总体等级并附理由。给出可推动等级变化的具体建议：Today (1-2 hours): Cost-calibration log, scaffolding, one fixture capture；This week: Em-dash sweep on 10 most-loaded P2 pages, send external auditor invitation, capture 2 more fixtures；Next month: External MA practitioner sample audit fires, multilingual gap log accumulates first 3 entries, cost-calibration log gets 5+ observed actuals for one task type；Strategic (no deadline): Vi/Li elevation to true subagents — its 3-row disagreement watch-trigger was withdrawn as unmeasurable 2026-07-30; needs a new evidence route (qa-rejection-log trend) before it can move。
45. 诚实说明哪些行动是单日可做，哪些是结构性上限。A− → A 的跃迁通常需要外部审计员。
46. 输出格式：Tier 1 working brief。BLUF 优先。component / dimension / OECD grades 用表格。语气诚实，不吹捧。No em-dashes。No hedging。按 CLAUDE.md。
47. 使用模板： # Quality and reliability grading — Ann/Vi/Li/Researcher + MEL/SRHR system **BLUF: Overall [grade]. [One-sentence summary of strengths and ceilings.]** ## Self-grading bias note [Mandatory paragraph explaining the LLM-as-Judge effect and that this is internal calibration, not external validation.] ## Per-component grades | Component | Grade | One-line rationale | |---|---|---| ## Per-dimension grades | Dimension | Grade | What it means | |---|---|---| ## OECD-DAC adapted | Criterion | Grade | Comment | |---|---|---| ## Three concrete risks 1. [risk + impact + mitigation] 2. [risk + impact + mitigation] 3. [risk + impact + mitigation] ## What an external MA evaluator would still want - [bullet list] ## Recommended sequencing for grade movement | Time horizon | Achievable moves | ## Bottom line [One paragraph: overall grade, what holds it back, what would move it.] **Evidence base:** [inline file paths]
48. What NOT to do：不要输出吹捧性等级。系统有真实上限；点名它们。
49. 不要跳过自我评分偏差说明。这个说明就是纪律。
50. 不要产出具体 bug 修复。那些属于 `/system-audit`。
51. 不要编造证据。引用你在 Step 1 实际读过的源文件。
52. 不要给所有维度 A。若不能用具体证据辩护 A，等级应更低。
53. 不要给所有维度 C。系统已经做了大量工作；诚实评分要承认哪些有效。
54. Closing：以 "Want concrete recommendations for moving the grade?" 结尾。等待 Ane 回应。
55. 如果 Ane 确认，给出 2-3 个能改变特定维度的具体一日行动。诚实说明哪些今天可完成，哪些是结构性上限。然后询问是否执行。
56. Cost band。两种形态，根据观察到的 actuals 校准：Grade-only pass: ~40-80k（读取 overlay files、audit history、harness state）。Grade plus followup execution: ~200k。所有三次观察到的运行（2026-05-10、2026-05-20、2026-05-22）在加上 followup edits 和 commits 后，都超出 grade-only band 的 2.5 到 5 倍。即使只有 skill-only tooling，也分类为 COMPLEX-execution，并以 ~200k 作为工作估计。
57. 两者都在 200k system-improvement cap 内；grade-plus-followup 形态会达到上限。如果运行只评分不编辑，适用较低 band。
58. Gathering method 对成本的影响大于 grade。Pass 7（2026-06-20）把 Step 1 分散到四个 subagents，花费约 340k subagent-side。Pass 8（2026-07-24）用直接 Read 和 Bash 调用收集相同证据，并以约 208k 完成整个会话，包括两个 followup moves 和一次 cross-repo sync，达到同样 A−。默认使用直接收集。两个诚实 caveats：这是 n=1 对 n=1；pass 8 可能受益于 pass 7 已经摸清证据位置。把它当作“直接收集成功了一次”，而不是证明 fan-out 浪费。当证据面确实陌生，或当并行扫描（例如跨多页的 em-dash sweep）就是实际工作时，才使用 subagents。
59. Cross-references：`/system-audit` 找 bug；`/grade-system` 描述整体质量姿态。两者合用才能完整阅读：先 audit 清掉 quick fixes，再 grade。
60. `agent-improvements/system-audit-2026-04-28.md` 是最初架构审计；会贯穿到 grade dimensions。
61. `agent-improvements/external-calibration-auditor-invitation-draft.md` 是常设邀请，会触发外部结构性测试。

适用边界 · 注意事项

• 不要用它来定位具体 bug 或修复项，那是 `/system-audit` 的职责。
• 不要把它当作外部验证或客观第三方评估；它只是系统内部校准，外部 MA 实践者/社区审查尚未发生。
• 在无法读取 Step 1 所列证据文件、只能凭印象时不要使用；否则会变成吹捧式评分。