同一个模型，换一套 harness，分数能接近三倍：OpenAI 在 2026 年 8 月公开的对照里，harness 优化把 Codex 在 ARC-AGI-3 上的得分从 13.3% 拉到 38.3%。harness 重要这件事，2026 年已经不需要再论证，大厂甚至开始竞相把它开源成平台（见《大厂 Agent Harness 开源之战》）。还没被讲透的是下一步：这些 harness 本身由谁来改进、怎么改进、能不能自己改进。
2026 年 7 月 4 日，Lilian Weng 在她的博客发布《Harness Engineering for Self-Improvement》，把这个问题放回「递归自我改进（RSI）」的谱系。RSI 的概念 1965 年就有了，而她给出的近期路径朴素得出人意料：大概率不从模型改写自身权重开始，而从改进包裹模型的这套系统开始。
读这篇文章最触动我的地方在于，她画的那张演进图，每一级都能在我们自己每天在跑的系统里找到对应物。所以这篇解读分两部分：先把路线图和研究数字讲清楚，再拿我们的实践逐条对照，包括踩过的坑。
RSI 的近期路径，大概率不在权重里
先补背景。Weng 把 RSI 追到 I. J. Good（1965）的「超智能机器」：一个能在所有智力活动中超越人类、并设计出更好机器来改进自身的系统。Yudkowsky（2008）把它收窄成一个反馈回路：AI 用当前智能改进产生这份智能的认知机器本身。到 2026 年，前沿实验室的 AI 研发速度已被证明在急剧加速，Anthropic 和 OpenAI 都公开讨论过这条曲线。
Weng 的定义很干净：harness 是包围基座模型的系统，决定模型如何思考与规划、调用工具与行动、感知与管理上下文、存储产物、评估结果。Claude Code 和 Codex 的商业成绩说明，这层系统已经是产品竞争力的主体。本站此前有两篇铺垫，一篇讲 harness 的定义与解剖结构（《Harness Engineering 完全指南》），一篇讲静态骨架与动态步法的分工（《Harness 工程与 Loop 工程》）。Weng 这篇往前再走一步：既然部署层与模型同等重要，RSI 的第一段路就踩在部署层上。
她对近期路径的预测有两条。其一，harness 工程会演化为元方法论，改进的对象从「答案」变成「获得答案的机器」，启发式规则越来越少，通用机制越来越多。其二，成熟的 harness 反过来支撑面向模型自我改进的自动研究，而更聪明的模型会防止 harness 过度工程化。很多 harness 改进最终会被内化进模型行为，但模型与外部世界的接口会留下来。提示词工程已经演过一遍这个剧本：指令微调和推理能力上来之后，手工技巧退居二线，而对目标、约束、上下文、评估的说明需求从未消失。
五级台阶：优化对象的外化史
Weng 框架的核心可以压成一句话：harness 系统里被优化的对象，大致沿着「指令提示词 → 结构化上下文 → 工作流 → harness 代码 → 优化器代码」五级台阶演进。模型越强，优化目标越复杂，方法越通用。她给 harness 下的操作性定义也随之落地：harness 就是一段代码，编排提示词、工具调用、子智能体、控制流、记忆与工作流逻辑如何协同工作；LLM 若能优化执行智能体的那段代码，触及的设计空间比手写提示词大得多。
每一级台阶都有代表作。提示词级，Promptbreeder（2023）用一组变异算子优化任务提示词，连「指示模型如何变异提示词」的元提示词也一起进化；GEPA（2025）用对试错轨迹的自然语言反思来改提示。上下文级，ACE（2025）把上下文当成一本增量维护的 playbook，策展器只写逐条目、不重写整块提示，防止坍缩和简短偏差；MCE（2026）再进一步，把「如何管理上下文的机制」和「上下文里装什么内容」拆成双层分别优化。工作流级，ADAS（2025）让一个元智能体直接用代码发明新工作流，先写高层描述再实现，经两轮自我精炼后入档；AFlow（2025）把工作流表示成图，用蒙特卡洛树搜索在上面找好的拓扑。harness 代码级是这篇文章的主菜，下一节展开。优化器级，SIA（2026）尝试让 harness 与模型权重在同一个回路里更新，Weng 对它的证据持保留意见，后文细说。
让 harness 变好的三条研究线
Weng 文中涉及「harness 优化」的工作，可以归成三条线：
| 研究线 | 代表工作 | 改的对象 | 靠什么改 |
|---|---|---|---|
| 上下文工程 | ACE、MCE、Meta-Harness | 上下文的组织方式与管理机制 | 轨迹反思、双层优化、外环搜索 |
| 工作流设计 | AI Scientist、ScientistOne、Autodata（手工线）；ADAS、AFlow（自动线） | 流程结构与角色分工 | 专家设计，或元智能体与树搜索 |
| Harness 代码 | STOP、Self-Harness、AHE、AlphaEvolve、DGM | 系统提示词、工具、技能、子智能体配置 | 递归自改进、进化搜索、闭环验证 |
harness 代码级有三个关键设计值得单独讲。
STOP（2023）最早示范「改进改进器」。 给定种子改进器 I、效用函数 u 和黑盒模型 M，STOP 的目标不是改进解 s，而是改进那个改进函数本身，元效用定义为改进器在一组下游任务上的平均效用，然后递归更新。实验里被改进的改进器自己发现了遗传算法、多臂提示词老虎机、模拟退火、beam 搜索这些策略。它也是第一份警示样本：换用 GPT-3.5 和 Mixtral 后，同样的递归结构让表现不升反降。
Self-Harness（2026）给出目前最完整的工程闭环。 三个阶段：弱点挖掘，把失败轨迹聚类成以校验器为锚的失败模式；有界提案，同一个模型在当前 harness 之下充当提案者，拿到的提案上下文只含四样东西（可编辑面、失败模式、应当保留的通过行为、既往尝试的摘要），提案必须针对可处理的复发性错误；验证合并，候选编辑要在 held-in 数据上验证弱点已修复、在 held-out 数据上验证没有引入新问题，双双通过才合并进新版本，拒绝的只记日志。在 Terminal-Bench-2 上，MiniMax M2.5、Qwen3.5-35B-A3B、GLM-5 各自学出了针对自身弱点的 harness 指令，held-out 通过率提升。
AHE（2026）认为真正的瓶颈是可观测性。 rollout 失败时要知道哪个组件负责，每次编辑都要有证据。三大支柱：组件可观测，harness 的七个组件（系统提示词、工具描述、工具实现、中间件、技能、子智能体配置、长期记忆）在文件系统里各有表示，失败模式映射到具体组件；经验可观测，原始轨迹先被分析成逐任务报告，再聚合成基准总览，分层访问省 token；决策可观测，每条编辑都是文件级的、可证伪的主张，附带对下一轮的预测。两条硬约束把奖励黑客关在了门外：编辑只作用于 harness 工作区，运行目录、tracer、校验器、模型配置全部只读；每条编辑带一份清单，写明失败证据、推断根因、针对性修复和预测影响。结果有说服力：Terminal-Bench-2 上超过人工设计的 harness（OpenCode、Terminus-2、Codex，Hard 档除外），而且冻结演化后直接迁移到 SWE-bench Verified 依然有效，说明学到的是工程经验，不是基准特调。
进化搜索是第三条腿。AlphaEvolve（2025）维护候选程序池，冻结的 LLM 生成改进 diff，可进化区域用 EVOLVE-BLOCK 注释显式标出，元提示词与解程序共同进化。DGM（2025）走得更远，允许编码智能体修改自己的 harness 代码库，在 SWE-bench Verified 上从 20% 涨到 50%，Polyglot 从 14.2% 涨到 30.7%（基座固定为 Claude 3.5 Sonnet）。Weng 同时提醒了适用边界：这类方法在候选解可自动评估、适应度可量化的领域（矩阵乘法、GPU 内核、算法竞赛）表现最好，评估缓慢含糊的领域则举步维艰。
数字说了什么
四组数字，四条判断。
- 递归结构不构成改进，基座能力是门槛。 STOP（2023）：GPT-4 越改越好，GPT-3.5 和 Mixtral 越改越差。同样的回路，换个模型就翻车。
- 提案便宜，利用难。 Lin et al.（2026）把两件事拆开了：harness 更新能力（能不能产出有用的编辑）从 Qwen3.5-9B 到 Claude Opus 4.6 几乎持平，9B 模型写出的技能与 Opus 在程序上同构；harness 受益能力（能不能用好更新后的 harness）呈非单调，中档模型受益最大。要利用一个 harness，模型得在正确的时机正确地调用技能和工具，还得擅长长时程指令跟随。
- 进化系数字亮眼，但注意前提。 DGM（2025）的 20%→50% 建立在「候选可自动评估」的地基上，换到评估模糊的领域不保证迁移。
- 冻结迁移才算学到东西。 AHE（2026）的 harness 停止演化后换一个基准仍有效，这是「编码了工程经验」与「过拟合基准」之间目前最干净的判据。
反面的教训同样值钱：Autodata（2026）合成难度「恰到好处」的训练数据，但只微调弱求解器、不动强求解器，回路改不动强模型。Weng 的评语一针见血：这更像在生成的提示分布上做间接蒸馏，RSI 成色打折。
路线图在我们系统里的印证
我们每天在跑的智能体系统大概三类：若干编码智能体（人机协同改代码）、一条生成式 AI 画布产品的 Copilot 智能体产线、一个管着定时任务与任务库的个人 agent 舰队。拿 Weng 的框架逐条对照，吻合程度超出预期。
文件系统即持久记忆，这条我们吃到了甜头。 所有 agent 的执行记录一律写成文件，任务卡里有固定格式的执行记录区，新条目插在最前、带时间戳；夜间巡查的定时任务不问任何进程状态，只读文件对账。Weng 的原话正好解释了为什么必须这样：子智能体的输出若只活在转瞬即逝的聊天上下文里，很快就会过时且不可见；落成文件、日志和状态记录，模型才能在中断后恢复，并基于自己的执行历史推理。我们也踩过反面：2026 年 9 月的一次复盘发现，运行时状态与落盘记录不一致时，agent 会按过期状态做决策，错误安静地扩散。这直接对应 AHE 的组件可观测性支柱，状态没有单一可信来源，再聪明的模型也是在读一本旧账。
上下文经济学先于一切自动化。 画布 Copilot 的系统提示词，在 2026 年 8 月 30 日的实测里从约 10.6 万 token 压到 7.8 万，做法是逐段归因，搞清每段提示在什么轮次被谁消费，再决定去留。ACE 把上下文当 playbook 增量维护、MCE 把机制与内容分层优化，说的是同一件事：上下文是资产，要修剪、去重、记账，不能只追加。长时程任务一拉长，「把所有东西都塞进上下文」首先死于成本，其次死于注意力。
技能库需要体检，自更新需要验证门。 2026 年 8 月 29 日我们给画布 Copilot 的技能库做过一次 113 个技能的盘点，清掉一批无人调用、描述失真、职责重叠的技能；半个月后又复盘了一次自动更新失败导致的技能收敛事故。开源世界在往同一个方向走，Hermes Agent v0.18 的技能自建与使用中自改（见《Hermes Agent v0.18 深度解析》）就是消费级尝试。但对照 Self-Harness 的三阶段，我们缺的恰好是那道验证门：拒绝的提案要记日志，接受的编辑要过 held-in 与 held-out 双回归。现在的技能变更还是人肉评审，不过编辑记录已经补成了 AHE 式的证据清单：
# 一条 harness 编辑记录（样式取自 AHE 的证据清单设计）
failure_evidence: "连续 3 次超时后仍报告任务成功"
root_cause: "成功判定只看进程退出码，未校验产物"
targeted_fix: "成功判定增加产物存在性检查；校验器保持只读"
predicted_impact:
fixes: "超时类任务的误报率下降"
at_risk: "产物延迟落盘的场景可能被误判失败"
verification: "held-in 回归 + held-out 抽查，双通过才合并"
立场说在明处：按五级台阶对照，我们的日常在第 2 到第 3 级之间上下，第 4 级（harness 代码全量进版本库、可编辑面显式化、编辑带证据与预测）才刚起步。而 Weng 引用的研究里，真正把第 4 级跑通的系统，无一例外先把评估器关在了回路外面。
风险清单可能比路线图更值钱
Weng 文末的挑战清单，挑四条我们付过学费的讲。
评估器弱且模糊。 自我改进回路只在指标可测、客观的任务上表现好，与 RL 的适用边界同理；研究品味、新颖性、长期科学价值都难以量化。我们的一个教训：把未经核实的结论喂给审计智能体，它大概率只会确认这个结论。审计的输入也要过证据门，否则评估器自己就是偏差源。
奖励黑客。 回路会优化它拿到的任何信号：奖励来自单元测试就过拟合测试，来自裁判模型就学出专骗裁判的花招，来自基准分就钻基准的空子。AHE 的「只写工作区 + 只读校验器」是目前最干净的对策，成本是把可编辑面收窄。
多样性坍缩。 进化与 RL 都倾向开采已知高回报模式，开放式研究里最优路径起初往往在当前评估器下显得更差。不维护群体多样性，几轮之后满盘同款。
负结果。 文献和训练数据都偏向成功案例，模型不擅长放弃假设、报告负结果、承认失败。研究型 harness 应该让失败的尝试易于保留，从失败中裁剪搜索空间是性价比最高的学习。
另外给 SIA（2026）一个读法：它和 Continual Harness（2026）代表「harness 与权重同环更新」的方向，但 Weng 亲手标注了保留意见，实验里任务智能体（gpt-oss-120b）远弱于元层与反馈层（Claude Sonnet 4.6），基线弱到无法交叉对照。方向有趣，证据初步。读这类论文时，混杂变量的提醒往往比结论本身更有用。
给实践者的五条
- 先把 harness 当代码管起来。 版本库、评审、diff，这是后续一切自动化的地板。连变更历史都没有，谈不上让系统自己变好。
- 所有 agent 产物落盘。 执行记录、日志、状态，聊天上下文里的东西等于不存在。
- 可编辑面显式化。 哪些组件能改（提示词、工具描述、技能、子智能体配置），哪些只读（校验器、tracer、模型配置），写进文件系统，别停留在口头约定。
- 每条编辑带证据清单和预测。 下一轮可证伪，拒绝的提案记日志，知识不随拒绝消失。
- 评估器、权限控制、回归集放在进化回路之外。 在要紧的决策点保留人的评审；人应该上移到更高的抽象层，而不是被移出回路。
结论
Weng 这篇文章的价值不在预言 RSI 何时到来，而在给了一条能落地的判据：看一个自我改进系统，先看它的优化对象站在第几级台阶，再看它的评估器站在回路里面还是外面。我们的实践与这张路线图的吻合程度超出预期，文件即记忆、后台舰队、技能体检都在台阶上找到了位置；缺的一块也很明确，把人肉评审升级成带验证门的闭环。下一步的工程动作随之清楚：harness 代码全量进版本库，编辑记录补成证据清单，回归集独立于产线维护。harness 会自己变好，前提是先让它可以被诚实地说清楚。
参考资料
- Lilian Weng — Harness Engineering for Self-Improvement（2026-07-04）
- Zelikman et al. — Self-Taught Optimizer (STOP): Recursively Self-Improving Code Generation（arXiv:2310.02304，2023）
- Zhang et al. — Agentic Context Engineering (ACE)（arXiv:2510.04618，2025）
- Ye et al. — Meta Context Engineering via Agentic Skill Evolution（arXiv:2601.21557，2026）
- Lee et al. — Meta-Harness: End-to-End Optimization of Model Harnesses（arXiv:2603.28052，2026）
- Zhang et al. — Self-Harness: Harnesses That Improve Themselves（arXiv:2606.09498，2026）
- Lin et al. — Harness Updating Is Not Harness Benefit（arXiv:2605.30621，2026）
- Lin et al. — Agentic Harness Engineering (AHE)（arXiv:2604.25850，2026）
- Novikov et al. — AlphaEvolve（arXiv:2506.13131，2025）
- Zhang et al. — Darwin Gödel Machine（arXiv:2505.22954，2025）
- Hu et al. — Automated Design of Agentic Systems (ADAS)（arXiv:2408.08435，2025）
- Zhang et al. — AFlow: Automating Agentic Workflow Generation（arXiv:2410.10762，2025）
- Fernando et al. — Promptbreeder（arXiv:2309.16797，2023）
- Kulikov et al. — Autodata（arXiv:2606.25996，2026）
- Hebbar et al. — SIA: Self Improving AI with Harness & Weight Updates（arXiv:2605.27276，2026）
- 本站 — Harness Engineering：2026 年构建可靠 AI Agent 完全指南
- 本站 — 大厂 Agent Harness 开源之战
- 本站 — Harness 工程与 Loop 工程
- 本站 — Hermes Agent v0.18 深度解析