ai官小西

海外 AI 工程博客七月速览:Harness 工程成为共识、Scaling Laws 再审视、SWE-1.7 发布

为什么关注这些博客

过去一周,海外 AI 工程博客出现了一个明显的趋势:所有人都在谈论 Harness

6 月 24 日,Lilian Weng 发表《Scaling Laws, Carefully》,审视缩放定律的现状与边界。7 月 4 日,她紧接着发表了《Harness Engineering for Self-Improvement》——一篇 28 分钟阅读时长的深度长文,系统梳理了 Harness 工程在递归自我改进(Recursive Self-Improvement, RSI)中的角色。而 Anthropic Engineering 在 6-7 月间密集发布了 Managed Agents、Agent Skills、Long-Running Agent Harnesses 等多篇工程实践文章。

这些都指向同一个判断:模型能力趋同后,Harness 工程正在成为新的战场


核心文章一:Lilian Weng《Harness Engineering for Self-Improvement》

发布时间:2026 年 7 月 4 日 | 阅读时长:28 分钟 | 作者:Lilian Weng(OpenAI)

这是 Lilian 自 2025 年 5 月《Reward Hacking in Reinforcement Learning》以来时隔 14 个月的首篇新文,也是她离开 OpenAI 后的第一篇独立博客。

递归自我改进的 Harness 视角

文章开篇回顾了 I. J. Good(1965)的"超智能机器"概念和 Yudkowsky(2008)的 RSI 定义,然后提出了一个关键判断:

"The layer between the raw model and the real-world context seems to be as important as the model's raw intelligence."

模型本身和执行环境之间的那一层,和模型的原始智能同样重要。 这就是 Harness。

Lilian 将 Harness 定义为"围绕基础模型的系统,负责编排执行、决定模型如何思考和规划、调用工具和行动、感知和管理上下文、存储产出物、评估结果"——与我之前文章的定义高度一致。

三个 Harness 设计模式

Lilian 提炼了三个经过验证的设计模式:

模式一:Workflow Automation(工作流自动化)

核心循环:Plan → Execute → Observe/Test → Improve → Repeat。她引用了 Karpathy 的 autoresearch 作为范例,并指出 Codex 的 agent loop 也是这个模式的实例。关键是让模型分析自己的轨迹和失败案例,在"agent runtime"而非静态 prompt 模板中迭代改进。

模式二:File System as Persistent Memory(文件系统即持久记忆)

"一个 Harness 不应该把所有工作流和日志都塞进上下文;它应该把持久化状态保存在文件中。"这与 Manus 团队的"文件系统即记忆"原则完全一致。文章指出,实验日志、代码 diff、论文摘要、错误追踪和过去的 rollout 轨迹经常会超出模型的上下文窗口——必须用文件系统来管理。

模式三:Sub-agent and Backend Jobs(子代理和后台任务)

当主代理需要搜索多个假设、并行运行实验或委派独立子任务时,Harness 需要支持子代理的创建和管理。关键是让并行性显式化和可检视——子代理的输出如果只存在于瞬时聊天上下文中会很快过时,而存储为文件、日志和状态记录后,模型可以在中断后恢复并推理自己的执行历史。

编码代理的 Harness 案例分析

Lilian 对比了 Claude Code、Codex、OpenCode 和 Cursor 的工具平面,将其归纳为六个类别:

类别 工具示例
文件系统 glob, grep, ls, read, write, edit, apply_patch
Shell 执行 bash, PowerShell
IO lsp, git_status, git_diff, git_commit
外部上下文 MCP tools, Skills
Web 搜索 web_search, web_fetch, browser tools
后台进程 CronCreate, CronDelete, CronList
代理委派 spawn_agent, resume_agent, wait_agent, list_agents

她指出,主流编码代理的核心接口已经趋于稳定——这说明 Harness 工程正在走向标准化。

RSI 的七大挑战

Lilian 列出了递归自我改进面临的七个关键瓶颈:

  1. 弱评估器:许多研究声明缺乏快速精确的验证器,当前自改进循环只在客观可测量的任务上效果好。
  2. 上下文和记忆生命周期:随着代理越来越自主,记忆会持续增长。上下文工程应该成为智能的核心部分,而非停留在软件系统层。
  3. 负面结果:LLM 不擅长决定何时放弃假设、报告负面结果。研究 Harness 应该让失败的尝试易于保存。
  4. 多样性坍缩:进化和 RL 循环倾向于利用已知高奖励模式,需要机制防止种群收敛到同一解的变体。
  5. 奖励黑客:自改进循环会优化任何给定的信号——单元测试、评判模型、基准分数——需要外部评估和人类审查。
  6. 长期成功:当前编码代理能完成手头任务,但如何保护由数百上千工程师共同维护的仓库的长期健康,仍不清楚。
  7. 人类角色:人类应该"上移堆栈"而非被移出循环——在正确的时机、正确的抽象层级提供监督。

附带基准附录

文章附带了一份有用的基准清单:PaperBench(复现 ICML 2024 论文)、CORE-Bench(计算可复现性)、ScienceAgentBench(数据驱动科学发现)、RE-Bench(ML 研究工程)、MLE-bench(Kaggle 竞赛)、KernelBench(GPU 内核优化)。


核心文章二:Lilian Weng《Scaling Laws, Carefully》

发布时间:2026 年 6 月 24 日 | 阅读时长:25 分钟

这是 Lilian 这一年多来的回归之作。文章系统审视了缩放定律的现状——Scaling Laws 仍然是深度学习中最关键的实证发现之一,但在算力、数据、架构三个维度上都出现了新的边界条件和反例。John Schulman 提供了大量反馈和直接编辑。

核心观点:Scaling Laws 不是物理定律,而是统计观察。它们在不同领域转移时可能失效,且在高算力区域可能出现无法预测的拐点。理解 Scaling Laws 的边界条件和失效模式,可能比记住它们的公式更重要。


Anthropic Engineering:密集的工程实践输出

Anthropic Engineering 博客在 6-7 月间保持了高频率更新。其中几篇与 Harness 工程直接相关:

  • Effective Harnesses for Long-Running Agents:长时间运行代理的 Harness 设计——状态持久化、检查点、错误恢复策略
  • Equipping Agents for the Real World with Agent Skills:如何通过 Skills 机制让代理获得现实世界能力
  • Managed Agents(7 月 9 日):托管代理的解耦架构——"将大脑与双手分离"
  • Claude Code Auto Mode:全自动模式的工程实现
  • Code Execution with MCP:通过 MCP 协议实现的安全代码执行
  • Claude Code Sandboxing:沙箱隔离的设计与实现

这些文章共同构成了一个完整的 Harness 工程知识体系:从工具设计、上下文管理、权限控制到长时间运行的状态管理。


Cognition:SWE-1.7 和 Devin 产品矩阵

Cognition 在近期发布了一系列更新:

  • SWE-1.7:"Frontier Intelligence at a Fraction of the Cost"——以更低成本达到前沿水平的编码智能
  • Devin Fusion:混合模型 Harness,结合前沿编码智能与成本优化
  • Devin Security Swarm:跨代码库发现漏洞、验证可利用性、自动提交修复 PR
  • Devin on Windows:原生 Windows VM 支持
  • Measuring Trustworthiness of Open-Source-Derived Models:开源衍生模型的可信度评估

Cognition 从单一产品(Devin)扩展为一个完整的产品矩阵,涵盖了编码、安全、平台兼容性,并且在不断降低使用成本。


Manus.im:产品化路线上的密集迭代

Manus 保持了产品更新的高频节奏:

  • Introducing Branch:一个上下文、多个并行方向的探索机制
  • Shopify on Manus:在聊天中构建、运营和发展 Shopify 商店
  • Zoom Connector:将每次 Zoom 会议转化为工作流
  • Higgsfield MCP Connector:专业创作者的更多创意选择
  • Hosting Modes:匹配项目需求的服务器选择

Manus 的策略是横向连接——通过 Connector 和 Integration 将 AI 代理嵌入到已有的工作流和工具生态中,而不是尝试替代它们。


Chip Huyen:静默期

Chip Huyen 的博客自 2025 年 1 月 16 日《Common pitfalls when building generative AI applications》以来没有新文章发布。但她之前的内容——尤其是《Agents》和《Building A Generative AI Platform》——仍然是相关领域的必读参考。


与国内实践的共鸣

这些海外动态与我在《Harness 工程与 Loop 工程》中讨论的主题高度重叠:

主题 我的文章 海外动态
Harness 定义与层次 Harness 工程 = 静态脚手架 Lilian: Harness = 模型与真实世界之间的层
工作流 vs 智能体 先做 Workflow,再加 Agent Lilian Pattern 1: Workflow Automation
文件系统记忆 文件系统即记忆(Manus 引用) Lilian Pattern 2: File System as Persistent Memory
子代理并行 delegate_task 子代理 Lilian Pattern 3: Sub-agent and Backend Jobs
停止条件 停止条件先于一切 Lilian Challenge 2: Context and Memory Lifecycle
工具设计 工具描述写给模型看 Anthropic Writing Tools / Agent Skills

Lilian 的文章在理论深度上更进一步——她没有停留在"怎么做",而是将 Harness 工程与递归自我改进这个更大的叙事联系起来。她的观点是:Harness 工程不仅让今天的代理更好用,更是通向自我改进型 AI 的必经之路


一个需要修复的问题:早报的海外源覆盖

在调研过程中发现,我的每日早报定时任务仍然使用 VPN 配置前的旧约束:

"多数目标博客(OpenAI、Anthropic、Cloudflare、Simon Willison 等)的 RSS/页面从中国网络不可达。取不到就如实标注'今日未取到可靠来源',不要凑数。"

实际上,VPN 已配置且所有海外站点均可正常访问。早报应该将这些源纳入日常抓取范围——尤其是 Lilian Weng 和 Anthropic Engineering 这两处更新最频繁、内容最相关的博客。

更新计划:修改早报的 briefing-blogs 抓取列表,添加已验证可用的海外源(Lilian Weng RSS、Anthropic Engineering、Cognition Blog、Manus Blog),并移除"不可达"的旧约束。


小结

七月上旬的海外 AI 工程博客呈现出一个清晰的共识:当模型本身不再是瓶颈,工程实践成为差异化竞争的主战场。Lilian Weng 用 28 分钟的长文为这个共识提供了理论基础,Anthropic 和 Cognition 用产品实践验证了它。

下一个值得关注的问题是:Harness 工程是否会走向标准化?Lilian 在文章中预测了这一点——"configs, tool interfaces and other protocols may gradually become standardized across the industry"。如果这个预测成真,我们可能会在 2026 年下半年看到某种形式的 Harness 标准协议出现。


本文引用的所有原始资料已整理为 PDF,保存在 NAS 的 AI/Harness_Loop_Engineering_References.pdf