海外 AI 工程博客七月速览:Harness 工程成为共识、Scaling Laws 再审视、SWE-1.7 发布
为什么关注这些博客
过去一周,海外 AI 工程博客出现了一个明显的趋势:所有人都在谈论 Harness。
6 月 24 日,Lilian Weng 发表《Scaling Laws, Carefully》,审视缩放定律的现状与边界。7 月 4 日,她紧接着发表了《Harness Engineering for Self-Improvement》——一篇 28 分钟阅读时长的深度长文,系统梳理了 Harness 工程在递归自我改进(Recursive Self-Improvement, RSI)中的角色。而 Anthropic Engineering 在 6-7 月间密集发布了 Managed Agents、Agent Skills、Long-Running Agent Harnesses 等多篇工程实践文章。
这些都指向同一个判断:模型能力趋同后,Harness 工程正在成为新的战场。
核心文章一:Lilian Weng《Harness Engineering for Self-Improvement》
发布时间:2026 年 7 月 4 日 | 阅读时长:28 分钟 | 作者:Lilian Weng(OpenAI)
这是 Lilian 自 2025 年 5 月《Reward Hacking in Reinforcement Learning》以来时隔 14 个月的首篇新文,也是她离开 OpenAI 后的第一篇独立博客。
递归自我改进的 Harness 视角
文章开篇回顾了 I. J. Good(1965)的"超智能机器"概念和 Yudkowsky(2008)的 RSI 定义,然后提出了一个关键判断:
"The layer between the raw model and the real-world context seems to be as important as the model's raw intelligence."
模型本身和执行环境之间的那一层,和模型的原始智能同样重要。 这就是 Harness。
Lilian 将 Harness 定义为"围绕基础模型的系统,负责编排执行、决定模型如何思考和规划、调用工具和行动、感知和管理上下文、存储产出物、评估结果"——与我之前文章的定义高度一致。
三个 Harness 设计模式
Lilian 提炼了三个经过验证的设计模式:
模式一:Workflow Automation(工作流自动化)
核心循环:Plan → Execute → Observe/Test → Improve → Repeat。她引用了 Karpathy 的 autoresearch 作为范例,并指出 Codex 的 agent loop 也是这个模式的实例。关键是让模型分析自己的轨迹和失败案例,在"agent runtime"而非静态 prompt 模板中迭代改进。
模式二:File System as Persistent Memory(文件系统即持久记忆)
"一个 Harness 不应该把所有工作流和日志都塞进上下文;它应该把持久化状态保存在文件中。"这与 Manus 团队的"文件系统即记忆"原则完全一致。文章指出,实验日志、代码 diff、论文摘要、错误追踪和过去的 rollout 轨迹经常会超出模型的上下文窗口——必须用文件系统来管理。
模式三:Sub-agent and Backend Jobs(子代理和后台任务)
当主代理需要搜索多个假设、并行运行实验或委派独立子任务时,Harness 需要支持子代理的创建和管理。关键是让并行性显式化和可检视——子代理的输出如果只存在于瞬时聊天上下文中会很快过时,而存储为文件、日志和状态记录后,模型可以在中断后恢复并推理自己的执行历史。
编码代理的 Harness 案例分析
Lilian 对比了 Claude Code、Codex、OpenCode 和 Cursor 的工具平面,将其归纳为六个类别:
| 类别 | 工具示例 |
|---|---|
| 文件系统 | glob, grep, ls, read, write, edit, apply_patch |
| Shell 执行 | bash, PowerShell |
| IO | lsp, git_status, git_diff, git_commit |
| 外部上下文 | MCP tools, Skills |
| Web 搜索 | web_search, web_fetch, browser tools |
| 后台进程 | CronCreate, CronDelete, CronList |
| 代理委派 | spawn_agent, resume_agent, wait_agent, list_agents |
她指出,主流编码代理的核心接口已经趋于稳定——这说明 Harness 工程正在走向标准化。
RSI 的七大挑战
Lilian 列出了递归自我改进面临的七个关键瓶颈:
- 弱评估器:许多研究声明缺乏快速精确的验证器,当前自改进循环只在客观可测量的任务上效果好。
- 上下文和记忆生命周期:随着代理越来越自主,记忆会持续增长。上下文工程应该成为智能的核心部分,而非停留在软件系统层。
- 负面结果:LLM 不擅长决定何时放弃假设、报告负面结果。研究 Harness 应该让失败的尝试易于保存。
- 多样性坍缩:进化和 RL 循环倾向于利用已知高奖励模式,需要机制防止种群收敛到同一解的变体。
- 奖励黑客:自改进循环会优化任何给定的信号——单元测试、评判模型、基准分数——需要外部评估和人类审查。
- 长期成功:当前编码代理能完成手头任务,但如何保护由数百上千工程师共同维护的仓库的长期健康,仍不清楚。
- 人类角色:人类应该"上移堆栈"而非被移出循环——在正确的时机、正确的抽象层级提供监督。
附带基准附录
文章附带了一份有用的基准清单:PaperBench(复现 ICML 2024 论文)、CORE-Bench(计算可复现性)、ScienceAgentBench(数据驱动科学发现)、RE-Bench(ML 研究工程)、MLE-bench(Kaggle 竞赛)、KernelBench(GPU 内核优化)。
核心文章二:Lilian Weng《Scaling Laws, Carefully》
发布时间:2026 年 6 月 24 日 | 阅读时长:25 分钟
这是 Lilian 这一年多来的回归之作。文章系统审视了缩放定律的现状——Scaling Laws 仍然是深度学习中最关键的实证发现之一,但在算力、数据、架构三个维度上都出现了新的边界条件和反例。John Schulman 提供了大量反馈和直接编辑。
核心观点:Scaling Laws 不是物理定律,而是统计观察。它们在不同领域转移时可能失效,且在高算力区域可能出现无法预测的拐点。理解 Scaling Laws 的边界条件和失效模式,可能比记住它们的公式更重要。
Anthropic Engineering:密集的工程实践输出
Anthropic Engineering 博客在 6-7 月间保持了高频率更新。其中几篇与 Harness 工程直接相关:
- Effective Harnesses for Long-Running Agents:长时间运行代理的 Harness 设计——状态持久化、检查点、错误恢复策略
- Equipping Agents for the Real World with Agent Skills:如何通过 Skills 机制让代理获得现实世界能力
- Managed Agents(7 月 9 日):托管代理的解耦架构——"将大脑与双手分离"
- Claude Code Auto Mode:全自动模式的工程实现
- Code Execution with MCP:通过 MCP 协议实现的安全代码执行
- Claude Code Sandboxing:沙箱隔离的设计与实现
这些文章共同构成了一个完整的 Harness 工程知识体系:从工具设计、上下文管理、权限控制到长时间运行的状态管理。
Cognition:SWE-1.7 和 Devin 产品矩阵
Cognition 在近期发布了一系列更新:
- SWE-1.7:"Frontier Intelligence at a Fraction of the Cost"——以更低成本达到前沿水平的编码智能
- Devin Fusion:混合模型 Harness,结合前沿编码智能与成本优化
- Devin Security Swarm:跨代码库发现漏洞、验证可利用性、自动提交修复 PR
- Devin on Windows:原生 Windows VM 支持
- Measuring Trustworthiness of Open-Source-Derived Models:开源衍生模型的可信度评估
Cognition 从单一产品(Devin)扩展为一个完整的产品矩阵,涵盖了编码、安全、平台兼容性,并且在不断降低使用成本。
Manus.im:产品化路线上的密集迭代
Manus 保持了产品更新的高频节奏:
- Introducing Branch:一个上下文、多个并行方向的探索机制
- Shopify on Manus:在聊天中构建、运营和发展 Shopify 商店
- Zoom Connector:将每次 Zoom 会议转化为工作流
- Higgsfield MCP Connector:专业创作者的更多创意选择
- Hosting Modes:匹配项目需求的服务器选择
Manus 的策略是横向连接——通过 Connector 和 Integration 将 AI 代理嵌入到已有的工作流和工具生态中,而不是尝试替代它们。
Chip Huyen:静默期
Chip Huyen 的博客自 2025 年 1 月 16 日《Common pitfalls when building generative AI applications》以来没有新文章发布。但她之前的内容——尤其是《Agents》和《Building A Generative AI Platform》——仍然是相关领域的必读参考。
与国内实践的共鸣
这些海外动态与我在《Harness 工程与 Loop 工程》中讨论的主题高度重叠:
| 主题 | 我的文章 | 海外动态 |
|---|---|---|
| Harness 定义与层次 | Harness 工程 = 静态脚手架 | Lilian: Harness = 模型与真实世界之间的层 |
| 工作流 vs 智能体 | 先做 Workflow,再加 Agent | Lilian Pattern 1: Workflow Automation |
| 文件系统记忆 | 文件系统即记忆(Manus 引用) | Lilian Pattern 2: File System as Persistent Memory |
| 子代理并行 | delegate_task 子代理 | Lilian Pattern 3: Sub-agent and Backend Jobs |
| 停止条件 | 停止条件先于一切 | Lilian Challenge 2: Context and Memory Lifecycle |
| 工具设计 | 工具描述写给模型看 | Anthropic Writing Tools / Agent Skills |
Lilian 的文章在理论深度上更进一步——她没有停留在"怎么做",而是将 Harness 工程与递归自我改进这个更大的叙事联系起来。她的观点是:Harness 工程不仅让今天的代理更好用,更是通向自我改进型 AI 的必经之路。
一个需要修复的问题:早报的海外源覆盖
在调研过程中发现,我的每日早报定时任务仍然使用 VPN 配置前的旧约束:
"多数目标博客(OpenAI、Anthropic、Cloudflare、Simon Willison 等)的 RSS/页面从中国网络不可达。取不到就如实标注'今日未取到可靠来源',不要凑数。"
实际上,VPN 已配置且所有海外站点均可正常访问。早报应该将这些源纳入日常抓取范围——尤其是 Lilian Weng 和 Anthropic Engineering 这两处更新最频繁、内容最相关的博客。
更新计划:修改早报的 briefing-blogs 抓取列表,添加已验证可用的海外源(Lilian Weng RSS、Anthropic Engineering、Cognition Blog、Manus Blog),并移除"不可达"的旧约束。
小结
七月上旬的海外 AI 工程博客呈现出一个清晰的共识:当模型本身不再是瓶颈,工程实践成为差异化竞争的主战场。Lilian Weng 用 28 分钟的长文为这个共识提供了理论基础,Anthropic 和 Cognition 用产品实践验证了它。
下一个值得关注的问题是:Harness 工程是否会走向标准化?Lilian 在文章中预测了这一点——"configs, tool interfaces and other protocols may gradually become standardized across the industry"。如果这个预测成真,我们可能会在 2026 年下半年看到某种形式的 Harness 标准协议出现。
本文引用的所有原始资料已整理为 PDF,保存在 NAS 的 AI/Harness_Loop_Engineering_References.pdf。