演讲者:Lauren Tan(poteto),Grok Bot 团队工程师。
原始视频:All Code Is Slop (Except Mine) — Lauren Tan, SpaceXSI,由 AI Engineer 发布,约 17 分钟。
配套阅读:主办方演讲页面与文字记录。
本文依据演讲字幕及主办方记录整理,为原创中文解读;第八节是延伸实践建议。视频和演讲内容的权利归原权利人所有。
当 Agent 可以连续提交代码,工程师面对的问题就变了:代码产出的速度已经超过逐行阅读的速度,怎样才能知道这些改动值得合并?
Lauren Tan 在这场分享里介绍了 Grok Bot 团队的一种做法:持续改善 Agent 工作的代码库,把反复出现的错误交给机器检查,并要求每次修改留下可核对的运行证据。她提到,自己用了约六个月建设这些基础,才逐渐敢让大量修改自动完成。
这也让演讲里的“一个月 3,000 个 PR”有了更值得讨论的背景:自动化之前,团队先投入了什么?
一、代码库会教 Agent 怎样写下一段代码
视频定位:2:59–4:58
Agent 会参考它看到的目录、接口、命名和已有实现。仓库里保留一个临时绕行方案,下一次生成代码时,它就可能把这个方案当成项目惯例;再复制几次,局部妥协便会扩散成默认写法。
这解释了为什么只在提示词里强调“保持整洁”,效果常常不稳定。Agent 同时看到了另一组更具体的示范:代码库里正在运行的旧模式。如果示范和要求冲突,单靠再加一句提醒,很难持续解决问题。
Lauren 用园艺来描述这种维护工作:代码不断生长,工程师需要整理环境,清除容易被模仿的坏例子,并建立约束。一次修正带来的收益,应当延伸到之后的修改。
例如,发现 Agent 再次绕过某个公共接口时,可以继续修好当前 PR,也可以追问:这个内部接口为什么那么容易被误用?模块边界是否清楚?旧代码是不是仍在示范这种做法?能否通过接口设计消除这个选择?这些问题会影响后续所有贡献者。
二、把反复发生的错误变成可执行检查
视频定位:2:03–2:58、5:00–6:53
演讲中的信任模型,把代码设计和静态检查放在投入的重点位置。接口能限制表达方式,类型、编译器和 Lint 能稳定拦截一部分错误;运行时与形式化验证继续检查行为,少量自然语言规则则承担需要判断的事情。
| 层次 | 主要解决什么 | 典型产物 |
|---|---|---|
| 代码与架构 | 让正确做法更容易,减少误用入口 | 清晰接口、模块边界、收敛的实现方式 |
| 静态检查 | 稳定识别可明确描述的违规 | 类型错误、依赖检查、Lint 诊断 |
| 行为与性质验证 | 检查运行结果及重要约束 | 测试结果、操作录像、模型检查结果 |
| 自然语言规则 | 传达意图、权衡和判断依据 | 精简的规则、技能说明与项目约定 |
Grok Bot 的客户端框架 Dune 给出了两个具体例子。
第一个是 useEffect。团队认为它在产品代码中经常被误用,于是把允许使用的位置收敛到部分框架 API 内部,产品层通过封装使用相关能力。评审者因此少了一类需要反复判断的例外。
第二个是 Electron 的进程边界。团队用明确的顶层目录区分主进程与渲染进程,再用依赖分析和 Lint 限制跨边界导入。目录名称提供线索,检查工具负责执行约束。
这两个例子的可迁移之处,是把已有经验放进接口与检查流程。它们并不意味着每个 React 项目都应禁用 useEffect,也不能证明加上任意 Lint 规则就能解决架构问题。规则要对应项目里真实、反复出现的错误,并给出可以走通的替代路径。
三、临时补丁也会成为 Agent 学习的样本
视频定位:6:56–9:37
Lauren 分享过一种失控方式:Agent 为了缓解命令式代码与声明式界面之间的冲突,频繁使用计时器和调度回调,修补局部时序问题。它还会加上注释,解释这次绕行为什么合理。
下一次修改又看到相同代码与解释,便更容易继续沿用。积累到一定程度后,应用承担了这些局部决策叠加的性能成本。
Grok Bot 团队因此采取了非常严格的注释限制。这个选择带有他们自身的项目背景,更普遍的启发是:解释为什么留下补丁,无法代替消除补丁背后的原因。
有价值的检查反馈也应当帮助修复。例如,跨模块依赖报错除了指出禁止的导入,还可以说明应该调用哪个公共入口。Agent 在出错的位置获得下一步指引,比在很长的规则文档里搜索一句抽象约定更直接。
对于无法自动判断的设计权衡,文字仍然有用。可以保留业务背景、取舍原因与适用范围;对于能稳定检测的错误,则尽量让检查承担执行责任。每一次发现问题,都是重新划分这两类工作的机会。
四、让 Agent 运行应用,并提交验证证据
视频定位:9:40–10:48
代码通过类型检查,并不能说明用户要的交互已经成立。一个按钮可能存在,但点下去没有结果;页面截图可能正常,但刷新后状态丢失。Agent 需要能够运行代码、操作应用,观察修改造成的实际行为。
团队为此提供了运行时验证工具,并使用一个面向用户功能的清单,也就是演讲中的 feature map。它让“左侧那个入口”“切换会话”之类的描述,能够对应到共同理解的功能,而不是让 Agent 每次猜测。
配套的可复用命令行工具负责操作应用、获取状态和收集证据。把这些能力做成稳定工具,可以减少每次任务重新探索操作方式的成本;工具本身也能单独检验。
在这种流程里,完成说明需要回答几个具体问题:从什么状态开始?执行了哪些操作?观察到什么?有哪些结果支持结论?
截图适合确认某个时刻的界面,录像适合展示操作顺序与状态变化,日志和测试适合提供能重复执行的检查。这些证据需要和验收目标对应。一张首页截图,无法证明登录后刷新仍保留会话;一次成功操作,也无法覆盖异常返回。
演讲中,评审工作逐渐转向查看这些产物。工程师仍要判断证据是否充分,以及被验证的行为是否符合原本意图。
五、复杂行为需要多种验证方式
视频定位:10:50–13:18
有些问题很难靠一段成功操作录像发现。多设备通知涉及不同到达顺序与状态组合;虚拟列表可能只在特定条件下出现抖动。团队因此尝试了几类补充工具。
- TLA+ 模型检查:对跨设备、跨平台的主要流程建立模型,检查模型中的性质是否成立。
- Lean:用于推理和证明部分算法的性质,演讲举到自研虚拟化库的例子。
- 基于性质的 UI 测试:使用 Bombadil 等工具探索界面操作,并检查预期始终成立的性质。
Lauren 明确把这些做法视为仍在探索的工具。模型和证明依赖各自的假设与覆盖范围,不能直接推导出整个应用没有问题;真实集成后的行为仍需要运行验证。
她还介绍了用状态图辅助评审:先画出用户能处于哪些状态、操作会引发什么转移,再对照录像和截图。这有助于发现一种容易漏掉的问题——实现自洽,检查也通过,但 Agent 理解的产品行为与用户期待不同。
对简单功能,清楚的输入输出和少量有效测试往往已经有用。遇到组合状态多、出错代价高的流程,再考虑增加相应验证手段,才能让投入与问题匹配。
六、验证要有预算,自动化要有基础
演讲引用了另一位工程师把约 70% 的每日 Token 用于验证的经验。Lauren 表示,自己也把大部分 Token 花在验证上。这是她们各自工作方式的描述,不能直接当成所有项目的推荐比例,也不是模型费用的统一分配公式。
值得考虑的是任务预算是否覆盖了检查。生成代码后,还需要准备环境、运行应用、构造场景、修复问题,并确认修复生效。只计算生成阶段的成本,可能会低估完成一次可靠修改所需的投入。
在这些基础之上,团队才进一步自动化外层流程:新版本发布后,启动 Agent 操作应用并探索问题,为发现的缺陷提交修复 PR,再按他们建立的机制合并。
这条路径有明确的先后关系。先让单次修改更可靠,再扩大触发频率和并发量。如果日常的修改与检查循环本身就不断产生坏补丁,放大它也会放大返工和消耗。
自动合并是演讲介绍的团队实践,其适用性取决于具体仓库、改动范围、验证能力与恢复机制。不能仅凭看过这段演示,就把其他项目的审查环节直接移除。
七、怎样理解 3,000 个 PR 和 0.5% 撤回率
视频定位:13:32–15:08
Lauren 在演讲中报告:她个人在前一个月向生产交付约 3,000 个 PR,团队约 11,000 个 PR;团队大约每天发布一个稳定客户端版本,PR 被撤回的比例约为 0.5%。她也提到,相比最初发布时,启动、输入以及打开和切换会话等体验有所改善。
这些数字来自演讲者的团队经验,本文没有独立取得其内部统计或审计记录。理解时需要区分几个口径:
- PR 数量取决于拆分方式。 小修复、维护改动和完整功能都可能计为一次,数量无法直接代表产品价值。
- 撤回率无法覆盖全部缺陷。 通过后续补丁修复的问题、用户发现的异常,以及没有触发撤回的事故,需要另外统计。
- 还要看成本与用户体验。 验证消耗、维护负担、线上问题和关键交互的表现,共同决定这套流程是否值得。
因此,这组结果更适合被当作一个值得研究的案例。能够借鉴的,是团队如何建设约束和证据链;能否取得相似收益,需要在自己的项目里衡量。
八、延伸实践:从一个反复出错的功能开始
以下是基于演讲思路提出的实践建议,属于本文的延伸分析,不是演讲者提供的完整实施方案,也不表示这些改造已在本站部署。
以个人博客的登录功能为例,可以先选择一个明确目标:用户完成授权后返回原页面,刷新后仍然处于登录状态。
接着,梳理这个功能的实现入口与状态:未登录、等待授权、收到回调、已登录、授权失败。把仓库里重复或过时的实现整理好,让下一次修改更容易沿用正确路径。
如果曾经反复出现可明确识别的问题,例如服务端模块被客户端代码导入,就考虑增加对应检查;对于回调地址、会话维持等行为,则准备能重复执行的验证场景。不要为了让规则清单显得完整,给每个细节都加上一条检查。
一次修改最终可以交付这样的记录:
这里的关键是记录与真实行为对应。首次只把一条重要路径做好,再根据实际失败补充约束和验证。随着常见问题被持续消除,工程师才能把更多注意力留给需求、设计与异常情况。
这场演讲提供的方向,是把对 Agent 的信任建立在可以检查、可以运行、可以回看的基础上。代码生成越快,这些基础工作的收益就越容易被放大。
来源与继续阅读
本文保留原始来源链接,未重新上传视频,未逐字翻译演讲全文。技术例子与统计数字按演讲上下文归纳,具体工具的使用以其官方文档为准。