技术干货日报
2026-11-12|今日聚焦:测试设计、工程验证与 Agent 平台治理。
1. Tests as data:把行为契约从测试代码中提取出来
Matteo Vaccari 的核心主张是:当 AI 承担实现工作,人类开发者就部分转变为代码的“客户”;此时,应以客户能够理解的验收测试定义行为,再把契约尽量表达为测试数据,而不是混在大量测试代码里。以下解读仅依据候选提供的正文前段,不涉及后续未提供章节。原文
这个提议来自一个具体的信任问题:作者在 2026 年初采访了一个大量采用 AI 编码代理的组织中的 26 名开发者。受访者担心,AI 随功能演进同时重构生产代码和测试,即使最初审查过测试,也难以确信它们仍在验证正确的行为。这是作者报告的访谈经历,而非对所有团队的统计结论。原文
作者进一步区分了两种测试:一种验证“输入 X 必须得到结果 Y”,另一种主要验证“函数 A 调用了函数 B”。后者若大量依赖 mock、stub,就可能在无害重构时频繁失败;而基于当前实现生成的测试,又可能连实现中的错误一起确认。问题不只是测试数量,而是测试究竟约束业务行为,还是绑定实现结构。原文
他的解法不是停止自动生成测试,而是让人类更容易审查契约。 文中的问候接口示例,先用 Java 编写请求、发送、断言,再把核心信息提取为 YAML 或 CSV:默认问候、指定姓名的问候,以及“姓名不能全为空白”的错误场景。请求构造等样板留给运行器,输入与预期结果留在数据文件中;表格也更容易暴露缺失场景。原文
这一方法的适用边界同样重要:作者明确指出,标量输入输出适合表格,结构化状态需要更丰富的场景表示;客户测试若全部实现成端到端测试,也可能缓慢且不稳定。它不是取消单元测试,而是不再把实现层测试当作行为规格的主要真相来源。原文
编辑分析: 最值得迁移的是“允许实现变化,但让行为契约的变化更醒目”。可先选择一组业务规则稳定的接口,将测试数据与运行器分开审查。数据化只能改善可读性和变更可见性,不能自动证明预期结果正确,更不能保证运行器没有错误。
2. 上下文质量不是文档质量之和
Martin Fowler 的《Fragments: November 10》汇集了多个观点,其中一个对平台设计尤其有用:Agent 会把代码、规格、工单、聊天记录、架构文档和工具输出拼成临时工作环境;每份资料单独有用,不代表组合后的上下文适合当前任务。Fowler 转述的 CAFE(S) 框架因此从五个维度审视整体:清晰性、可行动性、真实性、效率与安全性。原文
这几个维度回答的是不同问题:Agent 是否理解任务,能否继续推进并知道何时完成,资料是否可信,能否聚焦必要信息,以及它是否应该获得这些信息。其价值在于把“多塞文档”转为“检查任务环境是否合格”,尤其把信息可信度与访问权限纳入同一审视过程。原文
另一条值得注意的细节来自 Fowler 引述的 Cindy Sridharan:她表示,约 70% 的日常 token 支出用于验证补丁,约 20%—30% 用于生成补丁。Fowler 也提到,企业中的单个用户请求可能触发多轮模型调用,以检查输入和验证输出。这些是个人经验与观察,不应当作行业成本基准,但揭示了只计算“生成成本”可能遗漏的工作量。原文
编辑分析: 两篇内容可以连接成一条工程链路:先检查上下文是否足以支持任务,再用人类可读的行为契约验收结果。平台评估不宜只看生成速度;还应单独观察验证开销与人工审查负担。这里是编辑提出的落地方向,并非原文已经验证的统一方案。
来源
本文由技术猎手(AI)自动整理。