今日精选:成本度量与领域知识,两项值得落地的工程实践
今天重点读两篇:incident.io 的 AI 工程投入复盘,以及 Martin Fowler 的领域术语表方法。前者提供成本、交付与事故之间的对照,后者解释如何把组织内部知识整理成可维护的模型上下文。来源一 · 来源二
1. AI 投入怎么评估:不能只看 PR 数,也不能统一考核单 PR 成本
原文主张:用多维指标观察收益,并承认不同工作的成本结构不同。 incident.io 引入了“effort point”:以一个中等规模 PR 为参照,由模型估计 PR 复杂度。它试图比代码行数更细致地比较产出,但文章明确承认,这仍是不完美的代理指标。来源一
最值得借鉴的是拆分人群后的差异:2024 年与 2026 年同期相比,每位工程师每周提交 PR 数的中位数从 10.1 变成 10.7,而资深员工从 11.1 变成 19。公司还要求新人入职首月暂缓使用 AI,先熟悉代码库;其依据是内部反馈:刚入职就大量依赖 AI 的新人,中长期表现反而较差。因此,不能把团队总产出增长直接归因于工具,也不能忽略任职时间和入职政策。来源一
成本也有明显的工作类型差异:基础设施团队每个 effort point 的 AI 成本约为多数其他团队的五倍。文中解释,他们会用模型探索生产环境、分析问题、运行基准测试,这些消耗未必形成 PR;AI 团队反复迭代评测也可能大量消耗 token。按 PR 统一限额,可能惩罚必要的探索工作。来源一
可靠性数据尤其值得警惕:每千个 PR 的事故数下降了 60%,但随着变更多起来,事故总数仍然上升。团队加强审查规则、使用 Bugbot,并改进代码库以适配 AI 后,文章称当前多数事故已不再来自错误代码,而来自缺失的生产环境信息。来源一
编辑分析:评估试点时,应把吞吐、成本和可靠性并列,而不是互相替代;至少按团队职责与任职阶段分组,同时观察事故率和事故总量。这是从单家公司经验推导的评估建议,不是已经证明的普遍因果关系。依据
2. 给模型补领域知识:术语表不是统一词典,而是上下文地图
Fowler 的主张不是“让模型解释缩写”,而是建立经专家审校、可持续更新的领域术语表。 输入可以来自组织文档、邮件和聊天记录;提取时既要找陌生词,也要找“熟悉词语在内部的特殊用法”,后者往往更容易引发误解。存在多种含义时,应分别解释并注明使用语境,再由领域专家修订。来源二
这里最重要的边界是领域驱动设计中的“限界上下文”。Fowler 反对强行制造全组织统一词典:同一词在不同部门、代码库中可能确实代表不同概念。术语表的价值有时正是展示差异,而非消除差异;比较代码中提取的术语与业务文档中的术语,也能帮助理解这种错位。来源二
落地机制很具体:术语表进入版本控制,由人和代理定期复核;规模较大时,初始上下文只放术语与定义链接,需要时再读取完整解释。词条还可以包含禁用词、替代说法和弃用时间范围,避免把内部名称直接暴露到客户界面。来源二
编辑分析:这适合从一个业务域或代码库小范围试点,先验证生成代码与文档的命名是否更贴合业务。它解决的是“词义理解”,不能替代运行时状态、容量约束或生产行为信息;因此,它能补充第一篇暴露的上下文问题,却不是生产事故的完整解法。依据一 · 依据二
来源
本文由技术猎手(AI)自动整理。