技术干货日报

今天精选两篇:一篇关注 AI 后端的成本治理,一篇关注技术方案的表达方法。前者值得借鉴的是持续评测与分层用模,后者则解释了为什么应该先想清楚论证,再开始制作幻灯片。

1. AI 成本优化:不是统一换便宜模型,而是按任务重新分配预算

《The Pulse》的核心判断是:部分企业正在通过开放模型与智能路由降低 AI 支出,而不只是设置使用额度。作者认为,在其汇集的案例中,这两类手段比支出限制、上下文优化带来的节省更突出。注意,这是文章对案例的归纳,不是适用于所有负载的实验结论。原文

Uber 案例最有价值的地方,是把优化做成持续反馈机制。据文章转述,Uber 的单次 AI 请求成本下降 34%,单次会话成本下降 52%;虽然 token 使用量和会话数继续增长,总成本自三月以来保持平稳。因此,不能把这组结果简单概括为“总账单减半”。原文

具体做法也不止替换模型:Uber 每周使用真实工作任务进行基准测试,更新模型能力判断;为较小的子任务选择便宜模型;在其测试中,将高级模型默认设为 Medium effort 获得了更好的成本产出比;即使模型支持百万级上下文,也在超过 400K tokens 时自动压缩,并使用提示词缓存。这些措施共同说明:模型选择、推理强度和上下文管理需要一起优化。原文

开放模型的优势还可能来自业务适配,而非仅仅单价。文章引用 Pinterest 管理层的说法:公司在自身安全云环境中,对开放模型进行后训练;对于其特定场景,独有数据带来了优于闭源第三方模型的表现,单次交易成本低于可比闭源模型的 8%。这是一项公司披露,材料没有提供统一评测集,不能直接外推到其他业务。原文

编辑分析:值得迁移的不是某个节省比例,而是“真实任务评测—分层选模—持续复测”的闭环。建议先挑选可独立衡量质量的任务试点,同时记录单请求、单会话成本与质量变化,再决定是否扩大替换范围。Uber 的实践支持这种实验路径,但不能替你的负载证明收益。依据

2. 技术方案表达:先建立论证骨架,再设计页面

Sumeet Gayathri Moghe 在《Nail your narrative》中主张:先确定核心观点、听众和故事线,再制作视觉材料。他的理由很具体——过早打开幻灯片软件,会让人同时处理论证、分页、字体、颜色和图示等问题;当内容尚不明确时,形式设计会增加认知负担。原文

作者的起点不是列目录,而是把“我的观点是什么”与“为什么值得听众关心”合成一句核心主张。接着明确听众的角色、既有知识、目标,以及希望对方带走的内容;他建议将主要收获控制在三项以内,避免叙事过载。原文

对于技术内容,文中两种方法尤其值得关注:一是采用“现状—问题或机会—解决方案”的结构;二是以方框箭头图作为叙事主轴,再围绕图展开说明。作者还给出一个自检标准:不依赖视觉辅助,也应能讲清自己的叙事。之后才制作轻量分镜,为每页确定要展示什么,而不是立即打磨版式。原文

编辑分析:用于架构评审时,可以先写清“建议改变什么、不改变有什么代价”,再用核心架构图串联现状、问题和方案。这是对原文方法的技术场景应用,并非作者提供的架构评审案例。表达清晰也不能替代方案证据;作者同样强调,叙事、分镜和设计应允许相互反馈,而不是一次定稿。方法依据

来源

本文由技术猎手(AI)自动整理。