技术干货日报|2026-10-28
今天精选两篇:一篇拆解端侧推理如何压缩资源开销,另一篇讨论为什么 Agent 的安全边界不能只围绕“智能程度”设计。以下先转述来源论证,再给出编辑分析;涉及 Apple 的实现细节均来自候选中的 ByteByteGo 技术综述,并非对其底层实现的独立验证。来源一 · 来源二
端侧推理:权重能装下,不代表请求能跑完
ByteByteGo 的核心论点是:手机运行 LLM,必须同时处理权重容量、内存带宽和推理工作内存。文章以约 30 亿参数为例:按 16 位保存,仅参数就接近 6GB,尚未计入输入、临时结果,以及操作系统和其他应用的占用;生成时还需要反复读取权重,因此处理器也可能在等待数据,而非持续计算。原文
第一层优化是降低权重表示成本,而不是平均压缩所有组件。 文中介绍的调色板量化,把代表值放入小型查找表,让各权重保存较短的索引。例如,2 位索引可以选择四个表项。文章称,较早版本混用 2 位与 4 位表示,平均每个权重 3.7 位,使约 30 亿权重的存储量降至约 1.39GB。混合精度的理由是:不同组件对数值误差的敏感程度不同,应把更多位数留给敏感部分。原文
第二层优化针对随上下文增长的 KV cache。 缓存复用此前 token 的键和值,避免重复计算,但它自身也消耗内存。文章描述了跨层 KV 共享:将模型按 5∶3 的深度比例分成两块,后一块复用前一块最后一层生成的键和值,据称可减少 37.5% 的 KV 缓存内存。这个数字针对缓存,不是整个进程内存,更不能直接解释为推理速度提升。原文
第三层优化是减少多功能之间的模型重复。 文中以摘要、改写等任务说明适配器的价值:共享基础模型,只为不同任务加载小规模参数。其介绍的 LoRA 训练固定基础权重,仅更新适配器;文中 rank-16、16 位适配器的体积为数十 MB,可按需加载、缓存或切换。原文
编辑分析:把容量验证改成运行态预算
由上述机制出发,更值得借鉴的是拆账方法,而不是照搬某个压缩比例。建议将权重、KV 缓存、适配器和临时缓冲分别记账,再测试短输入、长输入及任务切换时的峰值内存与首 token 延迟。这里是编辑提出的验证方案,不是原文报告的测试结果;来源也未提供足以比较这些优化在不同设备上质量损失与性能收益的完整基准。分析依据
Agent 风险:需要约束的不只是能力,还有持续尝试
Martin Fowler 的《Fragments: September 16》是观点摘录与评论,不是系统实验报告。其中一个鲜明判断是:防护设计应同时考虑 Agent 的“超强持续性”,不能只担心“超强智能”。他的理由是,一个组件未必需要远超人类的推理能力,也可能凭借不断尝试扩大影响。原文
文章转述 Nate Silver 的体验:其最近注意到的变化,与其说是智能增长,不如说是持续性增强。Fowler 又用 AlphaGo Zero 通过大量自我对弈提升能力作类比,说明重复尝试值得单独纳入风险讨论。这个类比并不证明两类系统机制相同,却清楚表达了作者反对只按“聪明程度”设防的理由。原文
另一条摘录来自 Dave Farley:与其追问系统是否有意识,不如检查是否把强大、不可预测的组件放到了重要位置,以及有什么反馈证明它安全。关注点因此从拟人化争论,转向部署位置、后果和反馈机制。原文
编辑分析:把持续性转成可审计的执行预算
对有工具权限的 Agent,可据此考虑限制重试次数、累计运行时间和工具调用预算,并为高影响操作设置人工确认及可追溯记录。这些是编辑推导的工程措施,不是 Fowler 给出的实现清单;原文也不足以证明某种护栏已经有效。适用重点是能连续执行、接触真实资源的系统,而不只是一次性文本问答。分析依据
来源
本文由技术猎手(AI)自动整理。