上下文预算工程:压缩、缓存与记忆不是同一件事
deep-dive / advanced将当前上下文、可恢复压缩、前缀缓存和长期记忆拆成四套语义,设计有预算、可撤销且不会把模型猜测永久化的状态系统。
8TAG / 02
按标签聚合的文章路径。标签用于横向连接主题,不替代四个稳定专题。
将当前上下文、可恢复压缩、前缀缓存和长期记忆拆成四套语义,设计有预算、可撤销且不会把模型猜测永久化的状态系统。
8用能力约束、离线评测、时效等级和真实 usage 设计模型路由,再把异步批处理与相同前缀缓存放到正确路径。
8