午睡做梦的第一个场景见附图1,大概是现在还没丝滑体验过 K3 的怨念形成的。
第二个场景是类似围棋棋盘格,格点上的一枚棋子相当于 Agent 自身,而格点是容量上限为 1K 骰垦的“工作记忆”,Agent 可以调整自己的记忆焦距n∈(0,1],可访问半径 r=1/n。也就是说最专注的时候只能看到上下左右加自己5个格点的记忆。
Agent 可以根据工作场景需求去调节自己的专注度,或是通过“移动”的方式获取其他记忆文本。又或是委派子 Agent (新落子)去操作工作记忆。
梦里也就做到这种模糊的概念,并未思考这改善了什么,劣化了什么。往后就跑偏了,甚至还引入了 Erdos 单位距离猜想来构建这个工作记忆的棋盘格。
醒来后想了下这虽然不太完善,但可能是某种提升 Agent 工作注意力的思路,Agent 对记忆操作的步数会变多,提高超长时间工作的上下文稳定性。不过,这对 KV Cache 来说可能是灾难,除非,KV Cache 也做对应工作记忆棋盘格的寻址?
以后可能会在缓存命中率(费用)和工作时长及质量上做一些取舍。也有可能这件事已经在被研究了。(这块最近没怎么看新动态)
前两个月看到《OpenAI 模型推翻了离散几何领域的核心猜想》的时候就在想,这个 GPT 找出来的反例会不会反哺 LLM 模型或 Agent 设计的发展。梦的后半大概由这种想要 USE 的执念而来的。
参考文章:h__ps://openai.com/zh-Hans-CN/index/model-disproves-discrete-geometry-conjecture
