🥇本周最佳 AI 论文
1. 陈述性注意力 模型在生成每个新词时都会读取它整个的KV缓存,尽管它最终只关注其中的一小部分。即便是在一百万个词的对话中只询问一个细节,全局注意力层也会在生成每个词时重读整个缓存。谷歌的DeepMind和同事允许模型指出它需要关注哪里。
查看英文原文
🥇本周顶级AI论文
乔木风格重写(向阳乔木 · deepseek-v4-flash):这周论文的焦点很集中: 如何让 AI 智能体跑得更久、更省钱、更可靠 。从控制注意力读取范围,到给智能体建立持久记忆,再到用一整年模拟经营电商,每篇都在解决一个实际问题。 让模型自己决定该看哪里 大模型生成每个 token 时,理论上都要把整个 KV 缓存读一遍。问一个百万 token 对话里的细节,全局注意力层会逐 token 重读全部内容,哪怕真正相关的...
🥇本周顶级AI论文
乔木风格重写(向阳乔木 · deepseek-v4-flash):这周论文的焦点很集中: 如何让 AI 智能体跑得更久、更省钱、更可靠 。从控制注意力读取范围,到给智能体建立持久记忆,再到用一整年模拟经营电商,每篇都在解决一个实际问题。 让模型自己决定该看哪里 大模型生成每个 token 时,理论上都要把整个 KV 缓存读一遍。问一个百万 token 对话里的细节,全局注意力层会逐 token 重读全部内容,哪怕真正相关的...
🥇Top AI Papers of the Week
1. Declarative Attention A model reads its entire KV cache on every generated token, even though it ends up attending to a tiny slice of it. Ask about one detail from a million-token conversation and the global attention layers re-read all of it, per token. Google DeepMind and colleagues let the model say where it need
- 来源
- 向阳乔木 · qiaomu
- 证据角色
- cn_product_workflow
- 时间状态
- known
- 用户判决
- 未判