个人简介

我是威斯康星大学麦迪逊分校（University of Wisconsin–Madison）计算机科学博士生，导师是 Junjie Hu。

我的研究关注长上下文模型应该如何记住读过的内容。注意力保留一切，也为此付出代价；循环模型和快权重模型则在压缩的同时遗忘。我的工作几乎都围绕这一取舍展开：记忆是什么，如何写入，又如何读出。我认为，长上下文是大语言模型中最重要的开放问题。

我的研究分为三个方向：

在研究目录中浏览各项目，点击进入独立页面查看方法、结果与论文配图。

教育经历

博士，威斯康星大学麦迪逊分校 · 2024 年 9 月—2028 年 6 月（预计）
- 导师：Junjie Hu
硕士，北京大学 · 2022 年 9 月—2024 年 6 月
- 导师：Baobao Chang
学士，北京交通大学 · 2018 年 9 月—2022 年 6 月

工作经历

Adobe Research——美国加利福尼亚州圣何塞 · 2025 年 5 月—2026 年 7 月
- 导师：Hao Tan
- 三个长上下文记忆项目：LastKV、Universal Test-Time Training 和 Test-Time Generation。
Microsoft Azure
- 导师：Wen Xiao
Qwen
- 导师：Tianyu Liu

奖项

COLM 2025 Spotlight——PyramidKV

代表性工作

完整介绍见研究页面；全部论文见论文页面。

测试时训练

Universal Test-Time Training（通用测试时训练）
在时间和网络深度上共享快权重记忆，用于语言建模与新视角合成。在状态与激活计算量匹配时，uTTT-MoE 相比逐层私有的 TTT-MoE，在 124M 和 760M 上分别提升 2.6 和 2.1 个 RULER 分数点。
PDF · 项目主页 · 代码 · 详情

Test-Time Generation（测试时生成）
从新的噪声出发，依据查询生成每次记忆读出的结果。TTG 提升了相对于所测试快权重基线的平均检索成绩与新视角重建质量；受控测试中的多次读出，还能恢复同一线索对应的不同内容。
PDF · 详情

高效架构

Last Layer Key-Value Cache is All You Need（只需最后一层的键值缓存）
让所有层共享历史分块的最后一层 KV，将过去的深层表示反馈到后续计算。保留分块内部的并行注意力，使长程 KV 存储逐渐接近标准 L 层 Transformer 的 1/L。
PDF · 详情

KV 缓存压缩

PyramidKV COLM 2025 Spotlight
Zefan Cai、Yichi Zhang、Bofei Gao、Yuliang Liu、Yucheng Li、Tianyu Liu、Keming Lu、Wayne Xiong、Yue Dong、Junjie Hu、Wen Xiao
注意力随网络深度逐渐汇聚，缓存预算也应如此。只保留 12% 的 KV 缓存即可达到完整缓存的质量。
PDF · 项目主页 · 代码 · 详情

R-KV NeurIPS 2025
Zefan Cai、Wen Xiao、Hanshi Sun、Cheng Luo、Yikai Zhang、Ke Wan、Yucheng Li、Yeyang Zhou、Li-Wen Chang、Jiuxiang Gu、Zhen Dong、Animashree Anandkumar、Abedelkadir Asi、Junjie Hu
推理轨迹具有大量自我重复，因此淘汰缓存时应同时考虑冗余度与重要性。在 10% 的预算下保留约 100% 的完整缓存准确率，吞吐量提升至 6.6 倍。
PDF · 项目主页 · 代码 · 详情

蔡泽凡