威斯康星大学麦迪逊分校博士生。研究测试时训练、高效模型架构与长上下文记忆。
开源软件、模型与工具。
根据输入的上下文、问题和候选决策,直接输出类型明确的概率。项目包含已训练模型、评测数据及交互式工作台。
项目主页 · 代码库 · 最新版本演示
Hugging Face 数据集: v1.1 · 原始版本
Hugging Face 模型 checkpoint: 2B · 9B · 27B v1.1
面向自回归模型的 KV 缓存压缩、检索与卸载方法统一代码库。包含 PyramidKV 的参考实现,以及 LongBench、RULER 和大海捞针检索的评测工具。
GitHub · PyramidKV 研究介绍