页面归档

个人简介

威斯康星大学麦迪逊分校博士生，研究测试时训练、高效大语言模型架构与长上下文记忆。

ALSACE：通过教师语言选择与跨语言自蒸馏缓解多语言预训练语言模型的语言间性能差异

博客

按分类归档

按合集归档

大语言模型的组合式任务表示

简历

Delta Attention Residuals（增量注意力残差）

DialogVCS：对话系统升级中的鲁棒自然语言理解

DiffCap：探索用于图像描述的连续扩散

HeadInfer：通过按注意力头卸载实现内存高效的大语言模型推理

HeadKV：融合检索与推理的注意力头级 KV 缓存压缩

通过思维链实现人在回路中的参与

Last Layer Key-Value Cache is All You Need（只需最后一层的键值缓存）

MENTOR：具有均衡多模态控制能力的高效自回归图像生成

ML-Bench：评估大语言模型与智能体在代码仓库级机器学习任务中的表现

MMGR：多模态生成式推理基准与评估

MMICL：通过多模态上下文学习增强视觉语言模型

Multi-Head Attention Residuals（多头注意力残差）

页面归档

项目

论文

PyramidKV：基于金字塔式信息汇聚的动态 KV 缓存压缩

R-KV：感知冗余的推理模型 KV 缓存压缩

研究

SANTA：针对远程监督命名实体识别中不准确与不完整标注噪声的独立策略

站点地图

按标签归档

Test-Time Generation（测试时生成）

Test-Time Training with Next-Token Prediction（利用下一词元预测进行测试时训练）

Universal Test-Time Training（通用测试时训练）

VeCAF：感知训练目标的视觉语言协同主动微调

从偏好到偏见：对齐微调如何塑造视频扩散模型中的社会偏见

按年份归档

提升零样本事件检测中的事件定义遵循能力