Test-Time Generation（测试时生成）
COLM 2026 ER Workshop (Spotlight) · PDF
通过生成来读取记忆。 紧凑记忆中，同一个查询可能对应多个合理的值。用平方损失训练的确定性读出，可能将它们平均成一个结果。Test-Time Generation（TTG）用加入噪声的键值样本学习记忆，再依据查询和已存储的快权重，从新的噪声出发生成每次读出的结果。读出期间记忆状态保持不变，在新上下文到来时更新。
在论文报告的 124M、760M 和 3B 模型系列中，TTG 在所比较的固定大小记忆模型里取得最高的 RULER 平均检索准确率。在完整 GSO 物体与 DL3DV 场景测试集上，平均重建 PSNR 从 LaCT 的 23.99 / 16.14 dB 提升到 24.93 / 16.59 dB；使用持续增长 KV 缓存的 Transformer 在这些重建基准上仍更强。
另一项受控测试为每个键存入两个值。在低和中等负载下，多次随机读出能够恢复两者，说明已存储的状态可以支持不同输出。最高测试负载下所有方法都失败；对于按单步读出训练的语言模型，增加读出步数没有改善结果。
