大语言模型的组合式任务表示
ICLR 2023 （海报） · PDF · 代码 · 海报
通过重新组合已学到的任务代码来表示新任务。 组合式任务表示（CTR）在多任务训练中学习离散码本，以多个代码嵌入的组合表示任务，并用它们作为语言模型的条件。
面对未见任务，CTR 搜索已学代码的新组合。Code Ensemble 在无标签设置下利用任务输入的伪标签；Bitwise Search 使用少量已标注示例改进候选代码。公开实现提供训练代码、处理后的任务数据和模型检查点。
论文在其评测中报告了优于提示方法的平均无标签任务性能，并分析部分代码是否具有可解释、可控制的作用。这些比较对应论文的多任务训练与未见任务评测设置。
资源
模型检查点: Checkpoints
海报
