DialogVCS：对话系统升级中的鲁棒自然语言理解
NAACL 2024 （主会） · 长文 · PDF · 代码 · DialogVCS
在对话系统不断升级时保持意图理解的鲁棒性。 聊天机器人增加新功能后，新意图可能比既有意图更具体或更宽泛。同一请求因此可能符合多个意图，但累积训练数据往往只提供一个标签。DialogVCS 将这种不匹配明确建模为评测任务。
论文基于 ATIS、SNIPS、MultiWOZ 和 CrossWOZ 构造 四个版本控制数据集，把系统升级中的问题表示为存在“正例但未标注”意图的多标签分类，并评估处理假负标签、类别不平衡与语义重叠的基线。
在这些模拟升级中，考虑不完整标签的方法显著改善了对所有有效意图的识别。例如，使用 BERT-base、取五次运行中位数时，论文的 LS Focal loss 基线在 CrossWOZ-VCS 上达到 92.48 F1，基础分类器为 38.35。该基准聚焦系统升级中的语义重叠，覆盖范围并非所有生产环境下的对话分布变化。