通过思维链实现人在回路中的参与

← 全部研究

推理与智能体

预印本 2023 · PDF

把人工注意力用在需要修复的推理步骤上。 人工纠错系统 MCS 采样多条思维链，根据多样性熵对问题排序，筛选不确定的样例供人审查。人可以修改、添加或删除错误的子步骤，模型随后基于修正后的推理生成答案。

论文同时提出成本效用模型 CAMLOP，衡量准确率和用户满意度提升与时间、金钱成本之间的关系。人工参与的比例因此成为系统设计的一部分，研究也讨论何时值得纠正一小段推理。

实验采用 GPT-3 text-davinci-002，覆盖 12 个算术、常识与符号推理数据集。在论文报告的人工干预阈值下，MCS 在 GSM8K 上取得 61.56% 的准确率，思维链提示为 56.48%。这是包含人工纠错的系统结果，收益需要结合纠错工作量及论文的成本假设理解。