主动提示

思维链 (CoT) 方法依赖于一组固定的人工标注示例。这样做的问题在于，这些示例可能不是针对不同任务最有效的示例。为了解决这个问题，Diao et al., (2023) （在新标签页中打开）最近提出了一种新的提示方法，称为主动提示 (Active-Prompt)，旨在使 LLM 适应不同任务的特定示例提示（使用人工设计的 CoT 推理进行标注）。

下面是该方法的图示。第一步是使用少量 CoT 示例或不使用示例来查询 LLM。针对一组训练问题生成 k 个可能的答案。根据这 k 个答案计算不确定性指标（使用分歧度）。选择不确定性最高的那些问题由人工进行标注。然后，新标注的示例被用于推断每个问题。