自动推理和工具使用 (ART)
将 CoT 提示和工具以交错方式结合已被证明是一种强大而稳健的方法，可以解决 LLM 面临的许多任务。这些方法通常需要手工制作特定任务的示例，并精心编写模型生成与工具使用的交错脚本。Paranjape 等人（2023） (在新标签页中打开) 提出了一种新框架，该框架使用冻结的 LLM 自动生成作为程序的中间推理步骤。
ART 工作原理如下：
- 对于新任务，从任务库中选择多步推理和工具使用的示例
- 在测试时，当调用外部工具时，暂停生成，并在恢复生成前集成其输出
ART 鼓励模型通过示例进行泛化，从而以零样本的方式分解新任务并在适当的地方使用工具。此外，ART 是可扩展的，因为它还允许人类通过简单地更新任务和工具库来修正推理步骤中的错误或添加新工具。下图演示了该过程：
图片来源：Paranjape 等人（2023） (在新标签页中打开)
在 BigBench 和 MMLU 基准测试中，ART 在未见过的新任务上显著优于少样本提示和自动 CoT，并在融入人类反馈后超越了手工制作的 CoT 提示的性能。
下表展示了 ART 在 BigBench 和 MMLU 任务上的表现：
图片来源：Paranjape 等人（2023） (在新标签页中打开)
🎓
在我们的新 AI 课程中了解更多高级提示方法。立即加入！ (在新标签页中打开) 使用代码 PROMPTING20 额外享受八折优惠。