自动提示工程师 (APE)

图片来源: Zhou 等人 (2022) （在新标签页中打开）

Zhou 等人 (2022) （在新标签页中打开） 提出了自动提示工程师 (APE)，这是一个用于自动指令生成和选择的框架。指令生成问题被框定为自然语言合成，使用 LLM 生成和搜索候选解决方案，将其作为黑盒优化问题来解决。

第一步是使用一个大型语言模型（作为推理模型），输入输出示例，为其生成针对特定任务的指令候选。这些候选方案将指导搜索过程。然后使用目标模型执行这些指令，并根据计算的评估分数选择最合适的指令。

APE 发现了一个比人工设计的“让我们一步一步思考”提示更好的零样本思维链提示 (Kojima 等人, 2022 （在新标签页中打开）)。

提示“让我们一步一步解决这个问题，以确保我们得到正确答案。”能引发思维链推理，并提高了在 MultiArith 和 GSM8K 基准上的性能。

图片来源: Zhou 等人 (2022) （在新标签页中打开）

这篇论文触及了一个与提示工程相关的重要主题：自动优化提示的想法。虽然本指南不深入探讨此主题，但如果您感兴趣，这里有几篇重要的论文：

• Prompt-OIRL （在新标签页中打开） - 提出了使用离线逆强化学习来生成依赖于查询的提示。
• OPRO （在新标签页中打开） - 引入了使用 LLM 优化提示的想法：让 LLM“深呼吸”可提高数学问题的性能。
• AutoPrompt （在新标签页中打开） - 提出了一种基于梯度引导搜索自动为各种任务创建提示的方法。
• Prefix Tuning （在新标签页中打开） - 一种轻量级的微调替代方案，它为 NLG 任务添加了一个可训练的连续前缀。
• Prompt Tuning （在新标签页中打开） - 提出了一种通过反向传播学习软提示的机制。