LLM 设置

在设计和测试提示时，通常通过 API 与 LLM 进行交互。你可以配置一些参数，以便让提示产生不同的结果。调整这些设置对于提高响应的可靠性和期望性非常重要，需要一些实验才能找到适用于你的用例的适当设置。以下是你使用不同的 LLM 提供商时会遇到的一些常见设置：

温度 (Temperature) - 简而言之，温度 (temperature) 越低，结果越具确定性，因为总是选择概率最高的下一个 token。提高温度会增加随机性，从而鼓励更多样化或更具创造性的输出。你本质上是在增加其他可能 token 的权重。在应用方面，你可能希望对事实型问答等任务使用较低的温度值，以鼓励更真实、更简洁的响应。对于诗歌生成或其他创造性任务，增加温度值可能是有益的。

Top P - 是一种与温度结合使用的采样技术，称为核采样 (nucleus sampling)，你可以控制模型的确定性程度。如果你正在寻找精确和事实性的答案，请保持较低的 Top P 值。如果你正在寻找更多样化的响应，请将其增加到更高的值。如果你使用 Top P，这意味着只有构成 top_p 概率质量的 token 才会被考虑用于响应，因此较低的 top_p 值会选择最可信的响应。这意味着较高的 top_p 值将使模型能够考虑更多可能的词，包括那些不太可能的词，从而产生更多样化的输出。

一般的建议是只调整温度或 Top P 中的一个，而不是同时调整两者。

最大长度 (Max Length) - 你可以通过调整 最大长度 (max length) 来管理模型生成的 token 数量。指定最大长度有助于防止生成过长或不相关的响应，并控制成本。

停止序列 (Stop Sequences) - 停止序列 (stop sequence) 是一个字符串，当模型生成该字符串时，就会停止生成 token。指定停止序列是控制模型响应长度和结构的另一种方式。例如，你可以通过将“11”添加为停止序列，来告诉模型生成不超过 10 个项目的列表。

频率惩罚 (Frequency Penalty) - 频率惩罚 (frequency penalty) 对下一个 token 应用一个惩罚，该惩罚与该 token 在响应和提示中已经出现的次数成比例。频率惩罚越高，一个词再次出现的可能性就越小。此设置通过对出现次数较多的 token 施加更高的惩罚来减少模型响应中词语的重复。

存在惩罚 (Presence Penalty) - 存在惩罚 (presence penalty) 也对重复的 token 应用惩罚，但与频率惩罚不同的是，所有重复的 token 的惩罚是相同的。出现两次的 token 和出现 10 次的 token 受到的惩罚是相同的。此设置可防止模型在响应中过于频繁地重复短语。如果你想让模型生成多样化或创造性的文本，你可能希望使用较高的存在惩罚。或者，如果你需要模型保持专注，可以尝试使用较低的存在惩罚。

与 温度 (temperature) 和 Top P (top_p) 类似，一般的建议是只调整频率惩罚或存在惩罚中的一个，而不是同时调整两者。

在开始一些基本示例之前，请记住，你的结果可能会因所使用的 LLM 版本而异。