今天，我们发布了 LangSmith 的动态少样本示例选择器。少样本提示是用于提高应用程序性能的常用技术。动态选择少样本提示的示例可以带来进一步的改进。为此，您需要能够整理数据集，并拥有用于索引和搜索该数据集的基础设施。
LangSmith 已经轻松实现了数据集整理。现在，借助此新功能，您可以一键索引数据集中的示例。这使您可以根据用户输入动态选择最相关的少样本示例，从而更有效地完善和改进 LLM 应用程序。
优化模型性能的挑战
少样本提示涉及在模型提示中包含示例模型输入和预期输出，这可以显著提高模型在各种任务上的性能。通常，开发人员在提示中使用 3-5 个少样本示例，以避免因琐碎信息而过度加载上下文窗口。
但是，随着应用程序复杂性的增加，您可能需要数百甚至数千个示例来满足不同的最终用户需求。在每个请求中包含大型示例数据集可能太大而无法添加到上下文窗口。即使它适合，它也会增加令牌成本和延迟。
在处理如此多的示例时，微调通常是下一个选择。但虽然微调功能强大，如果执行得当，可以产生良好的结果，但它也有一些缺点。微调（a）执行起来相对复杂，（b）难以用新示例更新，（c）需要专门的基础设施（GPU）和专业知识（MLE），以及（d）缺乏个性化（即，无法轻松地根据用户定制示例）。
因此，微调可能不太适合个性化应用程序和快速迭代。这就是动态少样本提示派上用场的地方。
LangSmith 中的动态少样本示例
动态少样本提示可以帮助您快速迭代并改进 LLM 应用程序性能。使用此技术，您仍然使用一小组 3-5 个示例，但根据用户输入动态选择要使用的示例。这些示例涵盖了所有选择范围，这可以优于 3-5 个示例的静态数据集。“动态”和“静态”少样本提示之间的区别在于，使用“动态”提示，您可以根据用户输入选择要包含在提示中的示例，而使用“静态”提示，则无论用户输入如何，都使用相同的示例。
我们将动态少样本提示集成到 LangSmith 中，以简化数据集管理并增强您的 LLM 应用程序性能。只需单击一下，您就可以索引数据集并使用新输入调用端点以获取与新输入最相似的示例列表。
与微调相比，动态少样本提示（a）在技术上更容易执行，（b）更容易保持最新，以及（c）需要最少的专门基础设施。您可以根据用户输入检索相关示例，这使得您可以轻松地快速迭代应用程序，也可以对应用程序进行调整和个性化。
使用动态少样本提示，您可以在 LangSmith 中简化数据集管理并完善您的 LLM 应用程序性能。在我们详细的技术文档中详细了解如何使用动态少样本提示。您还可以观看我们下面的视频演练。
LangSmith 中的动态少样本提示目前处于封闭测试阶段。您可以在此处注册候补名单。我们计划在本月晚些时候公开发布。
要开始构建数据飞轮以改进您的 LLM 应用程序，请查看我们在 LangSmith 中管理数据和测试的其他资源，包括