编者按：这篇博文由 LeptonAI 团队合作撰写，LeptonAI 团队是 LangSmith BETA 用户的早期使用者。 很多人都在讨论如何最好地为他们的特定用例微调开源模型，而 LeptonAI 实际上已经做到了这一点。 我们很高兴分享他们的旅程，并希望它可以为其他人提供参考。
介绍
你有没有想过参加财报电话会议并向这些 CFO 提问？ 这曾经是摩根大通、高盛和摩根士丹利等高端投资银行的投资者所拥有的特权。
然而，凭借 LLM 的能力和围绕它的适当技术，情况已不再如此。 并且如果您不想阅读整篇文章，请随时试用 此处的 演示。 此演示是基于 苹果 2023 年第二季度财报电话会议 创建的。
步入尖端技术与金融敏锐度相结合的领域，让我们深入探讨利用 AI 能力的变革过程，并揭示打造像经验丰富的首席财务官 (CFO) 一样说话的 AI 的秘诀，如下所示。
问题陈述
首先，我想将上面提到的挑战分解成一个抽象概念，希望这可以帮助您从工程层面理解我们面临的问题。 简而言之，问题如下所示
我们在这里面临的问题是有机地结合原始财报电话会议记录、文本生成模型（主要是 OpenAI ChatGPT 3.5）和工具集（python、langchain、chroma，这里没有什么特别的）来模拟 CFO。
解决方案的思考过程
从 openAI 开始
首先，我开始使用 open AI 的 ChatGPT 3.5 和 Langchain retrievalQA chain，这对于构建此类应用程序的任何人来说都是相当标准的方法。 话虽如此，现在的解决方案看起来像这样
毫不奇怪，ChatGPT 3.5 对于足够简单的问题效果很好，例如 这次财报电话会议涵盖了哪些内容？ 。 开源工具在原型设计方面非常有效。 构建产品的第一个版本不需要很长时间。 然而，对于更复杂的问题，ChatGPT 很快就放弃了。 您可以在 此处 查看。
包含 ChatGPT 3.5 回复的完整问题列表在此处
然后我尝试了原始 vicuna
从朋友那里听说，并且作为一名开源开发人员（曾在 Jupyter Lab 上工作，是的，笔记本，但不仅仅是笔记本！😅），我决定尝试 Vicuna，这是一个开源聊天机器人，通过在从 ShareGPT 收集的用户共享对话中微调 LLaMA 来训练。 话虽如此，现在的解决方案看起来像这样
这里棘手的部分是，产品的第一个版本是基于 Langchain 构建的，而 Langchain 最初是基于 OpenAI 的 API 构建的。 许多其他提示工程框架也是如此。 在这种情况下，切换到另一个模型在兼容性方面需要做很多工作。 例如，另一个模型可能没有相同的嵌入 api 端点。 或者 tiktoken 库不支持某些模型。
由于这个问题，Lepton.AI 的工程团队找到了一种使模型与原始 OpenAI 的 API 端点兼容的方法，这使得 LLM 应用程序的模型切换变得更加容易。 模型服务户只需更改环境即可切换模型，从
OPENAI_API_BASE=https://api.openai.com/v1
OPENAI_API_KEY=YOUR_OPEN_API_KEY
到
OPENAI_API_BASE=YOUR_DEPLOYMENT_URL
OPENAI_API_KEY=YOUR_LEPTON_AI_API_KEY
结果乍一看非常可靠，但对输出进行评估却非常具有挑战性。 这就是 LangSmith 派上用场的地方。 它允许我添加四行代码来更改环境变量，并且它可以从那里为我处理一切。
事实证明，微调模型甚至更好
即使原始模型通过不那么快放弃来工作，但它仍然不像 CFO 那样说话。 也就是说，它的说话方式并没有给我一种真正参加由顶级金融机构的人才包围的财报电话会议的感觉。
因此，受到 Vicuna（llama 的微调模型）的启发，我决定微调一个模型，该模型利用来自财报电话会议问答环节的数据。 通过从财报记录中收集数据，我设法抽样调查了一些财报电话会议。 然后使用 TUNA，一种模型增强服务，可以增强数据和模型，以创建一个更专注于财报电话会议上下文的模型。 话虽如此，现在的解决方案看起来像这样
以下是问题列表中的一些查询结果
同样，我的代码中唯一改变的是 OPENAI_API_BASE，一切都从那里开始工作。 通过利用 LangSmith，我可以更有效地比较结果，并将它们分享给有兴趣查看的人，正如本文多次演示的那样。
结论
总之，数据和 LLM 技术（例如数据增强和微调）的集成是 AI 应用程序开发中的一个关键里程碑。 通过将庞大而多样化的数据集与 LLM 的强大功能相结合，我们释放了前所未有的潜力，使 AI 系统能够生成更准确、更具上下文感知能力和更连贯的输出。 数据和 LLM 之间的协同作用不仅提高了 AI 应用程序的整体性能，而且为创新和发现开辟了新的途径。
随着我们继续改进和扩展我们对这种动态关系的理解，我们踏上了一段旅程，数据驱动的洞察力和先进的语言模型的融合重新定义了可能性，将我们推向 AI 卓越时代，并改变我们与技术互动的方式。 未来在等待着我们，当我们自信地走向一个 AI 超越期望并成为我们追求进步过程中不可或缺的资产的地平线。
对于上面提到的工具，LangSmith 和 LeptonAI 仍处于封闭测试阶段，但请随时在候补名单上注册并试用。 欢迎随时发送电子邮件至 uz@lepton.ai，我很乐意听取您对此的想法！