Athena Intelligence 是一款 AI 驱动的员工，它通过自动化耗时的数据任务和为数据科学家和业务用户提供数据分析，来改变企业分析。他们的自然语言界面 Olympus 旨在连接所有数据源和应用程序，以便用户可以像向同事提问一样轻松地查询复杂的数据集。
Athena 最强大的功能之一是能够生成高质量的企业报告。在本案例研究中，我们将介绍此功能的具体内容以及 LangSmith 如何在开发过程中提供帮助。
生成关于复杂主题的报告
生成关于复杂主题的详细报告需要从各种来源（包括网络和内部来源）获取信息。对于 Athena 的客户来说，拥有适当的来源引用和数据丰富的报告尤为重要。
构建一个能够可靠地生成这些类型报告的产品是一项艰巨的任务。构建报告编写器的原型可能很容易，并且可以制作出看起来像 Twitter 演示的东西 - 但与许多 GenAI 应用程序一样，构建像 Athena 这样的可靠生产系统要困难得多。
为了弥合原型和生产之间的差距，Athena 求助于 LangChain、LangGraph 和 LangSmith。他们使用 LangChain 保持与他们使用的底层 LLM 的无关性，并管理与数千种工具的集成。LangGraph 帮助他们编排复杂的自定义代理架构。他们首先使用 LangSmith 在开发过程中快速迭代，然后在生产环境中观察他们的应用程序。
LangChain 提供最大的灵活性和互操作性
Athena Intelligence 的旅程从 LangChain 开始，依赖其互操作性来交换不同的模型并构建他们的 AI 应用程序。LangChain 的架构允许 Athena 在整个平台中完全与 LLM 无关，从而减少了他们对任何一个模型提供商的依赖。
Athena 还广泛使用 LangChain 的文档、检索器和工具抽象。通过使用标准的 LangChain 文档格式，Athena 可以确保他们传递的文档始终采用相同的格式。LangChain 的检索器接口使这变得更加容易，它提供了一种通用的访问这些文档的方法。Athena 的研究报告还高度依赖于工具的使用 - 通过使用 LangChain 的工具接口，他们可以轻松地管理他们拥有的工具集合，并以相同的方式将它们传递给所有 LLM。
使用 LangGraph 构建生产就绪的代理架构
随着 Athena 开发更多代理功能，他们转向了 LangGraph。他们采用的代理架构高度定制，适合他们的用例。LangGraph 提供了低级别可控性，使团队能够构建复杂的代理架构，这些架构可以协调数百次 LLM 调用。
LangGraph 为 Athena 工程师提供了一个有状态的环境来构建生产就绪的代理架构。它使他们能够创建具有调整提示的专门节点，然后快速将它们组装成复杂的多代理工作流程。LangGraph 的可组合性及其有状态参数，使团队能够在认知堆栈中的不同应用程序之间重复使用组件。
为了管理由其代理系统引入的数百次 LLM 调用的计算密集型工作流程，Athena 随后还使用 LangSmith 来提高开发生命周期中的可观察性。
使用 LangSmith 在开发中快速迭代
LangSmith 在 Athena 的开发过程中发挥了至关重要的作用。为了举例说明这一点，让我们考虑一下研究报告中引用的数据来源功能。
正确地进行文本内来源引用通常需要大量的提示工程工作。LangSmith 极大地加速了这个过程。借助 LangSmith 中的跟踪功能，Athena 团队拥有所有生成报告的运行的日志，并且可以快速识别引文失败的运行。
Athena 开发人员无需将代码推送到生产环境并进行测试，而是可以直接从特定运行中打开 LangSmith Playground 并动态调整他们的提示。这使得隔离 LLM 调用以查看因果关系变得更加容易，这种方式适合 Athena 复杂且定制的堆栈 - 在 Athena 团队在将代码推送到生产环境之前快速迭代提示时，节省了无数的开发时间。
标题：使用 LangSmith Playground 视图优化市场研究报告
通过调整提示以理解和正确引用来源，Athena 工程师可以将名称相似的数点准确地链接回其应用程序，从而提高其开发质量和速度。
使用 LangSmith 在生产环境中监控
一旦他们的应用程序发布到生产环境，Athena 就使用 LangSmith 跟踪来监控几个关键指标的性能。在使用 LangSmith 之前，Athena 工程师会阅读服务器日志并构建手动仪表盘来识别生产环境中的问题 - 这是一个费时且繁琐的过程。
LangSmith 提供了开箱即用的指标，例如错误率、延迟和首个令牌时间，以帮助 Athena 团队密切关注其 LLM 应用程序的正常运行时间。这对于文档检索等任务特别有用，因为跟踪使团队能够准确地查看哪些文档被调出以及检索过程中的不同步骤如何影响其响应时间。
正如 Athena Intelligence 的创始平台工程师 Ben Reilly 指出
“我们能够以如此快的速度行动，如果不是因为我们拥有 LangSmith 这样的全栈可观察性平台，这是不可能的。它为我们的开发人员节省了无数时间，并使原本几乎不可能完成的任务变得可行。”
结论
Athena Intelligence 已成功利用 LangChain、LangGraph 和 LangSmith 创建了一个强大的 AI 驱动的分析平台。通过使用这些工具，Athena 能够快速迭代其开发，有效地调试和优化其系统，并向其企业客户提供高质量的可靠报告。