Athena Intelligence 是一款 AI 驱动的员工，通过自动化耗时的数据任务并为数据科学家和业务用户普及数据分析，从而改变企业分析。他们的自然语言界面 Olympus 旨在连接所有数据源和应用程序，以便用户可以轻松查询复杂的数据集，就像向同事提问一样。
Athena 最强大的功能之一是生成高质量的企业报告的能力。在本案例研究中，我们将介绍此功能包含的内容以及 LangSmith 在开发过程中提供的帮助。
生成关于复杂主题的报告
生成关于复杂主题的详细报告需要从各种来源（包括基于 Web 的来源和内部来源）提取信息。对于 Athena 的客户而言，拥有适当的来源引文和数据丰富的报告尤为重要。
构建一款能够可靠生成这些类型报告的产品是一项艰苦的工作。构建报告编写器的原型并制作一些可以作为 Twitter 演示的东西可能很容易，但与许多 GenAI 应用程序一样，构建像 Athena 这样的可靠生产系统要困难得多。
为了弥合原型和生产之间的差距，Athena 转向了 LangChain、LangGraph 和 LangSmith。他们使用 LangChain 来保持对他们使用的底层 LLM 的不可知性，并管理与数千种工具的集成。LangGraph 帮助他们编排复杂的自定义代理架构。他们首先使用 LangSmith 在开发过程中快速迭代，然后在生产中观察他们的应用程序。
通过 LangChain 实现最大的灵活性和互操作性
Athena Intelligence 的旅程始于 LangChain，依靠其互操作性来更换不同的模型并构建他们的 AI 应用程序。LangChain 的架构使 Athena 能够在整个平台中完全与 LLM 无关，从而减少了他们对任何一家模型提供商的依赖。
Athena 还大量使用了 LangChain 的文档、检索器和工具抽象。通过使用标准的 LangChain 文档格式，Athena 可以确保他们传递的文档始终采用相同的格式。LangChain 的检索器界面使此过程更加容易，提供了一种访问这些文档的通用方法。Athena 的研究报告还严重依赖工具的使用 - 通过使用 LangChain 的工具界面，他们可以轻松管理他们拥有的工具集合，并以相同的方式将它们传递给所有 LLM。
使用 LangGraph 构建生产就绪的代理架构
随着 Athena 开发出更多的代理功能，他们转向了 LangGraph。他们采用的代理架构是为他们的用例高度定制的。LangGraph 提供了低级别的可控性，使团队能够构建编排数百个 LLM 调用的复杂代理架构。
LangGraph 为 Athena 工程师提供了一个有状态的环境，用于构建生产就绪的代理架构。它使他们能够创建具有调整提示的专用节点，然后快速将它们组装成复杂的多代理工作流程。LangGraph 的可组合性及其有状态的参数，使团队能够在他们的认知堆栈中跨不同的应用程序重用组件。
为了管理由他们的代理系统引入的具有数百个 LLM 调用的计算密集型工作流程，Athena 还使用 LangSmith 来提高其开发生命周期中的可观察性。
使用 LangSmith 在开发中快速迭代
LangSmith 在 Athena 的开发过程中发挥了至关重要的作用。为了举例说明这一点，让我们考虑一下研究报告中引用数据来源的功能。
正确地进行文本内来源引用通常需要大量的提示工程工作。LangSmith 大大加快了这一过程。借助 LangSmith 中的跟踪功能，Athena 团队可以记录所有生成报告的运行，并快速识别引文失败的运行。
Athena 开发人员无需将代码推送到生产环境并进行测试，只需从特定的运行中打开 LangSmith Playground，并动态调整他们的提示。这使得隔离 LLM 调用以查看因果关系变得更加容易，这种方式是为 Athena 复杂且定制的堆栈量身定制的——在 Athena 团队在发货到生产环境之前快速迭代提示时，节省了无数的开发时间。
标题：使用 LangSmith Playground 视图优化市场研究报告
通过调整提示以理解并正确引用来源，Athena 工程师可以将类似命名的数据点准确地链接回他们的应用程序，从而提高他们的开发质量和速度。
使用 LangSmith 在生产环境中进行监控
一旦他们的应用程序发布到生产环境，Athena 就会使用 LangSmith 跟踪监控几个关键指标的性能。在 LangSmith 之前，Athena 工程师会通读服务器日志并构建手动仪表板来识别生产环境中的问题——这是一个耗时且繁琐的过程。
LangSmith 提供了开箱即用的指标，如错误率、延迟和首字节响应时间，以帮助 Athena 团队密切关注其 LLM 应用程序的正常运行时间。这对于文档检索等任务尤其有利，在文档检索中，跟踪使团队能够准确地了解提取了哪些文档以及检索过程中的不同步骤如何影响他们的响应时间。
正如 Athena Intelligence 的创始平台工程师 Ben Reilly 指出的那样
“如果我们没有像 LangSmith 这样的全栈可观察性平台，我们能够以如此快的速度前进是不可能的。它为我们的开发人员节省了无数时间，并使原本几乎不可行的任务变得可行。”
结论
Athena Intelligence 已成功利用 LangChain、LangGraph 和 LangSmith 创建了一个强大的 AI 驱动的分析平台。通过使用这些工具，Athena 能够快速迭代他们的开发，高效地调试和优化他们的系统，并为他们的企业客户提供高质量、可靠的报告。