How Factory used LangSmith to automate their feedback loop and improve iteration speed by 2x

工厂如何使用 LangSmith 自动化其反馈循环,并将迭代速度提高 2 倍

工厂 AI 如何使用 LangSmith 调试问题并闭环产品反馈,从而将迭代速度提高 2 倍。

阅读时长 4 分钟

在当今快节奏的软件开发中,简化的软件开发生命周期 (SDLC) 功能至关重要。工厂正在构建用于 SDLC 自动化的安全 AI 平台。工厂的 Droid 车队自动化 SDLC 的不同阶段,提高了大型组织的工程速度——他们的 代码 Droid 在复杂的软件开发任务中取得了最先进的性能。通过利用自托管 LangSmith,工厂满足了自主 LLM 系统的复杂可观察性要求,同时保持企业级安全性和隐私。

利用 LangSmith 进行安全可靠的 AI 操作

自托管 LangSmith 提供了管理复杂 LLM 工作流所需的必要可观察性基础设施,同时确保数据隐私和安全。工厂可以将 LangSmith 部署到严格的数据控制阻止大多数 LLM 基础设施成功运行的环境中。

工厂面临的主要挑战之一是确保其客户环境中强大的可观察性。跟踪 LLM 管道中的数据流和调试上下文感知问题的传统方法很繁琐。此外,工厂的定制 LLM 工具使得大多数 LLM 可观察性工具难以设置。LangSmith 通过第一方 API 提供了定制跟踪的完整解决方案。

工厂集成了 LangSmith 以将跟踪信息导出到 AWS CloudWatch 日志,这使团队能够精确地跟踪数据流通过 LLM 管道的各个阶段。通过将 LangSmith 事件和步骤与 CloudWatch 日志链接起来,工厂的工程师可以准确地确定他们在代理阶段的位置。这种集成有助于维护 LLM 中数据流从一个步骤到下一个步骤的单一真实来源,这对于调试和优化至关重要。

工厂在开发中审查的 LangSmith 中的主要 UI。

另一个挑战是调试生成的响应中的上下文感知问题。工厂使用 LangSmith 将反馈直接链接到每个 LLM 调用,提供对潜在问题的直接洞察。这种集成帮助团队快速识别和解决诸如幻觉之类的問題,而无需专有的日志系统。通过在每个 LLM 调用旁边提供反馈,工厂可以确保 AI 的输出在基于真实客户输入的情况下在上下文上是准确和相关的。

使用 LangSmith 闭环产品反馈

除了可观察性之外,工厂还使用 LangSmith 优化产品反馈循环,重点关注提示优化和反馈 API 利用率。传统的手动提示优化方法既耗时又往往不准确。LangSmith 的反馈 API 简化了流程,使工厂能够收集和分析反馈,然后根据实时数据改进其提示。

工厂的反馈循环从 Droid 发布评论和收集正面/负面反馈开始。LangSmith 分析数据,然后工厂的工程师使用定制的 LangChain 工具优化提示,重新提示 LLM,并提高准确性并减少错误。

工厂使用反馈 API 将反馈附加到其工作流的各个阶段。然后将反馈导出到数据集,并分析模式和改进领域。

通过对示例进行基准测试并自动化优化过程,工厂提高了对准确性的控制,并增强了其 AI 模型的整体性能。例如,通过对具有良好或不良反馈的代码评论的示例,他们让 LLM 查看提示并做出关于提示可能导致不良示例(而不是良好示例)的原因的声明。这种简化的反馈收集和处理不仅改善了提示优化,而且减少了分析反馈的精神负担和基础设施要求。

能够自动收集和处理反馈对于需要人工反馈的管道步骤尤其有价值。借助 LangSmith,工厂可以专注于反馈收集的最后阶段,确保其 Droid 性能的最关键方面不断得到细化和优化。

这种方法导致其工作流的准确性和效率显着提高。与之前的人工数据收集和人工驱动的提示迭代方法相比,工厂能够将其迭代速度提高 2 倍。工厂还报告说,其平均客户的打开到合并时间缩短了约 20%,并且在头 90 天内受 Droid 影响的代码的代码 churn 降低了 3 倍。

展望未来:扩展 SDLC 中的 AI 自主性

随着工厂不断创新,他们的重点仍然是增强整个 SDLC 的 AI 功能。与 LangChain 合作并使用 LangSmith 在此过程中起着至关重要的作用,提供了实现软件开发中前所未有的效率和质量水平所需的工具和基础设施。

工厂的 Droid 已经在工程运营中取得了显著的改进。客户报告说,平均周期时间缩短了 20%,各种组织节省了超过 550,000 小时的开发时间。这些大量的时间节省使工程团队能够专注于创新、增值的任务,从而提高整体生产力并降低运营成本。

随着工厂继续突破软件开发中 AI 的界限,未来一片光明。随着最近公开发布其 AI Droid 以及由红杉资本牵头的 1500 万美元 A 轮融资,工厂将实现显着增长和创新。与 LangChain 的持续合作是这种战略的基石,确保工厂始终处于 AI 驱动的软件开发的前沿。

“我们与 LangChain 的合作对于成功部署基于企业的 LLM 系统至关重要。由于 LangChain 团队提供的可观察性和编排层工具,我们对决策和运营能力有了更大的信心。”——工厂首席技术官 Eno Reyes

关于工厂

工厂是一家企业 AI 公司,致力于自动化软件开发生命周期。通过集成先进的自主 Droid,工厂帮助企业实现更快、更可靠、更具成本效益的软件交付。

如需了解更多见解和更新,请访问 工厂网站

关于 LangChain

LangChain, Inc. 成立于 2023 年初,旨在帮助开发人员构建上下文感知的推理应用程序。该公司流行的开源框架为开发人员提供了构建块,以便使用 LLM 创建可投入生产的应用程序。LangSmith 作为一项一体化 SaaS 平台对其进行了补充,它支持构建和监控 LangChain 和 LLM 驱动的应用程序的完整端到端开发工作流。

如需了解更多信息,请访问 LangChain 网站