How Lovable uses LangSmith to debug & monitor agents in production

Lovable 如何使用 LangSmith 在生产环境中调试和监控代理

了解 Lovable 如何利用 LangSmith 洞察其代理的交互,并在短短 4 个月内迅速将其 AI 软件工程师代理扩展至 2500 万美元年度经常性收入 (ARR)。 

2 分钟阅读时间

Lovable.dev 是一个创新的 AI 驱动平台,让用户无需编写代码即可构建和发布高质量的软件 v1 版本。它提供与 GitHub 和 Supabase 等工具的无缝集成,使创建和部署应用程序变得容易。用户只需聊天即可快速构建网站和 Web 应用程序;例如,他们可以构建和部署具有身份验证和数据存储等功能的应用程序,实现比传统编码实践快 20 倍的效果。 

使用 LangSmith 进行代理可观测性 

随着 Lovable 经历了快速增长和用户采纳,团队需要深入了解其代理交互。随着用户涌入,了解代理各个组件如何交互的复杂性对于 Lovable 团队保持效率和提供无缝用户体验至关重要。 

为了解决其诊断代理问题和快速迭代功能的瓶颈,Lovable 转向 LangSmith 以获得对其代理链的全面洞察,这至关重要。他们工作流程的关键增强功能之一是添加了一个仅限管理员的按钮“在 LangSmith 中打开提示”,这使团队成员能够访问详细的代理追踪信息。此功能使开发人员能够快速识别瓶颈并优化工作流程,从而显着提高运营效率。

通过将 LangSmith 中的多个请求与其底层 API 相结合,Lovable 可以精确定位生产环境中的任何会话,并立即查看应用程序开发过程中采取的操作序列。监控图表使 Lovable 能够快速查看指标中的任何峰值,然后双击任何有问题的追踪信息以找到原因。这不仅改进了调试,还有助于更深入地了解每个组件如何在整个系统中交互,从而使 Lovable 团队能够迭代并持续改进其代理。 

影响和下一步

LangSmith 的集成已为 Lovable 带来了显著的成果。

  • 增强的调试能力:LangSmith 使 Lovable 能够深入了解代理链中的任何内容,减少了诊断问题的时间并加快了解决问题的速度。
  • 改进的协作:借助存储在 GitHub 中的代码,团队成员可以无缝协作,从而培养团队合作和共同所有权的文化。

展望未来,Lovable 旨在进一步改进其代理开发流程,并将探索更多 LangSmith 功能,以增强用户体验和运营效率。

结论

Lovable 对 LangSmith 的战略性使用对其快速增长起到了重要作用,使该公司在短短四个月内实现了 2500 万美元年度经常性收入 (ARR) 的里程碑。LangSmith 的集成不仅简化了工作流程,还为未来的发展奠定了基础,展示了 AI 在软件开发领域变革性的潜力。