Replit 凭借其平台处于 AI 创新的前沿，该平台简化了 3000 多万开发人员的代码编写、运行和协作。他们最近发布了 Replit Agent，该产品立即走红，因为人们可以通过这款工具轻松创建令人难以置信的应用程序。
在幕后，Replit Agent 拥有一个基于 LangGraph 构建的复杂工作流，它支持高度定制的代理工作流，并提供高度控制和并行执行功能。使用 LangGraph 的主要优势是能够与 LangSmith 无缝集成，这使得 Replit 能够深入了解其代理交互以调试棘手的问题。
Replit Agent 所需的复杂程度也推动了 LangSmith 的边界。LangChain 和 Replit 团队紧密合作，为 LangSmith 添加了功能以满足他们的 LLM 可观测性需求。具体而言，我们在以下三个主要领域进行了创新
- 改进对大型跟踪的性能和可扩展性
- 能够在跟踪中进行搜索和过滤
- 线程视图以支持人机协同工作流
改进对大型跟踪的性能和可扩展性
大多数其他 LLMOps 解决方案监控对 LLM 提供者的单个 API 请求，这只能提供对单个 LLM 调用的有限视图。相比之下，LangSmith 从第一天起就专注于跟踪 LLM 应用程序的整个执行流程，以提供更全面的上下文。
跟踪对于代理来说很重要，因为它们很复杂。它会捕获多个 LLM 调用以及其他步骤（检索、运行代码等）。这使您可以深入了解正在发生的事情，包括每个步骤的输入和输出，以便了解代理的决策过程。
Replit Agent 是高级跟踪需求的绝佳示例。他们的代理工具不仅仅是审查和编写代码，而且还执行更广泛的功能，包括为用户规划、创建开发环境、安装依赖项和部署应用程序。
因此，Replit 的跟踪非常大，涉及数百个步骤。这对数据摄取和以视觉上具有意义的方式显示数据构成了重大挑战。
为了解决这个问题，LangChain 团队改进了他们的摄取功能，以高效地处理和存储大量跟踪数据。他们还改进了 LangSmith 的前端渲染功能，以无缝显示长时间运行的代理跟踪。
在跟踪中搜索和过滤以精确定位问题
LangSmith 一直支持在跟踪之间进行搜索，这使用户能够根据事件或全文搜索从数十万个跟踪中找到单个跟踪。但随着 Replit Agent 的跟踪越来越长，Replit 团队需要在跟踪内部搜索特定事件（通常是 alpha 测试人员报告的问题）。这需要增强现有的搜索功能。
作为回应，LangSmith 添加了一种新的搜索模式 - 在跟踪中搜索。用户不再需要在一个大型跟踪中逐个调用地筛选和滚动，而是可以直接根据他们关心的条件（例如，运行的输入或输出中的关键词）进行过滤。这大大减少了 Replit 在跟踪中调试代理步骤所需的时间。
线程视图以支持人机协同工作流
Replit Agent 的一个关键区别在于它强调人机协同工作流。Replit Agent 旨在成为一个工具，让 AI 代理能够与人类开发人员有效协作，人类开发人员可以根据需要参与进来并编辑和纠正代理轨迹。
使用不同的代理来执行管理、编辑和验证生成的代码等角色，Replit 的代理会不断与用户交互，通常会进行长时间的多次对话。但是，监控这些对话流通常很困难，因为每个用户会话都会生成不相关的跟踪。
为了解决这个问题，LangSmith 的线程视图有助于将来自多个线程的跟踪整理在一起，这些跟踪是相关的（即来自一次对话）。这提供了跨多次对话的所有代理-用户交互的逻辑视图，帮助 Replit 更好地 1) 找到用户陷入困境的瓶颈，以及 2) 精确定位需要人工干预的区域。
结论
Replit 正在利用 LangSmith 的强大可观测性功能推动 AI 代理监控的边界。通过减少加载长时间、重量级跟踪的工作量，Replit 团队大大加快了构建和扩展复杂代理的过程。凭借更快的调试、改进的跟踪可见性和对并行任务的更好处理，Replit 正在为 AI 驱动的开发设定标准。