Replit 凭借其平台站在人工智能创新的前沿，该平台简化了超过 3000 万开发人员编写、运行和协作处理代码的过程。 他们最近发布了 Replit Agent，该工具因人们可以轻松使用它创建令人难以置信的应用程序而立即走红。
在幕后，Replit Agent 具有基于 LangGraph 构建的复杂工作流程，这实现了高度定制的 Agent 工作流程，并具有高度的控制和并行执行能力。 使用 LangGraph 的一个主要好处是与 LangSmith 的无缝集成，这让 Replit 能够深入了解其 Agent 交互，从而调试棘手的问题。
Replit Agent 所需的复杂程度也突破了 LangSmith 的界限。 LangChain 和 Replit 团队紧密合作，为 LangSmith 添加功能，以满足他们的 LLM 可观测性需求。 具体来说，我们在以下三个主要领域进行了创新：
- 提高大型追踪的性能和规模
- 在追踪内搜索和筛选的能力
- 线程视图，以实现人机协作工作流程
提高大型追踪的性能和规模
大多数其他 LLMOps 解决方案监控对 LLM 提供商的单个 API 请求，仅提供对单个 LLM 调用的有限视图。 相比之下，LangSmith 从一开始就专注于追踪 LLM 应用程序的整个执行流程，以提供更全面的上下文。
追踪对于 Agent 来说非常重要，因为它们具有复杂性。 它捕获多个 LLM 调用以及其他步骤（检索、运行代码等）。 这使您可以精细地了解正在发生的事情，包括每个步骤的输入和输出，以便了解 Agent 的决策过程。
Replit Agent 是高级追踪需求的一个成熟示例。 他们的 Agent 工具不仅仅是审查和编写代码，还执行更广泛的功能——包括规划、创建开发环境、安装依赖项以及为用户部署应用程序。
因此，Replit 的追踪非常庞大——涉及数百个步骤。 这对摄取数据并在视觉上有意义的方式显示数据提出了重大挑战。
为了解决这个问题，LangChain 团队改进了其摄取功能，以有效地处理和存储大量的追踪数据。 他们还改进了 LangSmith 的前端渲染，以无缝显示长时间运行的 Agent 追踪。
在追踪内搜索和筛选以精确定位问题
LangSmith 一直支持在追踪之间搜索，这允许用户根据事件或全文搜索在数十万个追踪中找到单个追踪。 但是，随着 Replit Agent 的追踪变得越来越长，Replit 团队需要在追踪内搜索特定事件（通常是 alpha 测试人员报告的问题）。 这需要增强现有的搜索功能。
作为回应，LangSmith 添加了一种新的搜索模式——在追踪内搜索。 用户现在可以直接根据他们关心的条件（例如，运行的输入或输出中的关键字）进行筛选，而不是在大型追踪中逐个调用地筛选和滚动。 这大大减少了 Replit 调试追踪内 Agent 步骤所需的时间。
线程视图，以实现人机协作工作流程
Replit Agent 的一个关键差异化因素是其对人机协作工作流程的重视。 Replit Agent 旨在成为一种工具，人工智能 Agent 可以与人类开发人员有效协作，人类开发人员可以介入并根据需要编辑和纠正 Agent 轨迹。
由于有单独的 Agent 来执行管理、编辑和验证生成的代码等角色，Replit 的 Agent 会与用户持续交互——通常在很长一段时间内进行多轮对话。 然而，监控这些对话流程通常很困难，因为每个用户会话都会生成不连贯的追踪。
为了解决这个问题，LangSmith 的线程视图帮助整理来自多个相关线程（即来自一个对话）的追踪。 这提供了多轮对话中所有 Agent-用户交互的逻辑视图，帮助 Replit 更好地 1) 找到用户卡住的瓶颈，以及 2) 精确定位人工干预可能有利的领域。
结论
Replit 正在使用 LangSmith 强大的可观测性功能推动人工智能 Agent 监控的前沿。 通过减少加载冗长而繁重的追踪的工作量，Replit 团队大大加快了构建和扩展复杂 Agent 的过程。 凭借更快的调试、改进的追踪可见性以及对并行任务的更好处理，Replit 正在为人工智能驱动的开发树立标准。