Paradigm (YC24) 正在通过集成 AI 来改造传统电子表格，创建首个通用智能电子表格。他们的工具编排 AI Agent 群，以收集数据、构建数据结构并以人类级别的精度执行任务。
为了实现他们的目标，Paradigm 充分利用 LangChain 的产品套件来构建和生产他们的产品。特别是 LangSmith，提供了关键的运营洞察力以及对其 Agent 思考过程和 LLM 使用情况的上下文感知。这使 Paradigm 能够优化其产品性能和定价模型，从而保持较低的计算成本。
使用 LangChain 构建 AI 驱动的电子表格以实现快速迭代
Paradigm 的智能电子表格部署了大量特定于任务的 Agent 来执行数据处理任务，全部由 LangChain 提供支持。除了电子表格中的数据生成外，Paradigm 还使用 LangChain 驱动的微型 Agent 来处理其产品中的各种小型任务。
例如，Paradigm 使用 LangChain 开发了以下 Agent
- Schema Agent：接收提示作为上下文，并输出一组列和列提示，以指导我们的电子表格 Agent 如何收集此数据。
- Sheet 命名 Agent。根据提供的提示和工作表中的数据自动命名每个工作表。
- Plan Agent：根据电子表格每行的上下文，将 Agent 的任务组织成阶段。这有助于并行化研究任务并减少延迟，而不会牺牲准确性。
- Contact info Agent。从非结构化数据中查找联系人的联系方式。
LangChain 促进了这些 Agent 的快速迭代周期，使 Paradigm 能够在生产环境中部署之前，改进温度设置、模型选择和提示优化等元素。这些 Agent 还利用 LangChain 的抽象概念，以便使用 结构化输出 以正确的模式生成信息。
在 LangSmith 中进行监控以获得运营洞察力
Paradigm 的 AI 优先电子表格旨在处理广泛的数据处理任务，用户触发成百上千个单独的 Agent 来执行每个单元格的任务。他们还在后端集成了大量的工具和 API，Agent 可以调用这些工具和 API 来完成某些任务。
这些操作的复杂性需要一个复杂的系统来监控和优化 Agent 性能。LangSmith 在提供 Agent 思考过程和 LLM 使用情况背后的完整上下文中发挥了宝贵的作用。
这种细粒度的洞察力使 Paradigm 团队能够：
- 跟踪 Agent 的执行流程，包括令牌使用情况和成功率。
- 分析和改进列生成的依赖系统，通过优先处理需要较少上下文的任务，然后再处理更复杂的工作，从而提高数据质量。
例如，Paradigm 团队可以更改依赖系统的结构，重新运行相同的电子表格作业，并评估哪个系统使用 LangSmith 产生了最清晰简洁的 Agent 跟踪。这种类型的可观察性在开发复杂的 Agent 系统时非常宝贵。
使用 LangSmith 优化基于使用量的定价
借助 LangSmith 的 监控功能，Paradigm 还能够执行和实施精确的基于使用量的定价模型。LangSmith 为 Paradigm 团队提供了关于其 Agent 操作的完美上下文，包括所利用的特定工具、其执行顺序以及每个步骤的令牌使用情况。这使他们能够准确计算不同任务的成本。
例如，涉及简单数据的任务（例如姓名或链接）的成本低于更复杂输出（例如候选人评级或投资备忘录）的成本。Paradigm 可以支持这些复杂输出所需的多步骤推理。
同样，检索私人数据（例如融资信息）比抓取公共数据更消耗资源，这证明了细致入微的定价模型的必要性。因此，Paradigm 可以支持具有不同成本的不同类型的任务。通过深入研究其历史工具使用情况以及每个作业的输入/输出令牌，他们可以更好地了解如何塑造未来的定价和工具结构
结论
借助 LangSmith 和 LangChain，Paradigm 为其 AI 集成工作空间和智能 Agent 电子表格解锁了各种数据处理任务。通过快速迭代、优化和运营洞察力，Paradigm 为其用户提供高性能、以用户为中心的产品。
要了解有关 LangSmith 中监控的更多信息，请观看此视频系列。您还可以免费试用 LangSmith，以高效地优化和监控您的 LLM 应用程序。