Paradigm (YC24) 正在通过集成 AI 来改变传统的电子表格，以创建第一个通用智能电子表格。他们的工具协调着一群 AI Agent 来收集数据、对其进行结构化处理并以人类水平的精确度执行任务。
为了实现其目标，Paradigm 利用了 LangChain 的产品套件来构建和生产化其产品。特别是 LangSmith，为其 Agent 的思维过程和 LLM 使用提供了关键的操作洞察和上下文感知。这使得 Paradigm 能够优化其产品性能和定价模型，从而降低计算成本。
使用 LangChain 构建 AI 驱动的电子表格以实现快速迭代
Paradigm 的智能电子表格部署了许多特定于任务的 Agent 来执行数据处理任务，所有这些都由 LangChain 提供支持。除了在电子表格中生成数据之外，Paradigm 还使用 LangChain 驱动的微型 Agent 来执行其产品中的各种小型任务。
例如，Paradigm 使用 LangChain 开发了以下 Agent
- Schema Agent：以提示作为上下文，并输出一组列和列提示，指导我们的电子表格 Agent 如何收集这些数据。
- 工作表命名 Agent：根据提供的提示和工作表中的数据自动命名每个工作表。
- 计划 Agent：根据电子表格每一行的上下文将 Agent 的任务组织成阶段。这有助于并行化研究任务并减少延迟，而不会牺牲准确性。
- 联系信息 Agent：从非结构化数据中查找联系方式。
LangChain 为这些 Agent 促进了快速的迭代周期，使 Paradigm 能够在将它们部署到生产环境之前优化诸如温度设置、模型选择和提示优化等元素。这些 Agent 还利用 LangChain 的抽象来使用 结构化输出 以正确的模式生成信息。
在 LangSmith 中进行监控以获得操作洞察
Paradigm 的 AI 优先电子表格旨在处理大量数据处理任务，用户会触发数百或数千个单独的 Agent 以在每个单元格的基础上执行任务。他们还在其后端集成了大量工具和 API，Agent 可以调用这些工具和 API 来执行某些任务。
这些操作的复杂性需要一个复杂的系统来监控和优化 Agent 的性能。LangSmith 在提供 Agent 思维过程和 LLM 使用情况的完整上下文方面非常宝贵。
这种细粒度的洞察力使 Paradigm 团队能够：
- 跟踪 Agent 的执行流程，包括 Token 使用情况和成功率。
- 分析和优化列生成的依赖关系系统，通过优先处理需要较少上下文的任务来提高数据质量，然后再继续处理更复杂的任务。
例如，Paradigm 团队可以更改依赖关系系统的结构，重新运行相同电子表格作业，并使用 LangSmith 评估哪个系统导致了最清晰简洁的 Agent 跟踪。在开发复杂的 Agent 系统时，这种可观察性非常宝贵。
使用 LangSmith 优化基于用量的定价
借助 LangSmith 的 监控功能，Paradigm 还能够执行和实施精确的基于用量的定价模型。LangSmith 为 Paradigm 团队提供了其 Agent 操作的完美上下文，包括利用的特定工具、执行顺序以及每个步骤中的 Token 使用情况。这使他们能够准确计算不同任务的成本。
例如，涉及简单数据（例如姓名或链接）的任务产生的成本低于更复杂的输出（例如候选人评分或投资备忘录）。Paradigm 可以支持这些复杂输出所需的多个步骤推理。
同样，检索私人数据（例如融资信息）比抓取公共数据更耗费资源，这证明了对细致入微的定价模型的需求。因此，Paradigm 可以支持不同类型的任务，并具有不同的成本。通过深入了解其历史工具使用情况以及每个作业的输入/输出 Token，他们可以更好地了解如何塑造其定价和工具结构。
结论
借助 LangSmith 和 LangChain，Paradigm 为其 AI 集成工作区和智能 Agent 电子表格解锁了各种数据处理任务。通过快速迭代、优化和操作洞察，Paradigm 为用户提供了一个高性能、以用户为中心的产。
要了解有关 LangSmith 中监控的更多信息，请观看 此视频系列。您还可以 免费试用 LangSmith 以有效地优化和监控您的 LLM 应用程序。