安客思使用 LangSmith 提升受众细分

安客思^® 是全球领先的客户情报和人工智能驱动的数据营销公司。作为 Interpublic 集团 (IPG) 的一部分，安客思专注于高性能解决方案，这些解决方案可提高客户获取和保留率，同时促进全球最大品牌和代理商的增长。凭借其人工智能驱动的身份基础、基于云的数据管理以及营销技术和分析服务，安客思已经改变了全渠道营销策略和执行。55 年多来，其遍布美国、英国、德国、中国、波兰和墨西哥的团队已帮助企业优化其营销和广告投资，同时优先考虑客户隐私。

扩展人工智能驱动的受众细分的关键挑战

作为数据和消费者身份解决方案的领导者，安客思不断寻求创新方法来识别和交付精确的营销受众细分。当被要求评估用于动态受众创建的大型语言模型 (LLM) 时，安客思的数据和身份数据科学团队在构建可扩展、强大的生成式人工智能解决方案以基于用户输入创建受众细分时，面临着一系列独特的挑战。

安客思团队最初开发了一个提示输入/输出日志记录系统，以跟踪和排除 LLM 调用的故障。然而，随着用户群的扩大，团队意识到像这样的轻量级日志记录解决方案无法有效扩展。相反，他们需要一个强大的可观测性平台，以适当支持代理应用程序不断增长的用户群。安客思的目标是简化使用注释创建单元测试的过程，并改进故障排除错误。

安客思旨在开发一个应用程序，该应用程序能够解释用户的自然语言输入，并将其从其庞大的数据目录转换为详细的受众细分。例如，用户可能会请求：“识别三十岁以上且攀岩或徒步旅行但未婚的男性受众。” 然后，该应用程序需要 (1) 交付一个 JSON 结构，其中包含来自安客思的交易和预测数据产品的精选 ID 和值，以及 (2) 处理以下要求：

对话记忆：具有长期记忆，用于在构建受众细分时维护跨不相关的用户对话的上下文。
动态更新：能够在会话期间优化或更新受众细分。
数据一致性：执行准确的特定属性搜索，而不会忘记或虚构先前处理的信息。

最初，该团队设计了一个工作流程，使用 LangChain 的检索增强生成 (RAG) 工具和自定义代理代码。RAG 工作流程将仅使用元数据和安客思核心数据产品的数据字典，其中包含详细描述。然而，随着安客思团队扩展其解决方案，出现了额外的痛点。这些包括：

复杂调试：LLM 推理中的失败或遗漏会级联为不正确或幻觉的结果。
扩展问题：原始日志记录机制有限，使得跨多个用户进行扩展变得困难。
不断变化的需求：持续的功能增长需要迭代开发，从而在基于代理的架构中引入复杂性。

利用 LangSmith 实现可扩展的 LLM 可观测性

为了解决这些痛点，安客思采用了 LangSmith，这是由 LangChain 开发的 LLM 测试和可观测性平台。LangSmith 提供了关键的可观测性功能，解锁了高效的调试和可扩展性；它还与安客思的开源和专有模型的混合生态系统无缝集成，包括基于 LangChain 基元构建的自定义代理代码。

LangSmith 以极少的额外工作量与安客思现有的基于 LangChain 的代码库集成。凭借其简单的装饰器，LangSmith 为安客思团队提供了 LLM 调用、函数执行和实用程序工作流程的完全可见性，以便他们可以高效地排除问题。LangSmith 对各种模型的灵活支持——包括开源 vLLM、通过 AWS Bedrock 的 Claude 和 Databricks 的模型端点——也使安客思能够继续使用其现有的技术堆栈而不会中断。

为了更深入地了解复杂的工作流程并进行故障排除，LangSmith 中的树形结构跟踪可视化和元数据跟踪工具特别有用。这些工具帮助安客思团队识别了涉及超过 60 个 LLM 调用和 20 万个令牌的单个用户交互请求中的瓶颈。

随着安客思的工作流程不断发展，LangSmith 的可扩展性被证明是非常宝贵的。该平台记录和注释任意代码的能力使团队能够适应，因为新的代理（例如监督者和研究员代理）被添加到架构中，以便进行与受众构建相关的更细致的决策。