编者按: 这篇文章是与 Villagers 团队的 Kevin Hu、Tae Hyoung Jo、John Kim 和 Tejal Patwardhan 合作撰写的。Villagers 在最近的 Anthropic 黑客马拉松中获得第二名。我们非常喜欢这个项目,因为它展示了复杂的提示工程,他们使用多智能体社交网络模拟并行运行多个智能体。我们非常兴奋地看到 LangSmith 如何帮助该团队自动化追踪、快速迭代提示并高效调试这种复杂的使用案例!
我们很高兴撰写关于我们使用 LangSmith 构建 模拟多智能体社交网络 的概念验证的经验。在社交网络上模拟基于语言的人类互动已显示出在经济学、政治学、社会学、商业和政策应用方面的潜力(例如,[1]、[2])。我们使用基于文本的在线社区 (Twitter/X) 和真实用户角色作为示例,演示如何使用 LLM 创建逼真的多智能体模拟。
构建有用的模拟需要模仿真实用户的行为,最好是基于过去行为的历史记录。我们构建了智能体来模拟真实 Twitter 用户基于其推文、转发、引用推文、评论和点赞历史记录在线互动。每个用户都是一个智能体,都有其基于过去历史记录的特定提示。然后,我们测试了社区对品牌广告活动、候选人政治声明和喜剧演员社会评论的反应。这可以作为预测在线社交网络的参与度、响应和行为修改的新模拟平台的概念验证。
我们遇到的主要技术障碍之一是调试和提示工程,因为会同时互动大量智能体。LangSmith 让我们感到非常兴奋,它允许我们进行自动追踪并有效地迭代提示,从而帮助构建多智能体网络的基础。
借助 LangSmith,我们能够显着加快开发时间,并对提示的质量更有信心。我们发现它是最易于使用的 LLMops 工具,适用于并行运行大量智能体的产品。