CommandBar 是一个用户辅助平台，旨在帮助软件公司使其产品易于使用，通过捕获和预测用户意图，然后提供个性化的产品内帮助。CommandBar 的 Copilot 小部件，公司将其嵌入到应用程序中，超越了典型的聊天机器人。它可以回答用户问题，触发个性化的产品导览，甚至可以直接代表用户执行操作，从而实现用户的意图。
CommandBar 的客户彼此之间有略微不同的需求，为了使 Copilot 对所有 CommandBar 的客户都有帮助，团队必须找到用户辅助的共同点，这些共同点可以通过 LLM 进行简化或自动化，并与许多不同的内容提供商（例如帮助台和知识库）集成以进行信息检索。
CommandBar 决定使用 LangSmith，以便让他们了解 Copilot 的性能，并最终为他们的客户提供更好的体验。虽然该团队在生产环境中没有使用 LangChain，但在 LangSmith 中启动和运行速度很快。“我惊讶于仅使用 LangSmith 中的装饰器设置跟踪是如此简单。入门非常容易。” 高级软件工程师 Jared Luxenberg 说。
LangSmith 主要在以下四个方面帮助了 CommandBar 团队
- 跟踪可见性： 团队能够通过查看 LangSmith 跟踪来了解最终用户是否有糟糕的体验，而无需依赖接收屏幕截图或电子邮件。LangSmith 对话线程级别的可见性使 CommandBar 能够主动识别客户如何在未来避免不良交互。
- 调试： 构建一个好的 Copilot 归根结底在于构建一个好的检索系统，而 LangSmith 跟踪帮助团队了解是否首先检索到了正确的文档，如果不是，他们可以获得信息来尝试不同的技术来改进系统。
- 提高测试覆盖率： 团队可以将对任何新代码更改运行的测试数量提高 5 倍。在使用 LangSmith 之前，CommbandBar 完全依赖手动 QA，但在采用 LangSmith 之后，他们可以使用更好的自动评估来增强人工评估，这些自动评估基于已知良好的问题：响应配对。
- 监控： CommandBar 团队依靠 LangSmith 来提醒他们的 LLM 提供商是否发生中断，并且他们可以在 LangSmith 的监控选项卡中保持对其应用程序整体健康状况的视图。
LangSmith 轻松地映射到他们想要完成的工作流程，在整个应用程序开发生命周期中为他们提供帮助。CommandBar 的 Copilot 自 2023 年 11 月以来已上线，它使成千上万的支持团队和数百万最终用户的生活更加轻松，这转化为客户的实际成果——例如最近的案例研究显示支持票减少了 44%。“每周我们都会听到一位客户热情地分享说 Copilot 的回复非常到位，它已成为我们产品最大的竞争优势之一，并且可能成为我们目前的旗舰产品。” Luxenberg 说。
CommandBar 相信 Copilot 可以变得对用户更有用和更主动。Commandbar 在未来几个月内将推出许多很酷的改进，这些改进都由 Langsmith 提供支持。要阅读更多关于他们发布的信息，请访问他们的博客 此处。