CommandBar 是一个用户辅助平台，通过捕获和预测用户意图，并提供个性化的产品内帮助，帮助软件公司使其产品易于使用。CommandBar 的 Copilot 小部件（公司将其嵌入到其应用程序中）超越了传统的聊天机器人。它可以回答用户问题，触发个性化的产品教程，甚至代表用户执行操作来直接满足用户的意图。
CommandBar 的客户之间需求略有不同，为了使 Copilot 能够帮助所有 CommandBar 的客户，团队必须找到用户辅助的共同点，这些共同点可以通过大型语言模型进行简化或自动化，并与许多不同的内容提供商（如帮助台和知识库）集成以进行信息检索。
CommandBar 决定使用 LangSmith 来让他们了解 Copilot 的性能，并最终为他们的客户提供更好的体验。虽然团队没有在生产环境中使用 LangChain，但在 LangSmith 中启动和运行非常快。“我惊讶于使用 LangSmith 中的装饰器设置跟踪的简单程度。入门非常容易。”高级软件工程师 Jared Luxenberg 说。
LangSmith 主要帮助 CommandBar 团队实现了以下四个方面
- 跟踪可见性：团队只需查看 LangSmith 跟踪即可了解最终用户是否遇到了糟糕的体验，而无需依赖接收屏幕截图或电子邮件。LangSmith 直至对话线程的可见性使 CommandBar 能够主动识别客户将来如何避免不良交互。
- 调试：构建一个好的 Copilot 归结为构建一个好的检索系统，而 LangSmith 跟踪帮助团队了解是否首先检索了正确的文档，如果没有，他们将获得信息以尝试不同的技术来改进系统。
- 提高测试覆盖率：团队将其在任何新的代码更改上运行的测试数量增加了 5 倍。在 LangSmith 之前，CommbandBar 仅依赖手动 QA，但在采用 LangSmith 后，他们可以使用更好的自动评估来增强人工评估，这些评估基于已知良好的问题：响应对。
- 监控：CommandBar 团队依靠 LangSmith 来提醒他们的大型语言模型提供商是否出现故障，并且他们可以在 LangSmith 的监控选项卡中查看其应用程序的整体运行状况。
LangSmith 轻松映射到他们想要完成的工作流程，从而在整个应用程序开发生命周期中为他们提供帮助。CommandBar 的 Copilot 自 2023 年 11 月起上线，它为数千个支持团队和数百万最终用户简化了生活，这转化为客户的具体成果——例如，最近的一项案例研究表明支持工单减少了 44%。 “每周我们都会听到客户热情地分享 Copilot 的回复非常准确，它已成为我们产品最大的竞争优势，并且可能是我们目前的旗舰产品。”Luxenberg 说。
CommandBar 相信 Copilot 可以为用户提供更多有用和主动的帮助。Commandbar 在未来几个月内将推出许多很酷的改进，所有这些改进都由 Langsmith 提供支持。要了解更多关于他们发布的信息，请访问他们的博客 此处。