在当今快节奏的软件开发中，精简的软件开发生命周期 (SDLC) 能力至关重要。Factory 正在构建用于 SDLC 自动化的安全 AI 平台。Factory 的 Droid 舰队自动化 SDLC 的不同阶段，提高大型组织的工程效率 —— 并且他们的 Code Droid 在复杂的软件开发任务中取得了最先进的性能。通过利用自托管的 LangSmith，Factory 满足了自主 LLM 系统的复杂可观测性需求，同时保持了企业级的安全性和隐私性。
利用 LangSmith 实现安全可靠的 AI 运营
自托管的 LangSmith 提供了管理复杂 LLM 工作流程所需的必要可观测性基础设施，同时确保数据隐私和安全。Factory 可以将 LangSmith 部署到数据控制严格的环境中，在这些环境中，大多数 LLM 基础设施都无法成功运行。
Factory 面临的主要挑战之一是确保客户环境中的强大可观测性。用于跟踪 LLM 管道中数据流和调试上下文感知问题的传统方法非常繁琐。此外，Factory 的自定义 LLM 工具使得大多数 LLM 可观测性工具难以设置。LangSmith 通过第一方 API 提供了完整的自定义跟踪解决方案。
Factory 集成了 LangSmith，将跟踪导出到 AWS CloudWatch 日志，这使得团队能够精确跟踪数据流经 LLM 管道的各个阶段。通过将 LangSmith 事件和步骤与 CloudWatch 日志关联，Factory 的工程师可以精确定位他们在代理阶段的位置。这种集成有助于维护 LLM 中数据流从一个步骤到下一个步骤的单一事实来源，这对于调试和优化至关重要。
另一个挑战是调试生成响应中的上下文感知问题。Factory 使用 LangSmith 将反馈直接链接到每个 LLM 调用，从而立即深入了解潜在问题。这种集成帮助团队快速识别和解决幻觉等问题，而无需专有的日志记录系统。通过在每个 LLM 调用旁边提供反馈，Factory 可以确保 AI 的输出在上下文中准确且与基于真实客户输入的相关。
使用 LangSmith 闭环产品反馈
除了可观测性之外，Factory 还使用 LangSmith 来优化产品反馈循环，重点关注提示优化和反馈 API 的利用。传统的手动提示优化方法耗时且通常不准确。LangSmith 的反馈 API 简化了流程，使 Factory 能够收集和分析反馈，然后根据实时数据优化其提示。
Factory 使用反馈 API 将反馈附加到其工作流程的各个阶段。然后将反馈导出到数据集，并分析模式和需要改进的领域。
通过基准测试示例并自动化优化过程，Factory 提高了他们对准确性的控制，并增强了其 AI 模型的整体性能。例如，通过对代码评论的良好或不良反馈示例，他们让 LLM 查看提示并声明提示可能导致不良示例（而不是良好示例）的原因。这种简化的反馈收集和处理不仅改进了提示优化，还减少了分析反馈的精神负担和基础设施需求。
自动化反馈收集和处理的能力对于需要人工反馈的管道步骤尤其有价值。借助 LangSmith，Factory 可以专注于反馈收集的最后阶段，确保其 Droid 性能的最关键方面得到持续改进和优化。
这种方法显着提高了其工作流程的准确性和效率。与他们以前的手动数据收集和人工驱动的提示迭代方法相比，Factory 的迭代速度提高了 2 倍。Factory 还报告称，他们的普通客户在受 Droid 影响的代码中，平均开放到合并时间缩短了约 20%，代码变更减少了 3 倍（在最初的 90 天内）。
展望未来：扩展 SDLC 中的 AI 自主性
随着 Factory 不断创新，他们的重点仍然是增强整个 SDLC 中的 AI 功能。与 LangChain 合作并使用 LangSmith 在此过程中发挥了关键作用，提供了在软件开发中实现前所未有的效率和质量水平所需的工具和基础设施。
Factory 的 Droids 已经显着改善了工程运营。客户报告称，周期时间平均缩短了 20%，各个组织节省了超过 550,000 小时的开发时间。这些可观的时间节省使工程团队能够专注于创新、增值的任务，从而提高整体生产力并降低运营成本。
随着 Factory 继续推动软件开发中 AI 的边界，未来一片光明。随着他们的 AI Droids 最近公开发布以及由 Sequoia Capital 领投的 1500 万美元 A 轮融资，Factory 有望实现显着增长和创新。与 LangChain 的持续合作是该战略的基石，确保 Factory 始终处于 AI 驱动的软件开发的最前沿。
“我们与 LangChain 的合作对于成功部署基于企业 LLM 的系统至关重要。由于我们从 LangChain 团队获得的可观测性和编排层工具，我们对我们的决策和运营能力更有信心。” – Eno Reyes，Factory 首席技术官
关于 Factory
Factory 是一家企业 AI 公司，致力于自动化软件开发生命周期。通过集成先进的自主 Droids，Factory 帮助企业实现更快、更可靠且更具成本效益的软件交付。
如需更多见解和更新，请访问Factory 网站。
关于 LangChain
LangChain, Inc. 成立于 2023 年初，旨在帮助开发人员构建上下文感知推理应用程序。该公司流行的开源框架为开发人员提供了使用 LLM 创建可用于生产的应用程序的构建块。LangSmith 对此进行了补充，作为一个一体化的 SaaS 平台，为构建和监控 LangChain 和 LLM 驱动的应用程序实现了完整的端到端开发工作流程。
如需更多信息，请访问 LangChain 网站。