房地产行业未来技术的领导者 AppFolio 发布了 Realm-X Assistant，这是一款旨在提高物业经理日常工作效率的 AI 驱动的副驾驶。Realm-X 是嵌入式生成式 AI，通过将最新的基础模型与行业特定背景相结合，提供智能、实时的帮助。Realm-X 提供了一个对话式界面，帮助用户了解他们的业务状态、获得帮助并批量执行操作——无论是查询信息、发送消息还是安排与居民、供应商、单元、账单或工单以及更多相关的操作。早期用户报告称，他们在完成待办事项清单时每周节省超过 10 小时。
在设计 Realm-X 时，AppFolio 意识到他们需要一个更好的自然语言界面，以帮助物业经理与平台互动并简化运营流程。该团队转而使用 LangChain、LangGraph 和 LangSmith 来改进他们的执行流程，并增加用户与 Realm-X 交互方式的可视性。
选择 LangGraph 以获得灵活性和控制力
Realm-X Assistant 最初是使用 LangChain 构建的，以实现互操作性，从而可以轻松地更换模型提供商，而无需更改任何代码。LangChain 还使得在使用其工具调用代理发出请求时，可以轻松使用工具和结构化输出。
随着 Assistant 的发展，AppFolio 需要一种方法来处理请求中更多的复杂性。他们的团队进行了从 LangChain 到 LangGraph 的战略性转变，这简化了来自不同节点的响应聚合，以便向用户显示。
切换到 LangGraph 后，AppFolio 团队可以清楚地看到 Realm-X Assistant 的执行流程，这使他们能够设计可以在行动前进行推理的工作流程。通过并行化分支执行，AppFolio 还能够减少延迟和代码复杂性。
LangGraph 的一个主要优势是它能够并行运行独立的代码分支。在确定相关操作时，它同时计算回退并在帮助页面上运行问答机器人。这使得 Realm-X 能够提供相关的建议，从而增强用户体验，同时将延迟保持在最低限度。
利用 LangSmith 监控和精确定位生产中的问题
为了增加生产流量的可视性，AppFolio 使用 LangSmith 来促进开发期间的调试，并更深入地了解用户交互。在生产中，AppFolio 团队密切关注 LangSmith 中的实时反馈图表——跟踪错误率、成本和延迟，以使一切保持在轨道上。该团队还添加了自动触发器，以便在用户提交 Realm-X 起草的操作时收集反馈。
此外，还会基于 LLM 或启发式评估器生成自动反馈，以持续监控系统健康状况。
LangSmith 的跟踪功能还使 AppFolio 可以轻松地在问题发生时精确定位问题。在开发过程中，工程师依靠比较视图和 LangSmith Playground 来迭代工作流程，确保它们在部署前经过实战检验。跟踪也可以在团队之间共享，从而简化了跨利益相关者协作的过程。
迭代提示以提高系统性能
LangSmith 在 AppFolio 系统中支持的一项关键创新是动态少样本提示——这涉及动态提取相关示例，以便为 Realm-X 用户提供更个性化和准确的响应。借助 LangSmith，AppFolio 团队能够快速识别是否使用了错误的样本，或者是否缺少或格式错误的样本，最终帮助优化为给定查询提取的示例。
LangSmith 中的比较视图对于识别提示构建方式的细微差异特别有用，帮助 AppFolio 确保精确的输出。LangSmith Playground 还使团队能够快速迭代提示、基础模型或工具描述，而无需修改底层代码——缩短了利益相关者之间的反馈周期。
动态少样本提示对于提高特定 Realm-X 功能（如其文本到数据功能）的性能至关重要，其中性能从约 40% 显着提高到约 80%。 这展示了定制示例在提高系统准确性方面的影响。随着 AppFolio 增加了用户可以在 Realm-X 中查询的操作和数据模型的数量，他们也保持了高性能。
用于持续改进的 LLM 评估
AppFolio 在其测试和评估过程中优先考虑用户体验和反馈。Realm-X 工作流程中的每一步——从单个操作到端到端执行——都使用自定义评估器和 LangSmith 的工具进行严格测试。
为了确保质量，AppFolio 维护了一个中心化的样本案例库，其中包含消息历史记录、元数据和理想输出。这些可以用作评估、单元测试或示例。评估在 CI 中运行，结果被跟踪并集成到 PR 中。为了避免回归，只有当所有单元测试通过且满足评估阈值时，代码更改才会合并。
LangGraph 还通过将复杂的 if 语句逻辑组织成清晰、灵活的代码路径，帮助简化文本到数据处理等复杂工作流程。这与严格的测试相结合，确保 Realm-X Assistant 为物业经理生成准确可靠的响应。
AppFolio 的未来之路
随着 AppFolio 继续通过 Realm-X Assistant 进行创新，重点仍然是增强以用户为中心的功能并优化性能。作为 LangSmith 的早期用户，AppFolio 将 LangGraph 与 LangSmith 强大的监控功能无缝集成，这帮助 Realm-X Assistant 聚合来自多个系统部分的响应，以确保清晰、可操作的用户输出。
展望未来，AppFolio 正在扩展 Realm-X，通过使用 LangGraph 进行状态管理和自验证循环，进一步提高整体性能和可靠性。通过将这些工具与他们对创新的承诺相结合，AppFolio 将继续赋能各地的物业经理取得成功。