Rexera 正在利用 AI 自动化手动工作流程,从而革新价值 500 亿美元的房地产交易行业。通过部署智能 AI 代理,Rexera 精简了房地产运营,加速了交易,并显著降低了成本和错误。
Rexera 结合 LangChain 和 LangGraph 以及他们的大型语言模型 (LLM),开发了先进的 AI 代理。这些 AI 代理执行复杂的认知任务,例如
- 请求还款报表
- 从文档中提取关键数据
- 执行质量控制检查
下面,我们将探讨 Rexera 如何创建了一个强大的质量控制 (QC) 应用程序,该程序以人工操作员的精度审查房地产工作流程,同时主动识别问题以防止延误。我们将探讨他们的系统如何演变,从最初的单提示方法到使用 LangGraph 的更可控和准确的解决方案。
初始方法:单提示 LLM 检查及其局限性
质量控制在房地产交易中至关重要。Rexera 开发了一个专门的 QC 应用程序,每天审查数千个工作流程。此应用程序检查房地产交易各个阶段的错误,包括数据处理、客户沟通以及与对方(如业主协会 (HOA)、县政府部门、公用事业公司等)的互动。
为了确保房地产交易的质量,Rexera 最初实施了多项单提示 LLM 检查。这些检查旨在验证
- 文档准确性
- 客户期望的实现
- 工作流程及时性(SLA 合规性)
- 成本控制
然而,这种方法存在局限性。单提示 LLM 在处理复杂的房地产工作流程时遇到了困难,原因如下:它们无法掌握工作流程的完整范围,上下文有限,并且无法正确处理多维度场景。
Rexera 使用三个关键指标跨数千个工作流程运行来评估 LLM 检查的有效性
- 准确性:问题识别的正确性评分
- 效率:每笔交易的执行速度
- 成本效益:相关的 LLM 成本
这种方法通过标记潜在问题并减少手动审查需求来简化 QC。然而,Rexera 意识到需要更高级的解决方案来有效处理复杂的房地产工作流程。
发展到 AI 代理:试用 CrewAI
认识到单提示 LLM 的局限性,Rexera 随后尝试了使用 CrewAI 的多代理方法,其中每个 AI 代理监督交易流程的不同部分。例如,一个代理将定义为
- 角色:“高级内容质量检查分析师”
- 任务:“检查客户要求的所有 HOA 文件是否已订购,并验证相应的预计到达时间和成本信息是否已发送给客户”
这种方法比单提示 LLM 有所改进
- 误报(错误地标记非问题)从 35% 降至 8%。
- 漏报(未能标记实际问题)从 10% 降至 5%。
然而,CrewAI 方法出现了一个关键挑战。虽然 AI 代理功能强大,但有时会在决策中走错路,就像 GPS 系统选择了一条更长的路线。这种缺乏精确控制意味着在复杂的情况下,代理可能会偏离轨道,导致误报或漏报。
迁移到 LangGraph 以实现 精确性和控制
为了克服 CrewAI 方法的局限性,Rexera 转而使用 LangGraph,为各种场景自定义设计决策路径,尤其是在复杂情况下获益匪浅。LangGraph 由 LangChain 团队构建,是一个可控的代理框架,为 Rexera 带来了额外的优势,包括人机协作工作流程的集成、状态管理等。
为了说明新的基于 LangGraph 的方法的有效性,让我们考虑一下加急订单——房地产工作流程中常见的复杂情况,其中交易完成时间必须快于标准时间表。
使用 LangGraph,Rexera 为质量控制 (QC) 应用程序创建了一个树状结构,该结构允许循环和分支。这种结构使 QC 应用程序能够根据加急要求导航不同的路径。
当应用程序识别出加急订单时,它会被定向到树的“加急订单”分支。对于标准订单,应用程序遵循不同的分支,专注于常规处理检查。
LangGraph 支持的这种树状结构,通过引入更具确定性的决策并减少代理走错路的随机性,显著提高了 Rexera QC 流程的准确性和完整性。这种转变带来了结果的更高一致性,确保工作流程准确高效地完成。
这种使用 LangGraph 的方法增加了对 CrewAI 所做的改进,从而导致
- 误报从 8% 降至 2%
- 漏报从 5% 降至 2%
为了比较相同加急订单场景的这些输出,以下示例分解了每种新架构的 QC 结果
单提示 LLM 输出
- 发现问题:“是”
- 解释:“我们在沟通中没有明确承认客户的加急请求。”
- 分析: 误报——虽然加急请求实际上已得到承认和执行,但 LLM 由于其处理复杂的多步骤交互的能力有限而未能识别出来,从而导致错误地标记了错误。
CrewAI 输出
- 发现问题:“否”
- 解释:“客户要求加急订单,我们的团队已确认并采取行动。”
- 分析: 部分准确——CrewAI 识别出加急订单已执行的正确结果,但未能注意到订单类型中的差异,例如它是否在系统中被正确标记和处理为加急订单。
LangGraph 输出
- 发现问题:“是”
- 解释:“订单详情显示‘加急订单:否’,尽管客户要求并经我们确认和执行了加急订单。”
- 分析: 完全准确——LangGraph 不仅确认了加急订单已被确认和执行,还识别出订单类型的记录方式不一致。通过遵循自定义决策路径,它确保了对加急订单的确认以及订单类型的正确处理都得到了验证,从而防止了任何潜在的延误或问题。
结论
通过利用 LangGraph 的循环和分支功能,Rexera 创建了一个更智能、更具适应性的 QC 应用程序,确保他们的 AI 代理能够为每个特定场景执行正确的检查,从而提高房地产交易的效率和准确性。