欢迎访问一起赢论文辅导网
本站动态
联系我们
 
 
 
 
 
 
 
 
 
 
 
QQ:3949358033
微信:paperwinner
工作时间:9:00-24:00
计算机论文
当前位置:首页 > 计算机论文
通过检索增强生成与知识图谱融合构建智能决策支持系统
来源:一起赢论文网     日期:2025-10-16     浏览数:445     【 字体:

 通过检索增强生成与知识图谱融合构建智能决策支持系统

 
目前,组织正在使用数据来做出决策,而不是使用感觉,因为数据已经很多。尽管发生了这种变化,决策者仍然面临着重大挑战,例如信息过载、数据孤岛以及从复杂的异构数据集中提取可作的见解 1,2,3.虽然传统的决策支持系统非常有用,但它们缺乏处理业务环境复杂性所需的推理能力和上下文感知能力。当一个人需要做出跨领域决策并需要对相关变量进行细致入微的理解时,这种情况更是如此4、5、6、7、8、9、10.
 
人工智能的最新进展,特别是在大型语言模型领域,显示出决策支持的巨大潜力。尽管如此,当用于在业务环境中部署时,这些模型面临着严重的局限性,例如产生幻觉信息、在领域专业知识方面遇到困难以及无法证明其推理的合理性3,11 .这些问题暴露了对更大更好的东西的需求。我们需要一些能够在生成模型和知识表示之间找到中间立场的东西。
 
知识图谱正在成为表示和推理领域知识的流行工具。知识图谱被定义为语义技术和图结构的组合,以创建实体的连接表示、实体之间的关系及其属性4、12、13、14、15.该工具擅长对复杂领域进行建模并支持推理,从而为知识密集型应用提供结构化基础。因为它们能够描述显式关系并允许推理,所以它们在实体之间关系很重要的决策支持上下文中特别有用 16,17.知识图谱应用的最新发展发生在医疗保健中的精准医疗等领域6,18 和制造系统7,19 .
 
RAG(检索增强生成)是一种通过用从外部来源检索到的知识补充生成式人工智能来克服大型语言模型局限性的方法,它已经同时出现。RAG 架构有一个检索组件,用于从知识源检索相关信息,以及一个生成组件,用于根据该信息生成响应20,21,22,23,24.这种方法提高了生成内容的事实基础,同时保持了生成模型的灵活性和自然语言能力。该技术的有效性已在健康检查系统等专业领域的应用中得到证明8和学术搜索引擎9,25 .
 
这两种技术的结合——知识图谱检索增强生成,在构建决策支持系统方面具有巨大的潜力,这些系统可以通过自然语言的灵活交互和推理来利用结构化知识表示。然而,为了满足这一潜力,必须确定可以对这些领域产生严重的技术和概念挑战。用于元数据建模和知识构建的新的生成式人工智能驱动方法26,27,28,29,30可以显着减少手动知识工程工作。然而,知识图谱的自动化构建及其维护面临着严峻的挑战。
 
在知识图谱嵌入的创始之作中 11,12,它显示了符号知识通过统计学习的整合。这些方法带来了结合结构化表示和神经学习的混合智能系统。最近提出了通过知识图谱来增强因果推理的评估13以及神经符号系统的医学应用14.这表明符号和神经方法可能存在强大的整合。
 
知识图谱增强检索增强生成的最新发展已经超越了简单的集成方法。Wu 等人(2025 年)引入了 KG²RAG,展示了知识图谱如何指导块扩展和组织过程,以提高检索的多样性和连贯性31.Microsoft 的 GraphRAG 框架通过使用 LLM 生成的知识图谱来获得更好的上下文窗口填充,在回答复杂查询方面显示出显着改进32.当代研究还展示了特定领域的应用:利用基于图形的文档结构的以制造为中心的文档 GraphRAG 系统33,以及 MedRAG 等医疗保健应用程序,它们将知识图引出的推理与检索增强生成相结合34.然而,这些方法主要侧重于特定领域的实现或单途径集成,而不是提供全面的架构框架来实现结构化和神经推理组件之间的动态编排。
 
由于它们,在知识图谱和智能决策支持系统的检索增强生成的集成方面仍然存在重要差距。到目前为止,现有方法还没有提供一个框架来实现架构的无缝集成,该架构将利用两种技术的互补优势,而不会失去其中任何一种技术的任何好处。此外,现有系统缺乏先进的知识动态编排机制,即根据决策的上下文和复杂性利用结构化推理与生成推理。更明确地说,需要一种机制来决定何时部署结构化推理以及何时部署生成推理。此外,虽然这两种技术(例如因果模型和深度学习)都可以支持解释,但这些方法的联合集成以提供多层次的、适合上下文的解释在很大程度上仍然没有得到充分探索,特别是对于因果推理应用。理解推理路径变得很重要15.
 
本文解释了一个新框架,该框架鼓励知识表示和自然语言推理之间的联系。我们研究的目标是创建一个统一的架构,将知识图谱与检索增强生成相结合,以实现智能决策支持。此外,我们将构建自适应编排机制来动态选择最佳推理路径。此外,我们将综合结合符号和自然语言方法的多层次解释。最后,我们将在一系列应用领域中验证该框架的可泛化性和跨领域推理。
 
我们的研究对智能决策支持系统做出了重大贡献,具体如下。我们提出了一个系统的架构框架,通过新的集成方法将结构化和生成式人工智能方法结合在一起。我们创建了一个动态知识编排引擎,该引擎会根据决策和上下文的特征智能地选择推理路径。我们认为,表现出符号推理的路径值得与其自然语言解释一起综合。我们提供金融服务、医疗保健管理和供应链优化的综合评估。因此,在考虑时,我们看到性能显着提高,特别是在复杂的跨领域决策场景中。
 
本文的其余部分组织如下:第 2 节有我们提出的框架,其中包括有关架构的信息。第 3 节描述了三个应用领域的实现。第 4 节介绍了我们的评估方法和结果。第 5 节将介绍影响、局限性和未来的研究议程。第 6 节最后总结了智能决策支持系统的贡献和更广泛的影响。
 
拟议框架
集成知识增强决策支持框架是智能决策系统中的一种创新架构,集成了知识图谱和检索增强生成。该框架通过五个相互整合的组成部分填补了已确定的研究空白,这些组成部分受益于结构化知识表示和生成人工智能方法的互补优势。框架组件如表 1 所示。
 
表1 IKEDS框架组件概述每个组件都描述了其主要功能和关键创新。该框架集成了五个核心组件,这些组件通过双向信息流协同工作,以实现结构化和生成式人工智能方法之间的无缝知识编排。
全尺寸桌子
双向信息流如图所示。1 到 5 个集成组件。知识表示层提供基本的领域知识,这些知识输入检索优化模块进行搜索。动态知识编排引擎确定推理的最佳路径,并将信息定向到上下文感知生成组件以创建响应。MLES 提供了明确、易于理解的理由。反馈循环允许所有组件的持续学习和更改。
 
图1
图1
IKEDS 框架架构。
 
全尺寸图像
知识表示层
知识表示层通过多层架构支持领域知识,促进域内推理和跨域集成。该层实现了三层知识,这些知识层相互连接以形成知识生态系统。核心本体层创建了与领域无关的概念和关系,并集成了已建立的上层本体,例如 DOLCE 和 BFO,以实现互作性。特定领域层包含有关各个领域的专业知识表示。每个域的本体丰富了核心本体,同时保留了其语义。跨域映射层创建正式关系和对齐规则,用于在域之间构造显式语义桥。在图中。2 我们有医疗保健实体(患者、治疗、条件、提供者)显示为由关系边缘连接的节点、治疗、diagnosed_with和prescribed_by。节点的颜色表示它所引用的实体类型。蓝色是患者的节点,绿色是治疗的节点,红色是病症的节点,黄色是提供者的节点。边的粗细表示关系的强度。该结构已连接,以允许对临床决策支持查询进行语义遍历。这证明了知识图谱如何能够推理复杂的医疗关系。
 
图2
图2
医疗保健领域知识图谱可视化。
 
全尺寸图像
解决混合嵌入中的语义漂移
为了解决混合嵌入技术中的语义漂移问题,特别是针对稀有实体的设计,我们采用了三管齐下的缓解策略。
 
首先,将潜在变量协方差矩阵的最大特征值相等于 1,保证了模型的可识别性。其次,基于置信度的加权将根据嵌入地址的因子中心性和频率关系动态改变嵌入的权重。回退策略是语义信息不多时的结构嵌入,因此它们也适用于罕见的概念。
 
检索优化模块
将知识图谱结构纳入多方面的策略中,将语义搜索、结构感知图遍历和逻辑推理协同起来,扩展了传统的检索方法。通过利用密集向量嵌入,语义搜索能够检索相关信息。另一方面,结构感知遍历采用知识图谱拓扑的引导式探索。逻辑推理使用任何域规则来做出任何隐式结论。这些将使用在相关性、置信度和多样性之间取得平衡的排名机制进行组合,而自适应控制机制则设置最佳检索深度。
 
动态知识编排引擎
动态知识编排引擎旨在弥合知识编排差距。它自动协调知识流和推理。对于每个决策任务,引擎都会考虑五种可能的路径:执行纯知识图谱推理、执行纯检索增强生成、两者的顺序应用、融合并行应用以及执行反馈循环的迭代交互。代理人要么是代理人,根据手头的任务和他们的知识,可以选择一条途径。通过强化学习,学习过程会根据结果不断进行。上下文感知生成组件不仅仅是以两阶段的方式将结构知识纳入生成过程。它整合了知识,然后是推理增强的规划和约束生成。知识阶段的集成将检索到的元素与存储在知识图谱结构中的元素合成。生成计划在规划阶段使用知识图谱模式进行构建。受限生成阶段执行计划,根据知识强制实施约束,以维护真实和一致的事实。多级解释合成器通过分层方法生成将符号推理与自然语言解释相结合的解释,从而解决解释深度差距。该综合器在多个抽象层面生成解释,从执行摘要到详细的技术解释,每个层次都整合了事实证据、因果关系和比较分析。分层约束系统确保解释级别之间的连贯性,同时防止矛盾。
 
我们设计了一个解决语义冲突的框架,以解决本体对齐问题。多标准对齐评分使用语义、结构和功能相似性度量来在领域概念之间创建强映射。自动冲突检测会尝试查找不一致的映射。专家在环验证工作流程在关键比对决策过程中利用领域专业知识,同时保留完整的来源信息以进行系统审查和改进。该框架专为企业环境中的实际应用而设计,其组件是模块化的,可以增量实施。组织可以从单领域实施开始,随着知识工程资源的出现,可以将其扩展到跨领域场景。每个元素单独运行,但具有集成能力,从而实现灵活的部署策略,从而稳定组织的准备情况和资源可用性。
 
实施和评估
实施概述
综合知识增强决策支持的实现必须在理论和工程约束之间进行谨慎的折衷。许多架构迭代逐渐出现,即我们结合了不同的技术,提出了一个最适合所有决策支持系统的架构。表示知识的层使用混合架构,该架构使用 Protégé 实现 OWL 2 DL 本体,以作用于查询和遍历目的的 Neo4j 图。双表示法解决了语义推理和计算方面之间的紧张关系。这些表示之间的自定义中间件同步机制使每个表示能够使用自己的数据结构运行,同时确保一致性。对于知识图谱的嵌入,我们开发了一种混合嵌入生成器,它合并了来自图神经网络的结构信息和来自领域适配语言模型的语义信息。对于文本描述有限但在图中具有丰富连通性的实体,这种方法被证明优于纯结构嵌入,同时还保持了具有丰富文本描述的实体的语义连贯性。融合过程依赖于门控网络,该网络学习根据实体的性质和可用信息的质量来权衡结构和语义组件。检索优化模块集成了三种方法。第一种方法是使用适应给定域的句子转换器进行密集向量检索。第二个是使用个性化 PageRank 传播相关检索器的图形遍历。最后的三分之一是逻辑推理,这是通过与自动推理引擎集成来完成的。这种方法会获得更多信息,但不会通过控制深度来消耗太多能量。知识编排引擎依靠强化学习来改进路径选择,作为观察结果的函数。随着我们开发架构,很明显,编排策略不断发展,朝着增加结构化查询的知识图推理和歧义查询的生成方法发展,这证实了我们的混合设计假设。表 2 总结了性能和实现技术。
 
表2 IKEDS框架组件的实现技术和性能指标该表列出了每个组件使用的具体技术堆栈以及相应的性能基准,展示了所提出架构的实际可行性。
全尺寸桌子
在所有三个应用领域都需要针对特定领域的调整。金融领域要求对 FIBO 本体进行扩展,增加了 274 个用于监管合规建模的类。此外,该研究还实施了多尺度时间推理。后者处理微秒到四分之一的数据粒度。健康领域扩展了 SNOMED CT,增加了 318 个额外的管理概念,并引入了需要仔细调整参数的差分隐私机制。供应链领域需要集成的时空建模和多目标优化以及帕累托前沿可视化。
 
评估设计
我们评估的方式是在很多方面对定量性能和定性有效性进行详细的比较研究。该评估通过引入跨领域场景、解释质量评估和自适应学习能力测量,推进了现有的决策支持评估框架。这种方法使我们能够系统地将我们的集成框架与现有框架进行比较。此外,它还解释了知识图谱和检索增强生成的集成如何实现卓越的性能。我们将我们的综合知识增强决策支持框架与三个正确构建的基线进行了比较,这些基线代表了决策支持的当前技术水平。KG-Only 基线基于传统的知识图谱推理算法,没有生成组件,有图遍历、逻辑推理和约束满足,输出是纯粹来自知识图谱表示的实体推荐,目前在形式逻辑推理(如 SMT 求解器)上表现良好,但在自然语言交互和模糊查询情况下遇到困难。仅 RAG 基线部署检索增强生成,而不以结构化方式表示知识。它唯一的响应生成手段是密集向量检索和大型语言模型。目前具有令人印象深刻的自然语言能力的神经方法构成了基线,但无法提供结构化知识的系统推理和一致性保证。Parallel-KG-RAG 基线独立运行其知识图谱和检索增强生成组件,并使用加权集成组合其输出。它是最简单的集成方法之一,并试图通过这种简单的合并来利用这两种技术,而无需进行深度架构集成。
 
对于三个应用领域,领域专家与我们的研究团队合作开发了全面的场景集。此外,评估场景集反映了现实世界中的决策支持场景,而不是学术问题的简化。财务领域的评估包括 47 个投资决策场景。其中包括根据法规优化投资组合、并购分析,这需要将财务分析和战略考虑以及环境、社会和治理筛选决策结合起来。此外,这些超出了传统投资分析的界限。医疗保健领域评估检查了 53 种管理决策场景。它们涉及必须牢记临床要求和运营限制的资源分配决策。除此之外,它们还涵盖临床路径选择和质量改进计划。供应链领域的评估包括 51 个优化场景,其中包括考虑多个冲突目标的供应商选择决策、不确定性下的网络配置优化以及立即整合各种信息源的中断响应计划。这些场景根据其复杂程度、不确定性程度和跨领域知识需求被故意分层,以确保全面覆盖决策支持困难。特别关注那些需要复杂推理和集成能力的场景,这些能力使我们的框架与更简单的框架区分开来。
 
表 3 反映了评估框架中使用的五个主要评估维度,涵盖了决策支持系统有效性的基本方面。表 3 包含整个评估指标框架,包括分配给每个维度的测量方法和权重,以及为实时决策支持部署目的分配的相对重要性。
 
决策质量通过与专家建议的一致性来衡量其正确性,通过与可证明的最优解决方案的距离(如果可用)来衡量其最优性,并通过对输入中的扰动不敏感来衡量其稳健性。对所用知识的评估检查检索到的信息的相关性、相关知识领域的覆盖范围以及新颖和意外但有用的知识链接。解释有效性的评估考虑了解释在多大程度上被目标用户群体理解,完全涵盖了决策的基本原理,并且可追溯到相关的基础知识来源。整合性能的评估涉及跨领域推理的成功、通过路径选择进行编排的效率以及知识图推理和生成组件的一致性。适应性能力评估基本上检查了在所需样本量方面学习的效率如何,我们从相关领域转移知识的能力如何,以及当错误的决定提供学习机会时,猫如何通过强有力地卷土重来来应对错误。
 
表3 综合评价指标框架,包括测量方法和重要性权重。该框架捕获了决策支持系统有效性的五个关键维度,权重反映了实际部署场景的相对重要性。
全尺寸桌子
总共有 24 名领域从业者,包括 7 名金融分析师、9 名医疗保健管理人员和 8 名供应链经理对该计划进行了评估。专家对产出的评估是根据标准化的评分标准进行的,产出的顺序是随机呈现的,格式是常规的,以避免判断中的偏见。所有指标的评估者间可靠性评估的 Krippendorff alpha 指数范围为 0.72 至 0.85,这表明良好到极好的一致性水平足以评估比较可靠性。
 
结果
我们的评估对集成知识增强决策支持的性能特征产生了丰富的见解。我将重点关注关键发现和支持证据。
 
整体性能比较
表 4 显示了所有领域的总体绩效,显示了每种方法在主要评估指标上的平均得分。
 
表4 所有应用领域的总体性能比较(平均值±标准差)在所有评估指标中,IKEDS 在统计学上优于所有基线方法,效应大小范围为 1.78 至 2.92,表明具有很大的实际意义。
全尺寸桌子
统计分析证实,IKEDS 在所有指标上均优于所有基线方法(p < 0.001)。效应大小(Cohen's d)范围为1.78至2.92,表明具有很大的实际意义。最显着的优势出现在跨域集成中,其中 IKEDS 的性能比最佳基线高出 33.3%。
 
在比较决策复杂性级别之间的性能差距时,出现了一个意想不到的发现。对于简单决策(最低复杂度三分位数),IKEDS 相对于 Parallel-KG-RAG 的准确率优势适中 (5.3%),但对于复杂决策(最高复杂度三分位数),这一差距急剧扩大至 19.7%。这种模式在所有领域都一致出现,表明集成优势随着决策复杂性的增加而增加。
 
特定领域的性能
表 5 和表 6 以及表 7 显示了每个领域的详细结果,并按决策场景类型进行了细分。
 
表5 金融领域绩效对比
全尺寸桌子
在金融领域,IKEDS在投资组合优化场景中表现尤为强劲,比最佳基线具有9.2%的准确率优势。事后分析显示,这一优势主要源于市场趋势分析与风险建模的卓越集成,这些能力在不同的知识领域中运作,但必须协调才能做出有效的投资组合决策。
 
并购分析情景显示出最大的跨领域整合优势(比最佳基线高出 32.2%),反映了收购分析固有的跨领域性质,涵盖财务估值、战略调整、运营整合和监管合规。
 
ESG 筛选结果揭示了一个有趣的模式:虽然 IKEDS 总体表现优于基线,但环境标准的优势不如治理标准那么明显。这似乎反映了与环境影响评估更细致、更依赖环境的性质相比,治理评估更具结构化、基于规则的性质。
 
表6 医疗领域性能对比
全尺寸桌子
医疗保健结果揭示了一种意想不到的模式:IKEDS 的解释质量优势在临床路径选择方面最为明显(比最佳基线高出 16.3%)。对医疗保健专家的后续访谈表明,这源于该框架能够明确地将建议与证据水平和临床指南联系起来——在强调循证实践的医疗环境中尤其有价值。
 
资源分配情景显示出最大的准确率优势(比最佳基线高出 9.2%),特别是对于涉及不确定性分配的情景。事实证明,IKEDS 框架能够明确推理不确定性,同时与组织优先事项保持明确的联系,这在这些情况下特别有价值。
 
质量改进方案表现出最高的跨领域整合优势(比最佳基线高出 33.8%),反映了医疗保健质量的多方面性质,涵盖临床、运营、财务和患者体验领域。
 
表7 供应链域性能对比
全尺寸桌子
在供应链领域,IKEDS在供应商选择场景的跨领域整合方面表现出特别强劲的表现(比最佳基线高出41.3%)。这反映了供应商评估的多方面性质,涵盖产品质量、交付可靠性、财务稳定性、可持续性实践和战略一致性。
 
网络配置场景显示出最大的准确性优势(比最佳基线高出 11.9%),特别是对于涉及成本、响应能力和弹性之间复杂权衡的场景。事实证明,IKEDS 框架在推理地理和时间限制的同时明确地对这些权衡进行建模的能力特别有价值。
 
中断响应场景揭示了一个有趣的时间模式:虽然 IKEDS 总体表现优于基线,但在需要立即响应的快速发生中断中优势最为明显。这似乎反映了该框架在时间压力下快速整合各种知识源的能力——这是有效中断管理的关键能力。
 
决策特征绩效分析
图 3 说明了系统性能如何随决策复杂性而变化,显示随着复杂性的增加,IKEDS 和基线方法之间的性能差距不断扩大。
 
图3
图3
性能与复杂性。
 
全尺寸图像
这种模式在所有领域和指标中都是一致的,跨领域集成的性能差距扩大得最为明显。对于复杂度最高的三分位数,IKEDS在跨域整合测量上的表现比最佳基线高出35.7%,几乎是复杂度最低三分位数(18.9%)中观察到的优势的两倍。
 
进一步的分析表明,IKEDS框架为以下特征的决策提供了最大的性能优势:
 
1.
知识复杂性:涉及多个相互关联概念的决策显示出最大的绩效差距(准确性提高高达 24.3%)。这一优势源于该框架能够明确推理概念之间的关系。
 
2.
不确定性条件:具有显着不确定性的情景显示出综合方法的巨大优势(平均改善 21.8%)。结构化知识表示与灵活生成相结合,可以更稳健地处理不完整的信息。
 
3.
跨域要求:跨越传统域边界的决策显示出最显着的性能差异(平均改进 35.7%)。这反映了 IKEDS 框架的核心设计目标——实现跨领域边界的无缝推理。
 
4.
约束满足:具有多个竞争约束的复杂场景显示出显着的优势(平均改进 19.4%)。事实证明,该框架在推理权衡时明确表示约束的能力特别有价值。
 
5.
新颖的背景:历史先例有限的决策显示出实质性的好处(平均改进 28.2%)。通过将结构化知识与灵活生成相结合,该框架可以比纯粹基于知识或纯粹生成的方法更有效地使现有知识适应新情况。
 
学习与适应分析
对学习曲线的分析表明,与基线方法相比,IKEDS 需要的示例减少 37% 才能达到同等的性能水平。图 4 说明了不同方法的学习效率。
 
图4
图4
跨方法的学习效率。
 
全尺寸图像
这种效率优势源于该框架能够利用结构化知识来指导学习,从而减少对大量示例的需求。对于复杂的决策类型,这种效果尤其明显,与最佳基线相比,IKEDS 的样本效率提高了 43%。
 
知识转移能力尤其令人印象深刻,在过渡到新的相关场景时,绩效保留率为 73%(基线为 41-58%)。这表明,综合知识表示可以在相关决策环境中实现更有效的泛化。
 
错误恢复分析显示,在做出错误决策后,IKEDS 显示在后续场景中纠正类似错误的概率为 84%,而基线方法的概率为 46-61%。这种学习优势反映了该框架通过将反馈与结构化知识联系起来更有效地整合反馈的能力。
 
定性洞察
对专家反馈的专题分析确定了 IKEDS 框架的几个关键优势:
 
1.
解释透明度:专家一致认为 IKEDS 解释更透明、更可追溯(满意度为 87%,基线为 51-69%)。评论经常强调将解释与基础知识结构联系起来的价值。
 
2.
上下文相关性:该框架表现出识别上下文相关知识的卓越能力(相关性评级为 92%,基线为 63-78%)。专家们特别重视该系统将组织背景和优先事项纳入建议的能力。
 
3.
推理深度:专家指出,IKEDS 建议显示了考虑间接影响和长期后果的更深层次推理的证据(深度评级为 85%,基线为 47-61%)。这在具有多个相互依赖因素的复杂场景中尤为明显。
 
4.
适应反馈:该框架在吸收专家反馈和调整后续建议方面表现出卓越的能力(适应评分为 79%,基线为 42-56%)。这表明结构化知识与灵活生成的集成可以更有效地从用户交互中学习。
 
专家评估还确定了需要改进的领域:
 
1.
计算效率:与简单方法相比,集成方法需要更多的计算资源(大约是最简单基线计算量的 3.2 倍)。这表明需要对资源有限的部署上下文进行优化和潜在的简化。
 
2.
系统复杂性:几位专家对架构的复杂性表示担忧,并指出系统维护和扩展的潜在挑战。正如一位评估者评论的那样:“该系统运行得非常好,但我担心谁能在真实的组织环境中维护它。这凸显了文档和知识转移对于复杂人工智能系统的重要性。
 
3.
冷启动性能:虽然 IKEDS 的学习效率更高,但其在全新领域的初始性能需要大量的知识工程。这在前期投资和长期效率之间进行了权衡,组织在采用该框架时必须考虑这一点。
 
跨域分析
我们的跨领域分析揭示了一致的模式,这些模式验证了 IKEDS 框架的基本原理,同时确定了特定领域性能的细微差别。
 
跨领域性能优势的一致性表明,核心架构捕捉了有效决策支持的独立领域原则。尽管在领域知识、术语和决策要求方面存在显着差异,但相对性能优势仍然非常稳定。
 
最显着的性能优势始终出现在需要跨传统领域边界整合知识的场景中。这一发现对跨职能领域的复杂组织决策具有重要意义,而这些决策正是当前决策支持系统经常达不到要求的场景。
 
学习效率结果显示了跨领域的一致模式,IKEDS 需要减少 32-41% 的示例才能达到同等性能。这种一致性表明,知识引导的学习方法解决了基本的效率挑战,而不是特定领域的特殊性。
 
跨领域分析还确定了共同的挑战。所有领域的知识工程成本仍然很高(在我们的实施中,每个领域大约需要 120-180 个工时)。随着知识图谱的规模和复杂性不断增加,仔细关注检索效率变得越来越重要——这是我们在正在进行的工作中积极解决的扩展挑战。
 
用户适应模式在各个领域显示出有趣的一致性。最初不熟悉该系统的用户在有效利用多层次解释方面表现出可预测的学习曲线。最初的交互主要集中在高级解释上,随着用户熟悉系统和领域概念,逐渐纳入更深层次的解释。
 
这些发现为未来开发和部署综合知识增强决策支持系统提供了宝贵的指导。虽然我们的研究结果令人信服地证明了知识图谱和检索增强生成之间深度集成的价值,但它们也强调了需要进一步研究和开发的领域。
 
评价方法和结果
IKEDS 框架的实证验证需要一种细致的实验方法,以平衡方法论的严谨性与实际相关性。我们设计了评估,以系统地将集成架构与不同决策环境中的替代方法进行比较,特别关注测试当前决策支持技术局限性的具有挑战性的场景。该评估包括三个互补的维度:与既定基线的比较评估、跨多个应用领域的综合分析以及对与决策特征和学习能力相关的绩效模式的系统调查。
 
对于每个应用领域——金融投资、医疗保健管理和供应链优化——我们构建了从真实世界数据中得出并经过领域专家验证的综合评估数据集。金融数据集包括47个投资决策情景,取材于历史市场数据(2015-2023年),包括资产配置挑战、并购分析和ESG投资筛选案例。医疗保健管理数据集包括基于来自三个医疗保健组织的匿名运营数据的 53 个场景,涵盖资源分配、临床路径选择和质量改进计划。对于供应链优化,我们开发了 51 个场景,涵盖供应商选择、网络配置和中断响应计划。这些数据集经过精心设计,包括很大一部分需要整合来自多个领域的知识的跨领域场景——我们假设这种能力将使 IKEDS 框架与更简单的方法区分开来。
 
为了建立有意义的比较点,我们实施了三个基线系统,代表不同的知识整合方法。KG-Only 系统采用与 IKEDS 相同的知识图谱组件,但完全依赖于传统的图算法和基于规则的推理来生成决策。RAG-Only 系统使用相同的检索和生成组件,但没有结构化知识表示,将所有知识视为非结构化文本。Parallel-KG-RAG系统并行运行知识图推理和检索增强生成,通过加权集成方法组合其输出,而没有IKEDS的深度集成机制。所有系统都可以访问相同的知识源和计算资源,确保观察到的性能差异真正反映架构优势,而不是底层数据或资源的差异。
 
我们的评估指标捕获了与实际部署环境相关的系统性能的多个维度。除了直接的决策准确性之外,我们还评估了知识相关性(系统识别和利用相关信息的效率)、解释质量(跨可理解性、完整性和可追溯性等维度)、跨领域整合(跨领域推理的有效性)和适应性(学习效率和知识转移能力)。这种多维方法使我们能够确定架构集成提供特别显着优势的特定领域。
 
为了确保评估的公正性,我们采用了双盲评估协议,其中评估系统输出的领域专家和进行评估的研究人员都不知道哪个系统产生了每个响应。我们规范化了输出格式,以防止基于呈现特征的识别,并对基于学习的组件采用 5 倍交叉验证,以确保稳健的性能评估。使用配对 t 检验和带有事后分析的方差分析进行统计显着性检验证实了观察到的性能差异的可靠性。
 
结果表明,IKEDS框架在所有评估维度和应用领域都具有一致且显著的性能优势。表8显示了所有决策方案的汇总结果。IKEDS 的总体决策准确率平均为 85.7% (± 3.2%),明显优于仅 KG (74.6% ±4.1%)、仅 RAG (67.3% ±4.8%) 和 Parallel-KG-RAG (77.6% ±3.9%) 方法。统计分析证实了这些差异的显着性(p < 0.001,F = 28.4),事后Tukey检验表明IKEDS显着优于所有基线系统(所有成对比较的p<0.01)。
 
表8 总体性能比较(平均值±标准差)
全尺寸桌子
虽然所有指标都出现了性能优势,但其程度各不相同。最显着的优势出现在跨域集成中,其中 IKEDS 的平均得分为 0.84 (± 0.06),而 KG-Only 的平均得分为 0.49 (± 0.09),RAG 的平均得分为 0.47 (± 0.08),Parallel-KG-RAG 的平均得分为 0.63 (± 0.07)。与最佳基线相比,33.3% 的改进验证了我们的中心假设,即深度架构集成比更简单的集成方法能够实现更有效的跨领域边界推理。
 
特定领域的分析揭示了微妙的模式,阐明了 IKEDS 架构的特殊优势。在金融领域,投资组合优化场景显示出最大的准确性优势(比最佳基线高出 9.2%),这主要源于市场趋势分析与风险建模的卓越集成。并购分析情景显示,跨领域整合性能特别强劲(比最佳基线高出 32.2%),反映了该框架同时跨金融、战略、运营和监管领域推理的能力。有趣的是,ESG 筛选情景显示出不同的优势,具体取决于标准类型——治理评估(往往更加结构化和基于规则)比环境影响评估(通常涉及更细致的判断)更强。表9给出了金融投资决策场景的详细表现比较。
 
表9 金融领域表现对比
全尺寸桌子
医疗保健领域表现出独特的模式,临床路径选择场景显示出显着的解释质量优势(比最佳基线高出 16.3%)。对医疗保健专家的后续访谈表明,这源于 IKEDS 将建议与证据水平和临床指南明确联系起来的能力——这种能力在强调循证实践的医疗环境中尤其受到重视。资源分配场景在不确定性条件下表现出卓越的性能(9.2% 的准确性优势),而质量改进计划则表现出卓越的跨领域集成能力(33.8% 优势)——反映了该框架跨临床、运营、财务和患者体验领域的推理能力。表 10 提供了详细的医疗保健领域性能比较。
 
表10 医疗领域性能比较
全尺寸桌子
在供应链领域,供应商选择场景展示了卓越的跨域集成能力(比最佳基线高出 41.3%),而网络配置决策表现出最大的准确性优势(11.9%)。在中断响应场景中出现了一个有趣的时间模式:IKEDS 的优势在需要立即响应的快速发生的中断中尤为明显,这表明该框架在时间压力下快速整合不同知识源的能力变得特别有价值。表 11 显示了详细的供应链领域性能比较。
 
表11 供应链领域性能对比
全尺寸桌子
除了特定领域的模式之外,我们的分析还揭示了决策特征与 IKEDS 性能优势大小之间的系统关系。随着知识复杂性、不确定性水平和跨领域要求的增加,优势大大增加,而这些决策类型正是传统上挑战决策支持系统的。对于涉及简单、事实知识的决策,优势不大 (5-8%),但对于需要跨多个领域的复杂、相互关联的知识的决策,优势显着增加 (18-24%)。同样,在确定性情景中,优势从7%扩大到10%扩大到高度不确定情景的15-22%。
 
讨论
实证结果支持了我们的假设,说明了由于 KG 和 RAG 的协同集成,而不仅仅是它们的组合,IKEDS 如何优于 Parallel-KG-RAG。采用模块化或创建使用架构的当代人工智能系统在跨领域 RE 的动态知识编排方面面临着挑战。主要好处是更好的跨领域集成、多层次解释以及数据稀缺领域的学习效率提高 37%。从理论上讲,IKEDS 结合了神经和符号人工智能,并通过结构化知识增强语言模型,用于推理密集型应用。知识工程的高成本、计算需求、大型 KG 的扩展问题以及相互冲突的知识是一些限制。未来,我们希望不断更新、个性化和协作支持。我们必须整合因果推理。我们必须扩展到环境管理等领域。
 
结论
我们介绍了 IKEDS,这是一个将 KG 和 RAG 结合起来的框架,用于对复杂任务进行跨域决策支持。创新包括具有跨域映射、优化检索、动态编排、上下文感知生成和多级解释的多层知识图谱。金融、医疗保健和供应链领域的评估结果表明,IKEDS的表现优于基线:(i)准确率为85.7%(对比67.3-77.6%),(ii)知识相关性为0.91(对比0.74-0.83),(iii)解释质量为0.88(对比0.67-0.76),(iv)跨领域整合为0.84(对比0.47-0.63)它还能够实现37%的学习效率和迁移提升。这种结合使我们能够将知识图谱的推理和常识与 LLM 的灵活性和语言相结合。
[返回]

下一篇:中国人工智能在欧洲地球科学学会引发恐慌