作者链接 打开叠加面板

Kaze Du一个

,

杨博 一个

,

谢克强 b c

,

南东c

,

张正平 一个 d

,

王世龙 一个

,

莫帆 e f

一个

重庆大学 先进装备机械传动国家重点实验室， 重庆 400044

b

华中科技大学机械科学与工程学院， 中国 武汉 430074

c

工业和信息化部第五电子研究所， 广东 广州 510000

d

Seres Group Co. Ltd.， 中国 重庆 401335

e

剑桥大学仿人人工智能中心， CB2 1SB 英国

f

牛津大学计算机科学系， OX1 3QG 英国

2024 年 10 月 24 日接收，2025 年 2 月 7 日修订，2025 年 3 月 10 日接受，2025 年 3 月 17 日在线提供，记录版本于 2025 年 3 月 17 日。

 

 

这些日期是什么意思？

 

crossmark-logo

 

显示简要信息

 

添加到 Mendeley

 

共享

 

引用

https://doi.org/10.1016/j.aei.2025.103263

获取权利和内容

突出

•

LLM-MANUF：用于决策的微调 LLM 的综合框架;

•

引入了 Dynamically Weighted Mixture of Experts Ranking Method;

•

提出了一种自适应融合决策策略;

•

该框架在 O&M 决策场景下表现出卓越的性能;

•

该框架克服了参数约束，性能优于 14B LLM。

抽象

智能决策对于释放工业知识价值和在不同场景下增强制造业至关重要。然而，制造业中的传统决策方法无法完全捕捉到各个组件之间复杂的相互关系，往往会导致有偏差的决策。作为一种新颖的生产力工具，大型语言模型 （LLM） 具有强大的上下文语义解析能力。因此，本文提出了一个微调的 LLMs 集成框架，用于制造业中的智能决策。该框架支持通过多个并行微调的 LLM 从不同的特征子空间中提取决策信息，从而生成多个初步决策计划。随后，该框架对这些计划的概率进行建模，以得出候选人的排名列表。然后，它采用 RoBERTa 和动态加权专家混合排名方法 （DWMOE） 在多指标头的指导下执行多维特征提取和候选人排名。最后，使用最好的微调 LLM 来融合排名靠前的候选人，最大限度地减少最终决策过程中的偏见。为了评估 LLM-MANUF 的有效性，我们基于特定的汽车企业构建了一个制造产品设备运维文本数据集。结果表明，LLM-MANUF 不仅优于单个微调的 LLM，而且与 LLM 的性能相匹配，具有 30B 参数，BLEU-4 得分为 83.37 分，表现出卓越的可靠性和有效性。LLM-MANUF 为制造决策模型提供了强大的智能决策支持工具。

介绍

决策是制造系统中的一项关键活动，包括生产、运营管理和持续改进 [1]。在这种情况下，决策者通常依靠他们的专业知识和实践经验，根据给定地点的特定需求开发多种替代方案，确保做出明智的选择 [2]。这些决策贯穿于整个制造生命周期，包括生产线的设计和调度、适当加工方法的选择以及设备的运行和维护 [3]。高效准确的决策在优化整个生产流程、帮助制造公司简化决策流程、减少不确定性、提高运营效率和增强整体绩效方面发挥着关键作用。当生产过程中出现质量缺陷或设备故障等不可预见的事件时，尤其如此 [4]。在这种情况下，快速而精确的决策可以防止产品质量恶化、生产延误甚至安全事故等问题。然而，实现完全连续的最佳决策几乎是不可能的，因为制造决策过程不可避免地受到各种内部和外部因素的影响，从而导致决策偏差 [5]。因此，开发智能制造决策框架以有效减轻决策偏差对于组织应对复杂的生产挑战、确保一致的产品质量和保持高效的生产能力至关重要。

制造业决策偏差的原因可分为客观因素和主观因素。从客观的角度来看，现代制造系统日益复杂带来了新的挑战 [6]。制造系统涉及设备、信息流、流程和人机界面之间错综复杂的交互，对决策方法提出了新的要求。随着机器学习和深度学习等人工智能技术的快速发展，这些技术正逐渐集成到制造决策支持系统中 [7]。与依赖于固定规则集或模板的传统基于规则的决策树和专家系统不同，AI 驱动的方法通过在制造数据上训练模型 [8] 来自动识别模式并做出预测，如图 1 所示。制造决策中的 AI 应用主要分为两种范式：数据驱动和知识驱动。数据驱动方法侧重于从大型数据集 [9] 中提取模式，特别适用于状态监测和预测性维护等应用。虽然数据驱动的方法有助于决策，但它们通常不会直接产生可行的建议。相比之下，知识驱动型方法利用知识图谱 [10] 或预训练模型 [11] 通过解析深入的制造知识来推导出决策计划，从而弥补数据驱动型方法的局限性。此外，LLM 的出现显着增强了对制造领域专业知识的理解。凭借其先进的语义解析能力，LLM 可以有效地识别和提取制造过程中的隐式语义信息，从而增强制造决策框架的智能性。

在主观层面上，随着制造系统变得越来越复杂，潜在问题的频率和多样性也在增加 [12]。这种高度的复杂性给制造过程带来了更多的不确定性。虽然现有的决策框架可以支持工程师，但大多数都基于封闭领域的知识系统 [13]，它们的开发和优化在很大程度上依赖于领域专家的经验和专业知识。由于不同专家的知识、经验和偏好不同，他们对同一制造问题的解释和解决方案可能不同 [14]，直接影响决策的一致性和可靠性。在设备和流程高度互连的复杂制造环境中，这个问题尤其严重，其中主观差异可能会累积，从而损害产品质量和生产稳定性。此外，工程师在与制造决策框架交互时，经常面临巨大的信息处理负担 [15]。有限的认知能力和时间限制阻碍了他们在信息过载的情况下做出最佳决策的能力，进一步放大了决策偏倚的风险。

为了解决制造决策偏差的问题，本文提出了一种微调的 LLMs 集成框架 LLM-MANUF，用于制造中的智能决策。具体来说，LLM-MANUF 框架包含多个小规模 LLM，每个 LLM 都在制造语料库上进行了微调。LLM 增强了决策框架的上下文解析能力，使其能够更好地理解制造系统内的复杂关系。此外，它通过整合每个模型优势的排名策略和融合策略来降低决策偏差的可能性。这项工作的科学新颖性可以概括如下：

(1)

LLM 集成框架 LLM-MURAL 旨在缓解制造决策偏差问题，该问题使用多个微调的 LLM 联合分析相同的决策任务，然后应用整合 LLM 优势的排名和融合策略来生成最佳决策计划。

(2)

研究了微调 LLM 以实现制造业中的智能决策。通过组织制造相关文档获得制造语料库，选择几个计算资源要求较低的 LLM，并应用 LoRA 微调方法，获得基于上述制造特定语料库的微调 LLM，并有针对性地对 LLM 进行微调。

(3)

引入了 Dynamically Weighted Mixture of Experts Ranking Method。此方法对最佳候选项的概率进行建模，并生成候选项排名。使用 RoBERTa 语义解析器执行语义特征提取，而概率分布模型使用 DWMOE 构建。应聘者排名由多量度标题指导。

(4)

自适应融合决策策略 （AFDS）：该策略根据制造决策场景的特定要求动态选择最合适的 LLM 来融合最佳候选解决方案。融合过程综合了每个候选解决方案的优势，提高了最终决策计划的准确性和可靠性，并显著降低了决策偏差。

本文其余部分的结构如下：第 2 节回顾了制造决策偏差和集成框架的相关研究进展。第 3 节概述了 LLM-MANUF 框架的关键组成部分。第 4 节介绍了为验证目的而进行的制造决策案例研究。最后，第 5 节提供了研究摘要并提出了未来工作的方向。