| 社会舆论预测利用融合动力学方程与基于LLM的智能体 |
| 来源:一起赢论文网 日期:2025-08-09 浏览数:562 【 字体: 大 中 小 大 中 小 大 中 小 】 |
|
社会舆论预测利用融合动力学方程与基于LLM的智能体 用户意见的动态在引领社会运动和影响舆论方面起着至关重要的作用。预测这些动态对于理解社会现象、科学制定政策和有效引导公共话语至关重要1,2,3,4.用户意见形成和演变的过程是复杂的,并受到多种因素的驱动。因此,准确捕捉这一过程成为学术界和工业界关注的重点。
观点模拟方法分为两类:传统的基于智能体的建模(ABM)和基于大型语言模型(LLM)的算法。ABM 对个人与当地规则之间的互动进行建模,以模拟意见传播。元胞自动机 (CA) 以其结构化的网格动力学和局部空间相互作用,为模拟复杂系统的复杂时空演化提供了一个强大的框架 5,6.有限置信模型将心理因素整合到其框架中,包括 Deffuant-Weisbuch (DW) 模型7和 Hegselmann-Krause (HK) 模型8.克利福德开发的选民模型9和霍利10抓住了公共选择动态的本质。此外,经验 ABM 是基于真实数据开发的。Carpentras 利用 ABM 模拟基于现实生活实验的姿态极化现象 (ABM-RLE)11,而 Duggins 提出了心理动机模型 (ABM-PM) 并复制了两个关于美国人政治观点的实证数据集12.然而,这些模型在模拟现实世界时仍然无法解决大方差和自衰减问题。
基于 LLM 的意见传播算法13提供了一种创新方法,使用 LLM 代理代替人类社交互动来构建社交网络14,15,16.该框架涉及创建参与交互以传播和预测意见的代理。G. De Marzo 证明,代理在交互中可以自发形成无尺度网络,类似于现实世界的社交网络,例如 Twitter17.此外,斯坦福大学的研究人员还扩展了法学硕士的功能来存储记忆和实施动态行动计划18.Chuang等人已经确定了基于LLM的代理中的固有偏见,并将其与现实世界的科学共识保持一致19.此外,Liu等人引入了基于LLM的假新闻传播模拟框架(FPS)框架20.
在群体模拟的背景下,G. De Marzo 定义了一个“多数力系数”来衡量代理人遵循多数意见的倾向。他们发现,一个LLM社团只有在群体规模不超过一定阈值的情况下,才能自发地达成共识21.为了控制代理的数量,Mou 等人提出了一个混合框架,其中核心用户由 LLM 驱动,同时使用基于演绎代理的模型刺激普通用户。尽管如此,由于意见传播不受限制,这种方法仍然难以预测对现实世界事件的看法22.
传统的舆论动态模型,如 CA 和 HK,在模拟人类无聊或免疫情绪方面存在不足。重复的事件传播会导致个人感到无聊,从而导致他们的观点走向中立。同时,流行病模型,特别是易感-感染-康复 (SIR) 模型,有效地说明了信息如何传播23.因此,可以使用 SIR 模型的概念来模拟人类的无聊。
本研究引入了一种创新的意见动力学仿真方法,称为融合动力学方程LLM(FDE-LLM),该方法将LLM与SIR模型相结合。我们的方法设计了一个微博(https://weibo.com/)模拟器,意见领袖使用 LLM 相互互动,而意见追随者使用 ABM 进行意见传播。然后,我们通过将CA与SIR模型相结合来约束意见追随者的意见变化,而CA模型则约束意见领袖。最后,我们采用少量提示来指导意见领袖根据他们的意见值输出行动,这些价值观由 CA 和 LLM 反思决定。利用开源模型 ChatGLM 作为 LLM Agent,我们在四个真实的微博数据集上进行了实验。结果表明,我们的FDE-LLM在动态时间扭曲(DTW)距离和皮尔逊相关系数(Corr.)指标上明显超过了现有的基于ABM和LLM的算法。
我们的贡献有三个:
我们提出了基于 LLM 的意见传播算法,受动态方程的约束,该算法可以实现更真实的宏观模拟结果。
我们将舆论动态与SIR概念相结合,有效模拟新闻发生后公众态度逐渐向中立转变的现象。
我们使用 ChatGLM 对准确的真实微博数据进行了大量实验,展示了与传统的基于 ABM 和 LLM 的算法相比,我们的方法具有更高的准确性。
方法
线下新闻
要使新闻开始在社交网络上传播,它必须使用真实发生的现实世界事件。这些事件被称为“离线新闻”。
在我们的研究中,我们特别选择了初始阶段和结束阶段之间结果逆转的线下新闻,以下简称“反转新闻”。此类新闻通常以有影响力的意见领袖发布未经证实的主张(谣言)开始,导致片面的舆论。一段时间后,官方当局公布真相或调查结果,导致舆论突然转向相反。随着时间的推移,随着公众逐渐恢复理性判断,平均态度趋向于中立。
在使用LLM模拟意见领袖时,我们只采用三种态度状态:1、0和-124.这使我们能够有效地模拟过程:支持 A \(\rightarrow\)(潜在的态度衰减)\(\rightarrow\) 新闻反转 \(\rightarrow\) 支持 B \(\rightarrow\) 态度衰减。对于 LLM 来说,产生明确的意见(同意/不同意)比具体值(0.7)更容易,因此 -1、0、1 更合适。此外,我们还结合了 CA 模型来生成最终的意见领袖态度。
数据分析
数据
我们利用中国社交媒体平台微博上的活动关键词作为抓取标记,每天收集每个活动的相关帖子和评论。我们总共收集了255176个帖子。我们的数据收集聚焦于四则“反转性很强”的新闻:“庞猫”自杀事件(133834)、中专女生“江屏”全球数学竞赛第12名(98471)、“青岛”地铁袭击案(6331)、“电都集”女生囤癌视频事件(16540)。我们设计了一个基于 LLM 的少数样本代理,以 [-1, 1] 的等级评估所有陈述的态度。每天记录姿态值,总持续时间从事件发生之日起。而且,这个消息开始流传,直到整体真实态度稳定下来,接近中立。态度和动作模型基于具有相同提示的 GLM4,以保持逻辑一致性。
这四个数据集表现出互联网讨论强度逐渐下降的水平,代表了具有四个不同讨论受欢迎程度的事件。这些数据可以更全面地评估我们的模拟方法的有效性。有关意见领袖和意见追随者的详细数据见表 1。
以下是实验期间提取的时间段。
庞茂事件(图。1a):2024年4月11日,21岁的游戏教练“庞茂”从重庆长江大桥跳下后不幸身亡。2024年5月2日,庞茂的姐姐分享了他们与女友的聊天记录截图,引发了广泛的争论。2024年5月19日,重庆市公安局南安区分局通过“平安南安”平台发布了一份关于4.11事件的官方通报,揭露了庞茂的姐姐故意引导负面舆论,对社交网络环境构成了威胁。
江平事件(图。1b):2024 年 6 月 13 日,2024 年阿里巴巴全球数学竞赛最终名单公布。来自江苏省涟水职业学校的17岁职业学生江萍获得了第12名的成绩,这一举措迅速引起了广泛关注。2024年6月21日,北京大学硕士生赵斌公开指责江萍出轨。
青岛事件(图。1c):2024年8月7日,山东青岛,一名年轻男子涉嫌在地铁上拒绝让座后,被一名老人扇耳光拳打脚踢,导致口鼻流血,引发热议。2024年8月8日,黑龙江新闻网报道称,涉事小伙现身并交代了事件经过,在视频中称,“老人投诉是因为我没有给他让座,但我只给女性让座,我为什么要给他让座”2024年8月12日,警方发布声明,透露这名年轻人先是侮辱了老人, 而这件事与“让座”无关。
电都矶事件(图。1d):2024年2月29日晚,“点读机妹”高俊宇在社交媒体上发布视频称自己被诊断出患有脑瘤并剃光头。在接下来的 11 天里,她的帐户发布了 8 个视频,记录了她的手术和康复过程。2024年3月11日,有网友注意到之前视频中的服装与季节不符,怀疑是“预先录制的视频”。2024年3月12日,杭州市余杭区互联网违法有害信息举报中心发布声明,确认视频拍摄于2023年9月,剪辑时间为2024年2月。
图1
图1
事件关系网络图。网络的核心代表意见领袖,而分支代表意见追随者。颜色越深,影响力越强。
全尺寸图像
根据图 1 的结果,可以进一步得到意见领袖与追随者的比例,如表 1 所示。
表1 不同数据集意见领袖和意见追随者的比例分布
全尺寸桌子
分析
通过分析观点随时间的变化,他们表现出以下两个特征:
1. 差异大谣言与真相的对比导致态度发生重大变化。在颠都矶事件中(图。2d),态度的极端方差达到1.4,表明超过一半的人经历了完全逆转。
2. 自我衰减 消息传开后,我们注意到意见上升到一定阈值,然后停止增长,逐渐下降,徘徊在零附近。这种趋势经常在真实新闻中通过“质疑真实性”或“双方可能都有问题”等中性情绪来捕捉。例如,在江平事件中(图。2b) 时间线从第 1 天到第 15 天,支撑位从第一天的 0.6 下降到 0.1。
为了更好地模拟上述特征,与传统的ABM相比,LLM可以有效地处理较大的方差,从而模拟对显著态度变化的态度趋势。此外,通过结合 SIR 模型的“恢复”概念,我们可以模拟自衰减现象。更多详情请参考图。主后 2日。
图2
图2
红线代表实际数据(a)庞茂事件(b)江平事件(c)青岛事件(d)奠都矶事件。图中标记的部件是我们需要使用模型进行模拟的关键区域。
全尺寸图像
工作流程
图3说明了FDE-LLM算法的整体框架。我们开发了一个 python 模拟社交平台,意见领袖拥有采取行动(例如评论和转发)的能力,而意见追随者则受到意见领袖和追随者的影响。意见领袖除了能够读懂对方的行为(评论和转发)外,还会在模拟的开头和结尾阅读线下新闻,代表着一个“反转新闻”的启动和结论(真相的揭示)。在线下新闻发布的间隙,他们会进行讨论和观点变化。
首先,意见领袖收到第一个不准确、误导性和挑衅性的线下新闻,并采取行动(图 1)。4). LLM-Attitude 评估随后对这些行为的态度。然后将结果分别转发给意见领袖(由 LLM 与 CA 模拟)和意见追随者(由 CA 与 SIR 模拟)。领导者会将 CA 模型处理的态度视为当前态度值。在下一轮中,当前姿态值将作为决定行动选择的影响因素之一(图 1)。5). 追随者将通过 CA 和 SIR 模型处理领导者的当前态度值,获得自己对当前轮次的态度值。
每轮为“一小时”,我们以现实中真相曝光的时间为参考,发布当时包含真相的线下新闻。关注者代表普通大众,反映了舆论的方向。因此,在评估态度时,我们会使用舆论关注者。通过将真相曝光前后的态度与真实态度进行比较,我们可以评估模拟的有效性。
图3
图3
FDE-LLM模拟的工作流程:意见领袖和意见追随者的合作、角色扮演机制以及CA和SIR模型的集成。
全尺寸图像
定义
意见领袖代理
意见领袖是社交网络中意见的发起者。正面意见领袖通常在关键时刻发挥建设性作用,而负面意见领袖则可能散布谣言、误导他人,甚至破坏社会稳定。因此,意见领袖的影响本质上是双重的,因为它可以引导团队朝着积极的目标前进,也可以导致消极后果。
根据真实世界的数据集,我们根据用户的画像(如评论家、名人、官方媒体账号等)选择和建模意见领袖。(图。1,表1)。我们保持了 1:9 的意见领袖与追随者的比例,确保模拟中影响力的真实分布。
这些代理人有意识地向追随者传播或传播他们的观点并引导他们的观点;他们的意见不受意见追随者的影响,只有态度相似的领导者之间才有意见的互动。我们通过姿态差阈值来控制这一点。结果,我们获得了多组具有明显态度的领导者。
意见追随者代理
我们将不具备上述所有特征的个人定义为意见追随者。实际上,意见追随者缺乏明确的目标意见。
在我们的代理框架中,在更新观点的过程中,他们会受到意见领袖和其他意见追随者的相似意见的影响。
图4
图4
行动和态度。左侧显示 LLM-Action 可以选择的作类型。相比之下,右侧说明了与每种动作类型相关的具体行为以及 LLM-Attitudes 对态度的相关评分。
全尺寸图像
法学硕士行动
LLM-Action 模块预测意见领袖在阅读新闻后采取的行动。基于 Xinyi Mou 等人描述的配置文件。22,我们为意见领袖分配了社会人物。他们的特点是健谈和挑衅,这使得他们的行为更加激进,降低了中立的可能性。此设置有利于后续的 LLM-Attitude 模块评估代理的姿势。
为了保证行动的连贯性,避免出现支持和反对“翻牌”的错误场景,智能体在每轮行动时需要考虑当前的态度值(图5)。
图5
图5
代理配置文件。这是一个活跃且有影响力的社交媒体代理的例子,通过叙事放大和夸张的评论来吸引观众。配置文件是根据目标用户的评论和帖子从实际数据集中汇总的。
全尺寸图像
法学硕士态度
该模型还利用既定的框架,通过为不同事件设计有针对性的提示,促进客观公正的态度评估,来构建智能体。通过对行动和态度使用相同的 LLM,我们保证 LLM-Attitude 和 LLM-Action 保持一致的值,这解释了生成态度的一致性。
我们设计代理仅选择三个值:1 表示支持,0 表示中立,-1 表示反对(支持对方)。这种设计基于“反转新闻”的特点,往往凸显了观点的极端两极分化。在这种情况下,群体对谣言和真相的态度往往截然相反,然后最终趋于稳定。因此,仅使用 1、0 和 -1 就足以反映态度演化的整个过程。此外,考虑到 LLM 的不确定性,如果中间值过多,LLM 可能会针对同一动作的相似变化产生明显不同的答案,从而导致不正确的态度判断。
模型
意见领袖:法学硕士与 CA
LLM 在态度发生重大变化的场景中非常有效,因为它们可以处理意见的巨大变化。然而,它们往往会迅速收敛到稳定的值,缺乏模拟持续变化和相互作用的能力。相比之下,CA 无法轻易捕捉事件的突然变化,但擅长模拟个体之间相互影响的影响。
通过结合这两个模型,我们可以利用每个模型的优势:用于处理大规模姿态变化的 LLM,以及用于对群体内复杂的交互和连续动态进行建模的 CA。为了捕捉意见领袖之间的微观互动,我们将他们的意见状态映射到 CA 网格上5,其中每个单元格代表一个代理。我们选择了基于电网的模型而不是全连接网络,以平衡真实性和实用性。虽然完全连接的网络可以捕获复杂的远程交互,但它们需要大量数据(例如,用户关注列表)和计算资源。网格模型假设本地互动,与事件驱动的动态保持一致,其中大多数意见领袖经常在社区内施加局部影响。在保持全球多样性的同时,促进了局部共识,适用于没有完全共识的场景25,26,27.此外,它还通过避免敏感数据和灵活的组规模调整来提供数据效率、隐私保护和可扩展性。CA模型如式1、2所示。
$$\begin{aligned} O_i^{t+1}=r\cdot O_i^t+w\cdot \sum _{j\in X_i}\ T_{ij}^t \end{aligned}$$ (1)
$$\begin{对齐} T_{ij}^t = {\left\{ \begin{array}{ll} O_j, & r = 0 \\ 0, & r = 1 \text { 或 } \left|O_j^t - O_i^t \right|> \epsilon \\ \left( O_j^t - O_i^t \right) \cdot \sqrt{r \cdot |O_j^t|}, & r \ne 1, 0 \text { 和 } \left|O_j^t - O_i^t \right|\le \epsilon \end{array}\right。} \end{对齐}$$ (2)
其中 \(O_i^{t+1}\) 表示个人意见领袖 i 在时间 \(t+1\) 的更新意见。\(O_i^t\) 是个人意见领袖 i 在时间 t 的意见;r 是保留系数,表示当前意见被保留了多少;W是指决定相邻意见影响的影响系数。同时,\(\sum _{j\in X_i} T_{ij}^t\) 表示时间 t 时邻域 \(X_i\) 中所有邻居 j 的影响 \(T_{ij}^t\) 的总和。该公式模拟了个人意见领袖意见随时间的演变,考虑了个人保留率和周围意见的影响。
机制 1(意见持久性)保留因子 \(r \in [0,1]\) 通过更新矩阵中的对角线优势来量化认知一致性。
机制 2(阈值影响)容差阈值 \(\epsilon\) 通过抵消 \(|\Delta O| > \epsilon\) 之外的影响来实现确认偏差。
机制 3(非线性影响)项 \(\sqrt{r\cdot |O_j^t|}\) 捕获相邻代理的意见对个人态度的影响。
我们设计了以下公式来约束 LLM 使用 CA 生成的态度(式 3):
$$\begin{aligned} \begin{aligned} O_i^{t+1} = \textrm{clip}\Bigg (&\alpha \cdot \left( r \cdot O_i^t + w \cdot \sum _{j \in N_i} T_{ij}^t\right) + (1 - \alpha ) \cdot \text {LLM}, -1, 1 \Bigg ) \end{aligned} \end{aligned}$$ (3)
我们概述了 \(clip(-1, 1)\) 函数,以确保更新后的意见值保持在 \([-1, 1]\) 的范围内。这种框架防止意见值超出合理限度,保证了模型结果的稳定性和合理性。此外,还引入了 \(\alpha\) 融合系数来确定 LLM 和 CA 模型的相对影响。伪代码如算法 1 所示。
算法 1
图A
LLM + CA 模型
全尺寸图像
意见追随者:CA 与 SIR
CA模型在模拟群体内姿态传播方面表现出很强的效率。然而,我们对真实数据集的检查揭示了一个有趣的现象:自衰减。
为了应对这一挑战,我们集成了 SIR 模型的一部分。通过引入受SIR恢复概念启发的概率衰减规则,我们有效地克服了CA模型中无约束姿态传播的局限性。这种适应使得舆论追随者在接触到与意见领袖的立场保持一致时能够重新获得平衡,从而更准确地反映了社会新闻讨论中态度的自然衰落。CA-SIR 模型如下: \(O_i^{t+1} = O_i^{t+1} \cdot e^{-\lambda \cdot |O_i^{t+1}|}\quad \text {if} \quad \text {随机} < \gamma\)
CA和SIR的融合模型由以下式4描述。
$$\begin{aligned} O_i^{t+1} = \textrm{clip}\left( \left( r \cdot O_i^t + w \cdot \frac{\sum _{j \in N_i} \left( O_j^t - O_i^t \right) \cdot \sqrt{r \cdot |O_j^t|}\cdot 我\left( |O_j^t - O_i^t|\le \epsilon \right) }{|N_i|}\right) \cdot e^{-\lambda \cdot |O_i^{t+1}|}\cdot I(\text {random} < \gamma ), -1, 1\right) \end{aligned}$$ (4)
其中 \(|N_i|\) 是单个 i 周围的邻居数量: \(|O_j^t - O_i^t|\) 表示邻居 j 和个体 i 之间的意见差异;\(I\left( |O_j^t - O_i^t|\le \epsilon \right)\) 是一个指标函数,如果意见差异在阈值 \(\epsilon\) 范围内,则等于 1,否则等于 0。\(\lambda\) 是表示意见自然衰减的衰减率。\(\gamma\) 是恢复率,表示意见恢复的概率。伪代码如算法 2 所示。
算法 2
图B
CA + SIR 型号
全尺寸图像
实验
实验设置
GLM4 模型在 Python 3.10.12 环境中运行,使用 Intel(R) Xeon(R) Platinum 8160 CPU @ 2.10GHz,一个 T4 GPU。我们的方法侧重于将 ABM 与 LLM 集成,以模拟意见动态中的人类行为,强调 LLM 的角色扮演能力而不是高级推理。选择 GLM4 是因为它在生成上下文相关响应方面的强大性能,这足以对意见领袖互动进行建模。
1. 参数设置通过实验,我们发现我们可以对类似反转新闻的所有模型使用统一的参数。使用ABM算法通过网格搜索推导参数,以最大化相关系数。具体设置如下:对于 CA 模型:意见弹性 \(r = 0.99\)、邻里影响系数 \(w = 0.3\)、意见交互阈值 \(\epsilon = 0.5\);对于 SIR 模型:感染率 \(\beta = 0.3\)、恢复率 \(\gamma = 0.9\)、衰减率 \(\lambda = 0.5\)。基于图中的结果。1 和表 1,我们将意见领袖和意见追随者之间的比例设置为 1:9。
2. 模型配置 (1) LLM:模拟仅使用 LLM,无需任何干预。(2) ABM(CA)5:我们使用 ABM 常用的 CA 模型。(3) ABM(香港)8:该模型采用 ABM 常用的 HK 模型。(4) ABM(下午)12:我们采用 Duggins 的心理动机 ABM 模型。(5) ABM(RLE)11:我们采用 Carpentras 的 ABM 模型,该模型基于现实生活中的经验。(6)LLM+ABM(CA):我们通过LLM模拟意见领袖,而ABM则使用CA模型来模拟群体态度。
指示器
我们使用两个指标评估模型在模拟中的有效性。
1.
皮尔逊相关系数(Corr.)用于测量模拟姿态序列\(S=\left( s_1,s_2,\ldots ,s_n\right)\)与真实姿态序列\(T=\left( t_1,t_2,\ldots ,t_n\right))之间的线性相关关系。公式如下:
$$\begin{aligned} r = \frac{\sum _{i=1}^{n}\left( s_i-\bar{s}\right) \left( t_i-\bar{t}\right) }{\sqrt{\sum _{i=1}^{n}\left( s_i-\bar{s}\right) ^2} \sqrt{\sum _{i=1}^{n}\left( t_i-\bar{t}\right) ^2}} \end{aligned}$$ (5)
其中 \(\bar{s}\) 和 \(\bar{t}\) 分别是模拟姿态和真实姿态的平均值。Corr.范围为[-1,1],值越接近1,模拟姿态与真实姿态之间的线性相关性越强,表明模型更好地捕捉了真实姿态的变化。
2.
动态时间扭曲(DTW)用于测量模拟姿态序列S与真实姿态序列T之间的相似性,特别是当两个序列长度不同或存在时间变化时。DTW 通过计算最小累积距离来对齐两个序列。公式如下:
$$\begin{对齐} DTW(S, T) = \min {\sqrt{\sum _{k=1}^{K} \left( s_{i_k} - t_{j_k}\right) ^2}} \end{对齐}$$ (6)
其中 \(\left( i_k, j_k\right)\) 表示序列 S 和 T 中的对齐点,K 是对齐路径的长度。DTW距离越小,表明模拟姿态和真实姿态的时间序列之间的相似度越高,表明该模型在模拟复杂时间序列模式方面表现更好。我们可以使用 DTW 更好地评估模型在动态环境中的准确性和鲁棒性。
主要结果
图6
图6
(a)庞茂事件(b)江平事件(c)青岛事件(d)点都集事件的真实结果与模拟结果对比。红线代表实际数据。
全尺寸图像
表2 真实结果与模拟结果对比最佳结果以粗体突出显示,次好结果以斜体标记。
全尺寸桌子
本研究的重点是以关注度迅速上升和人气迅速下降为特征的社会新闻事件。受欢迎程度的下降直接减少了极端(激进)态度,增加了中立和理性的分析师。通过对真实态度数据的分析,我们发现了社会新闻事件的一个关键特征。事件失去关注或真相曝光后,态度稳定,群体态度趋于接近0(群体中立)。
我们的FDE-LLM模型集成了SIR模型来约束意见追随者的态度,有效地模拟了群体态度的损失特征。与仅强调新闻事件引发的态度变化的LLM+ABM模型相比,FDE-LLM模型增强了群体态度在态度变化之上的自然衰减,使社会新闻事件的模拟更加真实。例如,如表2所示,在庞卯事件中,FDE-LLM模型实现了最低的DTW值0.3622,与ABM(HK)(Corr = 0.6475)相比,比LLM模型高出86.38%(DTW = 2.6584),并表现出明显更高的相关性(Corr = 0.9653)。同样,在江平事件中,FDE-LLM模型的DTW值为0.3664,远低于LLM(DTW = 2.9963),并达到了0.8950的最高相关性,证实了其在多个数据集中的卓越性能。
ABM(PM)在模拟某些场景方面具有优势;然而,在面对动态的现实世界情况时,其适应性受到限制。ABM(RLE)通过群体极化在趋势模拟中表现出色,但极化带来的偏差也不容忽视。
当单独使用LLM时,姿态会表现出急转弯,并在极端值下保持稳定。虽然单独使用ABM模型在某些事件中产生了良好的结果,但它缺乏FDE-LLM模型的可解释性。详细结果如图所示。6和表2。
FDE-LLM 模型可以在微观层面上直接分析群体陈述,使其通过 LLM 意见领袖部分的行动日志在预测和控制舆情情况方面更有价值。我们在 Toy Example 中进一步讨论了这个问题。
消融研究
本节讨论了 FDE-LLM 模型在删除对核心用户的 CA 约束时的性能。以江平事件为例(图7),我们观察到没有 CA 约束的模型在预测极端值时往往反应过度,在一定程度上夸大了情况的紧迫性。例如,DTW 值从 0.3664(有 CA)显着增加到 0.7530(没有 CA),相关性从 0.8950 略有下降到 0.8671,表明准确性降低。在严重的情况下,这种过度反应可能会影响数据分析师的决策。
如表 3 所示,其他数据集的结果也揭示了类似的趋势,进一步强调了应用 CA 约束来稳定预测并确保社会事件真实建模的重要性。
表3 消融结果我们将FDE-LLM的性能与去除CA后的性能进行了比较。最佳数据以粗体突出显示。FDE-LLM 在每个数据集中删除 CA 后的性能都优于此。
全尺寸桌子
图7
图7
不带 CA 的 FDE-LLM。如果没有CA约束,模型在预测极值时往往会反应过度,夸大了情况的紧迫性,正如在江平事件中观察到的那样。这种过度反应会影响数据分析师做出的决策。
全尺寸图像
图8
图8
LLM 代理在反转消息之前的反应。
全尺寸图像
图9
图9
反转消息。
全尺寸图像
图10
图10
LLM 代理在反转消息后的回应。
全尺寸图像
玩具示例
我们随机选择了两组 LLM 代理,分析他们在重大新闻动态发布前后的行为。以江平事件为例,在质疑消息传出之前,特工们的态度都是积极的(图。8). 他们对她的成就表示鼓励和期待,并感到高兴。这一回应与微博帖子的实际内容紧密吻合。
然而,在质疑消息传出后(图。9),一些代理商对江平表现出强烈的信任,如左图所示,而另一些代理商则赞同疑虑,如右图所示,这与微博帖子的实际内容高度吻合(图10)。
结论
本研究通过结合 LLM 和 ABM 优化了预测意见的模型。这种方法结合了 CA 和 SIR 模型的约束,以在 LLM 指导下保持群体态度的自然衰减。我们提出的 FDE-LLM 将用户分为意见领袖和追随者。意见领袖使用 LLM 受到刺激并受到 CA 模型的约束,而意见追随者是集成 CA 和 SIR 模型的动态系统的一部分。这种创新设计显着提高了仿真精度和预测效率,尤其是在反转新闻方面。我们的实验结果始终优于以前最先进的 (SOTA) 模拟方法。虽然当现实世界的意见曲线相对简单时,传统方法的表现可能相当,但我们的方法在处理更复杂和不稳定的意见动态方面表现出色。
未来的研究可以通过集成实时社交媒体数据流来实现自适应模拟,使模型能够动态响应不断变化的事件并提高预测稳健性,从而推进这项工作。这些能力可以通过为决策者提供及时的见解或为有针对性的政策干预措施提供信息以缓解社会两极分化来加强危机沟通策略。 |
| [返回] |