，ｗｈｏｓｅ　ｇｏａｌ　ｉｓ　ｔｏ　ｃｌａｓｓｉｆｙ　ａｒｇｕｍｅｎｔ　ｃｏｍｐｏｎｅｎｔｓ　ｉｎｔｏ　ｄｉｆｆｅｒｅｎｔ　ｔｙｐｅｓ，ｓｕｃｈ　ａｓ　ｃｌａｉｍｓｏｒ　ｐｒｅｍｉｓｅｓ；（３）Ａｒｇｕｍｅｎｔ　ｃｏｍｐｏｎｅｎｔ　ｒｅｌａｔｉｏｎ　ｉｄｅｎｔｉｆｉｃａｔｉｏｎ（ＲＩ　Ｔａｓｋ），ｗｈｉｃｈ　ａｉｍｓ　ｔｏ　ｉｄｅｎｔｉｆｙｔｈｅ　ｒｅｌａｔｉｏｎｓｈｉｐ　ｔｙｐｅ　ｂｅｔｗｅｅｎ　ａｒｇｕｍｅｎｔ　ｃｏｍｐｏｎｅｎｔｓ，ｓｕｃｈ　ａｓ　ｓｕｐｐｏｒｔ　ｏｒ　ａｔｔａｃｋ．Ｒｅｃｅｎｔｌｙ，ｍａｎｙｒｅｓｅａｒｃｈｅｒｓ　ｈａｖｅ　ｐｒｏｐｏｓｅｄ　ａ　ｓｅｒｉｅｓ　ｏｆ　ａｒｇｕｍｅｎｔａｔｉｏｎ　ｍｉｎｉｎｇ　ｍｏｄｅｌｓ　ａｎｄ　ｍａｄｅ　ｂｒｉｌｌｉａｎｔ　ｉｍｐｒｏｖｅｍｅｎｔ．Ｈｏｗｅｖｅｒ，ｍｏｓｔ　ｏｆ　ｔｈｅ　ｅｘｉｓｔｉｎｇ　ａｐｐｒｏａｃｈｅｓ　ｍａｉｎｌｙ　ｆｏｃｕｓ　ｏｎ　ｍｏｄｅｌｉｎｇ　ｅａｃｈ　ｓｕｂｔａｓｋ　ａｎｄ　ｉｇｎｏｒｅ　ｔｈｅｃｏｒｒｅｌａｔｉｏｎ　ｉｎｆｏｒｍａｔｉｏｎ　ａｍｏｎｇ　ｔｈｅ　ｔｈｒｅｅ　ｓｕｂｔａｓｋｓ，ｒｅｓｕｌｔｉｎｇ　ｉｎ　ｌｏｗ　ｐｅｒｆｏｒｍａｎｃｅ．Ｉｎ　ａｄｄｉｔｉｏｎ，ｓｏｍｅ　ｏｆ　ｔｈｅ　ａｐｐｒｏａｃｈｅｓ　ｕｔｉｌｉｚｅ　ｐｉｐｅｌｉｎｅ　ｍｅｔｈｏｄｓ　ｔｏ　ｊｏｉｎｔｌｙ　ｍｏｄｅｌ　ｔｈｒｅｅ　ｓｕｂｔａｓｋｓ．Ｔｈｅ　ｐｉｐｅｌｉｎｅｍｅｔｈｏｄｓ　ｓｔｉｌｌ　ｃｏｎｓｉｄｅｒ　ｅａｃｈ　ｓｕｂｔａｓｋ　ｉｎｄｅｐｅｎｄｅｎｔｌｙ，ａｎｄ　ｔｒａｉｎ　ｓｅｐａｒａｔｅｄ　ｍｏｄｅｌｓ　ｆｏｒ　ｅａｃｈ　ｓｕｂｔａｓｋ，ｗｈｉｃｈ　ｃｏｕｌｄ　ｌｅａｄ　ｔｏ　ｅｒｒｏｒ　ｐｒｏｐａｇａｔｉｏｎ　ａｎｄ　ｒｅｄｕｎｄａｎｔ　ｉｎｆｏｒｍａｔｉｏｎ　ｉｎ　ｔｈｅ　ｔｒａｉｎｉｎｇ　ｐｒｏｃｅｓｓ．Ｍｏｒｅｓｐｅｃｉｆｉｃａｌｌｙ，ｔｈｅ　ｅｒｒｏｒ　ｏｆ　ａｒｇｕｍｅｎｔ　ｃｏｍｐｏｎｅｎｔ　ｂｏｕｎｄａｒｙ　ｒｅｃｏｇｎｉｔｉｏｎ　ｍｏｄｕｌｅ　ａｆｆｅｃｔｓ　ｔｈｅ　ｆｏｌｌｏｗｉｎｇａｒｇｕｍｅｎｔ　ｃｏｍｐｏｎｅｎｔ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ｐｅｒｆｏｒｍａｎｃｅ．Ｓｉｍｉｌａｒｌｙ，ｔｈｅ　ｅｒｒｏｒ　ｏｆ　ａｒｇｕｍｅｎｔ　ｃｏｍｐｏｎｅｎｔｃｌａｓｓｉｆｉｃａｔｉｏｎ　ａｌｓｏ　ｉｎｆｌｕｅｎｃｅｓ　ｔｈｅ　ｐｅｒｆｏｒｍａｎｃｅ　ｏｆ　ａｒｇｕｍｅｎｔ　ｃｏｍｐｏｎｅｎｔ　ｒｅｌａｔｉｏｎ　ｉｄｅｎｔｉｆｉｃａｔｉｏｎ．Ｔｏｓｏｌｖｅ　ｔｈｅｓｅ　ｐｒｏｂｌｅｍｓ　ａｂｏｖｅ，ｗｅ　ｐｒｏｐｏｓｅ　ａ　ｍｕｌｔｉ－ｔａｓｋ　ｉｔｅｒａｔｉｖｅ　ｌｅａｒｎｉｎｇ　ｍｅｔｈｏｄ　ｗｈｉｃｈ　ａｓｓｕｍｅｓｔｈａｔ　ｔａｇｓ　ｐｒｅｄｉｃｔｉｎｇ　ｆｏｒ　ｏｎｅ　ｔａｓｋ　ｃｏｕｌｄ　ｂｅ　ｕｓｅｆｕｌ　ｆｅａｔｕｒｅ　ｆｏｒ　ｏｔｈｅｒ　ｔａｓｋｓ，ａｎｄ　ｊｏｉｎｔｓ　ｔｈｒｅｅ　ｓｕｂｔａｓｋｓｉｎ　ｐａｒａｌｌｅｌ　ｔｏ　ｌｅａｒｎ　ｔｏｇｅｔｈｅｒ　ｆｏｒ　ａｒｇｕｍｅｎｔａｔｉｏｎ　ｍｉｎｉｎｇ．Ｆｉｒｓｔｌｙ，ｗｅ　ｏｂｔａｉｎ　ｔｈｅ　ｓｈａｌｌｏｗ　ｓｈａｒｅｄｐａｒａｍｅｔｅｒｓ　ｏｆ　ｔｈｅ　ｔｅｘｔ　ｃｈａｒａｃｔｅｒ　ａｎｄ　ｗｏｒｄ　ｌｅｖｅｌ　ｂｙ　ｕｔｉｌｉｚｉｎｇ　ｔｈｅ　ｄｅｅｐ　Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ（ＣＮＮ）ａｎｄ　ｔｈｅ　ｈｉｇｈｗａｙ　ｎｅｔｗｏｒｋ．Ａｎｄ　ｔｈｅｎ，ｔｈｅ　Ｂｉ－ｄｉｒｅｃｔｉｏｎａｌ　ＬＳＴＭ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　ｉｓ　ｔｒａｉｎｅｄｔｏ　ｓｏｌｖｅ　ｔｈｒｅｅ　ｓｕｂｔａｓｋｓ　ａｔ　ｔｈｅ　ｓａｍｅ　ｔｉｍｅ　ｔｏ　ａｖｏｉｄ　ｅｒｒｏｒ　ｐｒｏｐａｇａｔｉｏｎ．Ｉｎ　ｔｈｅ　ｔｒａｉｎｉｎｇ　ｐｒｏｃｅｓｓ，ｔｈｅｃｏｒｒｅｌａｔｉｏｎ　ｉｎｆｏｒｍａｔｉｏｎ　ａｍｏｎｇ　ｅａｃｈ　ｓｕｂｔａｓｋ　ｉｓ　ｕｓｅｄ　ｔｏ　ｏｖｅｒｃｏｍｅ　ｔｈｅ　ｇｅｎｅｒａｔｉｏｎ　ｏｆ　ｒｅｄｕｎｄａｎｔｉｎｆｏｒｍａｔｉｏｎ．Ｆｉｎａｌｌｙ，ｔｈｅ　ｏｕｔｐｕｔ　ｏｆ　ｔｈｒｅｅ　ｓｕｂｔａｓｋｓ　ｉｓ　ｃｏｎｃａｔｅｎａｔｅｄ　ａｓ　ｔｈｅ　ｉｎｐｕｔ　ｆｏｒ　ｔｈｅ　ｎｅｘｔｉｔｅｒａｔｉｏｎ　ｔｏ　ｉｍｐｒｏｖｅ　ｔｈｅ　ｐｅｒｆｏｒｍａｎｃｅ．Ｍｕｌｔｉ－Ｔａｓｋ　Ｌｅａｒｎｉｎｇ（ＭＴＬ）ｉｓ　ａｎ　ｉｍｐｏｒｔａｎｔ　ｍａｃｈｉｎｅｌｅａｒｎｉｎｇ　ｍｅｃｈａｎｉｓｍ　ａｎｄ　ｉｍｐｒｏｖｅｓ　ｔｈｅ　ｇｅｎｅｒａｌｉｚａｔｉｏｎ　ｐｅｒｆｏｒｍａｎｃｅ　ｂｙ　ｌｅａｒｎｉｎｇ　ａ　ｔａｓｋ　ｔｏｇｅｔｈｅｒ　ｗｉｔｈｏｔｈｅｒ　ｒｅｌａｔｅｄ　ｔａｓｋｓ．Ｏｕｒ　ｍｏｄｅｌ　ｂａｓｅｄ　ｏｎ　ＭＴＬ　ｃｏｕｌｄ　ｉｔｅｒａｔｉｖｅ　ｕｔｉｌｉｚｅ　ｐｒｅｄｉｃｔｉｎｇ　ｔａｇｓ’ｄｉｓｔｒｉｂｕｔｉｏｎｏｆ　ｅａｃｈ　ｔａｓｋ　ｅｘｐｌｉｃｉｔｌｙ．Ｅｘｐｅｒｉｍｅｎｔａｌ　ｒｅｓｕｌｔｓ　ｏｎ　ｓｔｕｄｅｎｔ　ｅｓｓａｙｓ　ｐｕｂｌｉｓｈｅｄ　ｂｙ　ｔｈｅ　ＵＫＰ　ｌａｂｏｒａｔｏｒｙｉｎ　Ｇｅｒｍａｎｙ　ｓｈｏｗ　ｔｈａｔ，ｃｏｍｐａｒｅｄ　ｔｏ　ｔｈｅ　ｓｔａｔｅ－ｏｆ－ｔｈｅ－ａｒｔ　ｍｏｄｅｌｓ，ｏｕｒ　ｍｏｄｅｌ　ｉｍｐｒｏｖｅ　２．７４％ ｏｎａｃｃｕｒａｃｙ，１．０５％ ｏｎ“Ｆ１（１００％）”ａｎｄ　１．１９％ ｏｎ “Ｆ１（５０％）”，ｗｈｉｃｈ　ｖｅｒｉｆｙ　ｔｈｅ　ｖａｌｉｄｉｔｙ　ｏｆ　ｏｕｒｍｏｄｅｌ．Ｂｅｓｉｄｅｓ，ｒｅｓｕｌｔｓ　ａｌｓｏ　ｓｈｏｗ　ｔｈａｔ　ｔｈｅ　ｐｅｒｆｏｒｍａｎｃｅ　ｏｆ　ｍｕｌｔｉ－ｔａｓｋ　ｌｅａｒｎｉｎｇ　ｉｓ　ｂｅｔｔｅｒ　ｔｈａｎｓｉｎｇｌｅ　ｔａｓｋ　ｌｅａｒｎｉｎｇ．Ｋｅｙｗｏｒｄｓ　 ｍｕｌｔｉ－ｔａｓｋ　ｌｅａｒｎｉｎｇ；ａｒｇｕｍｅｎｔａｔｉｏｎ　ｍｉｎｉｎｇ；ｉｔｅｒａｔｏｒ　ｍｏｄｅｌ；ｄｅｅｐ　ｌｅａｒｎｉｎｇ；ｃｏｎｖｏｌｕｔｉｏｎｎｅｕｒａｌ　ｎｅｔｗｏｒｋ１　引　言随着互联网技术和社交媒体的快速发展，用户产生了大量的观点评论等主观性数据，对这些主观性数据的研究蕴含了巨大商业价值和学术价值．论辩挖掘（Ａｒｇｕｍｅｎｔａｔｉｏｎ　Ｍｉｎｉｎｇ）旨在研究如何从主观性数据中自动地识别论点并抽取论点关系，以满足信息化背景下人们对信息检索和信息抽取的更高需求［１］，正逐渐成为情感分析领域的研究热点．它可以广泛地应用在司法［２］、人文与教育［３］、用户生成内容［４］等领域，为人们提供便捷的自动化工具．论辩挖掘中的论点部件（Ａｒｇｕｍｅｎｔ　Ｃｏｍｐｏｎｅｎｔ）是人们用来说服 听众接受某种 特定 观点 的 基本单位［５］，通常一个主要论点（Ｍａｊｏｒ　Ｃｌａｉｍ）由多个主张（Ｃｌａｉｍ）组成，而一个主张由多个前提（Ｐｒｅｍｉｓｅ）来图 １　已标记的学生论文数据集［１］样例支持它．图１所示的是一段学生论文的例子，论点部７期 廖祥文等：基于多任务迭代学习的论辩挖掘方法５２５１４－２６；在线出版日期：２０１８－１１－３０．本课题得到国家自然科学基金项目（６１７７２１３５，Ｕ１６０５２５１）、中国科学院网络数据科学与技术重点实 验 室 开 放 基 金 课 题 （ＣＡＳＮＤＳＴ２０１７０８，ＣＡＳＮＤＳＴ２０１６０６）、可 信 分 布 式 计 算 与 服 务 教 育 部 重 点 实 验 室 主 任 基 金（２０１７ＫＦ０１）资助．廖祥文，博士，副教授，中国计算机学会（ＣＣＦ）高级会员，研究方向为文本倾向性检索与挖掘．Ｅ－ｍａｉｌ：ｌｉａｏｘｗ＠ｆｚｕ．ｅｄｕ．ｃｎ．陈泽泽，硕士研究生，研究方向为文本倾向性检索与挖掘．桂　林，博士，研究方向为自然语言处理．程学旗，博士，研究员，博士生导师，中国计算机学会（ＣＣＦ）会员，研究领域为网络科学、网络信息安全、互联网数据挖掘．陈国龙，博士，教授，博士生导师，研究领域为人工智能与网络安全．基于多任务迭代学习的论辩挖掘方法廖祥文１），２），３）　陈泽泽１），２），３）　桂　林１）　程学旗４）　陈国龙１），２），３）１）（福州大学数学与计算机科学学院　福州　３５０１１６）２）（福建省网络计算与智能信息处理重点实验室（福州大学）　福州　３５０１１６）３）（数字福建金融大数据研究所　福州　３５０１１６）４）（中国科学院网络数据科学与技术重点实验室，中国科学院计算技术研究所　北京　１００１９０）摘　要　论辩挖掘可分为论点边界的检测、论点类型的识别、论点关系的抽取三个子任务．现有的工作大多数对子任务分别建模研究，忽略了三个子任务之间的关联信息，导致性能低下．另外，还有部分的工作采用流水线模型把三个子任务进行联合建模，由于流水线模型仍然是独立的看待每个子任务，为每个子任务训练单独的模型，存在错误传播的问题，且在训练过程中产生了冗余信息．因此，本文提出了一种基于多任务迭代学习的论辩挖掘方法．该方法将论辩挖掘三个任务并行地联合在一起学习，首先通过深度卷积神经网络（ＣＮＮ）和高速神经网络（ＨｉｇｈｗａｙＮｅｔｗｏｒｋ），获得文本字符和词级别的浅层共享参数表示；然后输入双向长短时记忆循环神经网络（Ｂｉ－ＬＳＴＭ），利用论辩挖掘三个任务之间的关联信息进行同时训练，不仅可以避免错误传播，而且能够克服冗余信息的产生；最后，联结三个任务的 Ｂｉ－ＬＳＴＭ 网络 输 出 作 为 下 一 次 迭 代 的 输 入，来 提 高 模 型 的 性 能．实 验 采 用 了 德 国 ＵＫＰ 实 验 室公开的学生论文 数 据 集，实 验 结 果 表 明，与 目 前 最 好 的 基 准 方 法 对 比，该 方 法 的 准 确 率 指 标 提 高 了 ２．７４％，“Ｆ１（１００％）”和“Ｆ１（５０％）”指标分别提高了１．０５％和１．１９％，很好地验证了该方法的有效性．关键词　多任务学习；论辩挖掘；迭代模型；深度学习；卷积神经网络中图法分类号 ＴＰ３９１　　　ＤＯＩ号 １０．１１８９７／ＳＰ．Ｊ．１０１６．２０１９．０１５２４Ａｎ　Ａｒｇｕｍｅｎｔａｔｉｏｎ　Ｍｉｎｉｎｇ　Ｍｅｔｈｏｄ　Ｂａｓｅｄ　ｏｎ　Ｍｕｌｔｉ－Ｔａｓｋ　Ｉｔｅｒａｔｉｖｅ　ＬｅａｒｎｉｎｇＬＩＡＯ　Ｘｉａｎｇ－Ｗｅｎ１），２），３）　ＣＨＥＮ　Ｚｅ－Ｚｅ１），２），３）　ＧＵＩ　Ｌｉｎ１）　ＣＨＥＮＧ　Ｘｕｅ－Ｑｉ　４）　ＣＨＥＮ　Ｇｕｏ－Ｌｏｎｇ１），２），３）１）（Ｃｏｌｌｅｇｅ　ｏｆ　Ｍａｔｈｅｍａｔｉｃｓ　ａｎｄ　Ｃｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ，Ｆｕｚｈｏｕ　Ｕｎｉｖｅｒｓｉｔｙ，Ｆｕｚｈｏｕ　３５０１１６）２）（Ｆｕｊｉａｎ　Ｐｒｏｖｉｎｃｉａｌ　Ｋｅｙ　Ｌａｂｏｒａｔｏｒｙ　ｏｆ　Ｎｅｔｗｏｒｋ　Ｃｏｍｐｕｔｉｎｇ　ａｎｄ　Ｉｎｔｅｌｌｉｇｅｎｔ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｐｒｏｃｅｓｓｉｎｇ（Ｆｕｚｈｏｕ　Ｕｎｉｖｅｒｓｉｔｙ），Ｆｕｚｈｏｕ　３５０１１６）３）（Ｄｉｇｉｔａｌ　Ｆｕｊｉａｎ　Ｉｎｓｔｉｔｕｔｅ　ｏｆ　Ｆｉｎａｎｃｉａｌ　Ｂｉｇ　Ｄａｔａ，Ｆｕｚｈｏｕ　３５０１１６）４）（ＣＡＳ　Ｋｅｙ　Ｌａｂｏｒａｔｏｒｙ　ｏｆ　Ｎｅｔｗｏｒｋ　Ｄａｔａ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ，Ｉｎｓｔｉｔｕｔｅ　ｏｆ　Ｃｏｍｐｕｔｉｎｇ　Ｔｅｃｈｎｏｌｏｇｙ，Ｃｈｉｎｅｓｅ　Ａｃａｄｅｍｙ　ｏｆ　Ｓｃｉｅｎｃｅｓ，Ｂｅｉｊｉｎｇ　１００１９０）Ａｂｓｔｒａｃｔ　 Ａｒｇｕｍｅｎｔａｔｉｏｎ　ｍｉｎｉｎｇ　ｈａｓ　ｒｅｃｅｎｔｌｙ　ｂｅｃｏｍｅ　ａ　ｈｏｔ　ｔｏｐｉｃ　ｉｎ　ｔｈｅ　ｆｉｅｌｄ　ｏｆ　ｄａｔａ　ｍｉｎｉｎｇ　ａｎｄｎａｔｕｒａｌ　ｌａｎｇｕａｇｅ　ｐｒｏｃｅｓｓｉｎｇ．Ｉｔｓ　ｍａｉｎ　ｔａｓｋ　ｉｓ　ａｕｔｏｍａｔｉｃ　ｉｄｅｎｔｉｆｉｃａｔｉｏｎ　ｏｆ　ａｒｇｕｍｅｎｔａｔｉｖｅ　ｓｔｒｕｃｔｕｒｅｓｉｎ　ｐｅｒｓｕａｓｉｖｅ　ｅｓｓａｙｓ　ｓｏ　ａｓ　ｔｏ　ｈｅｌｐ　ｐｅｏｐｌｅ　ｂｅｔｔｅｒ　ｕｎｄｅｒｓｔａｎｄ　ｔｈｅ　ｍａｓｓｉｖｅ　ｔｅｘｔ　ｉｎｆｏｒｍａｔｉｏｎ．Ａｐｅｒｓｕａｓｉｖｅ　ｅｓｓａｙ　ｕｓｕａｌｌｙ　ｃｏｎｓｉｓｔｓ　ｏｆ　ａ　ｓｅｒｉｅｓ　ｏｆ　ａｒｇｕｍｅｎｔ　ｃｏｍｐｏｎｅｎｔｓ．Ｔｈｅ　ｔｙｐｅｓ　ｏｆ　ａｒｇｕｍｅｎｔｃｏｍｐｏｎｅｎｔｓ　ａｒｅ　ｇｅｎｅｒａｌｌｙ　ｃｌａｓｓｉｆｉｅｄ　ｉｎｔｏ　ｃｌａｉｍｓ　ｏｒ　ｐｒｅｍｉｓｅｓ，ａｎｄ　ｔｈｅ　ｔｙｐｅｓ　ｏｆ　ｒｅｌａｔｉｏｎｓｈｉｐ　ｂｅｔｗｅｅｎａｒｇｕｍｅｎｔ　ｃｏｍｐｏｎｅｎｔｓ　ａｒｅ　ｃｏｍｍｏｎｌｙ　ｃｌａｓｓｉｆｉｅｄ　ｉｎｔｏ　ｓｕｐｐｏｒｔ　ｏｒ　ａｔｔａｃｋ．Ａｒｇｕｍｅｎｔａｔｉｏｎ　ｍｉｎｉｎｇｔｙｐｉｃａｌｌｙ　ｃｏｎｔａｉｎｓ　ｔｈｒｅｅ　ｃｏｎｓｅｃｕｔｉｖｅ　ｓｕｂｔａｓｋｓ，ｉ．ｅ．，（１）Ａｒｇｕｍｅｎｔ　ｃｏｍｐｏｎｅｎｔ　ｂｏｕｎｄａｒｙ　ｄｅｔｅｃｔｉｏｎ（ＡＣＢＤ　Ｔａｓｋ），ｗｈｉｃｈ　ｉｎｖｏｌｖｅｓ　ｓｅｐａｒａｔｉｎｇ　ａｒｇｕｍｅｎｔ　ｃｏｍｐｏｎｅｎｔ　ｆｒｏｍ　ｎｏｎ－ａｒｇｕｍｅｎｔａｔｉｖｅ　ｔｅｘｔ　ｕｎｉｔｓａｎｄ　ｉｄｅｎｔｉｆｙｉｎｇ　ｔｈｅ　ａｒｇｕｍｅｎｔ　ｃｏｍｐｏｎｅｎｔ　ｂｏｕｎｄａｒｉｅｓ；（２）Ａｒｇｕｍｅｎｔ　ｃｏｍｐｏｎｅｎｔ　ｉｄｅｎｔｉｆｉｃａｔｉｏｎ，Ｍｏｅｎｓ等人［８］在 Ａｒａｕｃａｒｉａ语料集［１８］中，通过 提 取 单 词 对，文 本 统 计，动 词 论 辩 性语句关键指示词特征，训练多项式朴素贝叶斯和最大熵模型作为分类器来分类论 辩性和 非论辩性语句，取得了最好性能为７３．７５％的准确率．Ｆｌｏｒｏｕ等人［７］基于标点、情态动词和动词时态等功能特征，使用 Ｃ４．５决策树学习算法［１９］作为分类器．Ｌｉ等人［１４］把任务一看成一个序列标注的问题，训练一个不需要依赖于特征的递归神经网络模型来解决论点边界检测的问题．对于任务 二，论 点 部 件 类 型 的 识 别，Ｔｅｕｆｅｌ［１２］等人假设任务一已经完成，即假设已经从文本中准确地提取了论点部件，他们将每个论点句子划分为主张、结果和目的等七种类型，通过提取文本中的结构、词性、语法等特征，训练朴素贝叶斯模型来预测有论辩性句子的论点类型．Ｒｏｏｎｅｙ等人［１１］使用基于自然语言处理的核方法来进行论点部件的分类，不需要任何启发式的特征．Ｆｅｎｇ等人［９］的方法是基于从论点部件类型的互信息中提取特征，因此它需要预先知道论点 的类型．Ｌａｈａ等 人［１５］最 先将基于神经网络模型来应用于论辩挖掘研究，使用两个循环神经网络对论点的类型进行分类．Ｇａｏ等人［２０］把论点类型识别看成序贯决策问题，提出了一个基于强化学习的方法解决任务二．对于任务三，论点关系类型的检测，Ｐａｌａｕ［１０］等人根据法律领域的文档，手动创建上下文无关语法（ＣＦＧ）来检测论点关系的类型，这种方法不具有通用性，无 法 应 用 在 其 它 领 域 的 文 档 上．Ｃａｂｒｉｏ 等人［２１］通过结合文本中的蕴含关系来预测论点部件之间的关系．Ｓｔａｂ等人［６］把任务三看成一个二分类任务，使用传统机器学习的方 法，提 取文 本中的结构、词法、语义、指示词等特征，训练分类器，预测主张－前提论点关系类型是支持或者是攻击．Ｐｅｌｄｓｚｕｓ等人［２２］使用最小生成树算法通过计算论点之间的关系形成整体文章的整体结构，从而预测论点的关系类型．目前联合论辩挖掘三个子任务一起做的模型通常是采用流水线的方法，Ｐｅｒｓｉｎｇ等人［１７］最先提出了使用基于流水线方法的端到端模型，输入未标注的文本，通过流水线模型解决三个子问题，最终输出标注的文本．类似的，Ｓｔａｂ等人［１］，首先为每个子任务训练独立的模型，然后定义一个整数线性规划模型（ＩＬＰ）进行全局最优化求解．Ｅｇｅｒ等人［１６］把论辩挖掘看 成 基 于 词 级 别 的 依 赖 解 析 和 序 列 标 注 问题，将三个任务的标签融合在一起，对每个单词进行标注，并使用序列标注问题中的经典的双向 ＬＳＴＭ－ＣＮＮｓ－ＣＲＦ 模 型［２３］预 测 论 辩 挖 掘 中 标 签 结 果．Ｎｉｃｕｌａｅ等人［２４］提 出 了 一 种 不 需 要 构 建 树 结 构 就能从文档中抽取论辩关系的因子图的方法．同时，Ｐｏｔａｓｈ等人［２５］基于Ｐｏｉｎｔｅｒ网络，提出了一个联合模型同时解决论点类型分类和抽取论点关系两个任务．论辩 挖 掘 被 广 泛 应 用 于 许 多 领 域，Ｍｏｅｎｓ等人［８，１０］将 论 辩 挖 掘 应 用 于 法 律 决 策；Ｋｉｒｓｃｈｎｅｒ等人［２６］将论辩挖掘研究方法用来分析科研论文的文档摘要；Ｂｏｌｔｕｉ＇ｃ等人［２７］应用于文本的观点挖掘，在教育领域；Ｓｏｍａｓｕｎｄａｒａｎ等人［２８］将论辩挖掘应用于论文的自动评分系统；Ｚｈａｎｇ等人［２９］将论辩挖掘应用于写作辅助系统，以及 Ｆｌｏｒｏｕ等人［７］将论辩挖掘应用于支持政府制定政策．３　问题描述与动机３．１　问题描述主观性数据的自然语言文本通常是由一系列论点通过一 定 的 结 构 化 关 系 组 成，如 图 ２ 所 示 的 是图１中学生论文样例构成的论辩结构图．论辩挖掘就是研究如何从主观性数据文本中自 动地识别 论点，判断论点的类型并抽取它们之间的关系．实质上是一个序列标注问题．论辩挖掘问题形式化定义描述如下：给定一篇文本 Ｘ＝｛ｘ１，ｘ２，ｘ３，ｘ４，…｝和类别标签集合ｙ＝｛ｙ１，ｙ２，ｙ３，ｙ４，…｝，其中ｘｉ表示文本中的一个单词，每个ｘｉ都跟标签ｙｉ关联［１６］．利用算法模型，将文本中的每个单词ｘｉ映射成一个类别标签ｙｉ，即Ｘ→Ｙ．算法模型的输入是一篇主观性文本，输出是论辩挖掘三个任务对应的标签ｙｉ，ｙｉ定义下：ｙｉ＝｛（ｂ，ｔ，ｄ，ｓ）｜ｂ∈｛Ｂ，Ｉ，Ｏ｝，ｔ∈｛Ｐ，Ｃ，ＭＣ，⊥｝，ｄ∈｛…，－２，－１，１，２，…，⊥｝，ｓ∈｛Ｓｕｐｐ，Ａｔｔ，Ｆｏｒ，Ａｇ，⊥｝｝ （１）标签ｙｉ包含了４个元组（ｂ，ｔ，ｄ，ｓ），其中ｂ，即为任务一的标签，使用 ＢＩＯ 标记的方法，Ｏ 表示论点无关的单词，Ｂ表示句子中论点开始的单词，Ｉ表示论点句子中间部分的单词．ｔ表示论点类型，ＭＣ 表示主要主张（Ｍａｊｏｒ　Ｃｌａｉｍ），即作者对文章主题提出的中心立场；Ｃ表示主张（Ｃｌａｉｍ），即对主要主张（ＭＣ）某一个方面提出的 一 个观点；Ｐ 表 示 前 提，即 为 主 张（Ｃ）或者其它前提（Ｐ）提供支持或者反对的论据；（ｂ，ｔ）组成任务二的标签．ｄ 表示当前论点部件与它相关的论点距离．ｓ表示论点关系的类型，其中Ｓｕｐｐ和 Ａｔｔ分别表示前提与 主张之间 的支持和攻 击 关７期 廖祥文等：基于多任务迭代学习的论辩挖掘方法７２５１表示主张（Ｃ）与主要主张（ＭＣ）之间的赞同和反对的关系，（ｄ，ｓ）组 成任 务三的标签．同时定义了一个特殊的符号⊥表示该类型属性为空，比如，当一个单词属于论点无关时，它显然没有论点类型，也无论点关系．表１中给出了学生论文数据集的标注样例．表 １　学生论文数据集标注样例ＬｉｖｉｎｇＢ，Ｃ，⊥，ＦｏｒＡｎｄＩ，Ｃ，⊥，ＦｏｒｓｔｕｄｙｉｎｇＩ，Ｃ，⊥，ＦｏｒｏｖｅｒｓｅａｓＩ，Ｃ，⊥，ＦｏｒｉｓＩ，Ｃ，⊥，ＦｏｒａｎＩ，Ｃ，⊥，ＦｏｒｉｒｒｅｐｌａｃｅａｂｌｅＩ，Ｃ，⊥，ＦｏｒｅｘｐｅｒｉｅｎｃｅＩ，Ｃ，⊥，ＦｏｒｗｈｅｎＩ，Ｃ，⊥，ＦｏｒｉｔＩ，Ｃ，⊥，ＦｏｒｃｏｍｅｓＩ，Ｃ，⊥，ＦｏｒｔｏＩ，Ｃ，⊥，ＦｏｒｌｅａｒｎＩ，Ｃ，⊥，ＦｏｒｓｔａｎｄｉｎｇＩ，Ｃ，⊥，ＦｏｒｏｎＩ，Ｃ，⊥，ＦｏｒｙｏｕｒＩ，Ｃ，⊥，ＦｏｒｏｗｎＩ，Ｃ，⊥，ＦｏｒｆｅｅｔＩ，Ｃ，⊥，Ｆｏｒ．ＯＯｎｅＢ，Ｐ，－１，ＡｔｔｗｈｏＢ，Ｐ，－１，ＡｔｔｉｓＩ，Ｐ，－１，ＡｔｔｌｉｖｉｎｇＩ，Ｐ，－１，ＡｔｔｏｖｅｒｓｅａｓＩ，Ｐ，－１，ＡｔｔｗｉｌｌＩ，Ｐ，－１，ＡｔｔｏｆＩ，Ｐ，－１，ＡｔｔｃｏｕｒｓｅＩ，Ｐ，－１，ＡｔｔｓｔｒｕｇｇｌｅＩ，Ｐ，－１，ＡｔｔｗｉｔｈＩ，Ｐ，－１，ＡｔｔｌｏｎｅｌｉｎｅｓｓＩ，Ｐ，－１，Ａｔｔ，Ｉ，Ｐ，－１，ＡｔｔｌｉｖｉｎｇＩ，Ｐ，－１，ＡｔｔａｗａｙＩ，Ｐ，－１，ＡｔｔｆｒｏｍＩ，Ｐ，－１，ＡｔｔｆａｍｉｌｙＩ，Ｐ，－１，ＡｔｔａｎｄＩ，Ｐ，－１，ＡｔｔｆｒｉｅｎｄｓＩ，Ｐ，－１，Ａｔｔ３．２　模型动机多任务学习是一种重要的机器学习模型，它能够通过与其它相关任务共享参数层和特征一起学习来提高模型的泛化性能［３０］．而论辩挖掘的三个子任务之间是有关联的相关任务，例如，论点类型为前提或者主张比论点类型为无关论点更有可能是攻击或者是支持的论点关系类型．在序列标注问题中使用一个任务的预测标签来改善相关任务的性能，称为堆叠序列学习（ＳｔａｃｋｅｄＳｅｑｕｅｎｃｅ　Ｌｅａｒｎｉｎｇ）［３１］．因此，本文基于如下假设：论辩挖掘中一个子任务的预测标 签能够 作为有效特征，来改善其它子任务标签的性能．４　模型建立４．１　基于多任务迭代学习的论辩挖掘方法本文通过引入多任务迭代学习方法来解决论辩挖掘中的三个子任务．如图３所示，对于给定的输入的文本序列ｘ，多任务迭代学习模型预测第ｉ个论辩挖掘子任务的标签分布ｙ（ｉ）型的输入主要包括三个部分：图 ３　论辩挖掘的迭代学习标注模型（１）ｈ（ｓｈａｒｅｄ）：迭代模型底层的通用参数，如图５所示，它通过 ＣＮＮ 和高速神经网络，从数据中提取不同子任务的共同特征，并在模型中被所有任务共享的参数．（２）ｙ＝ｙ（１）＋ｙ（２）＋ｙ（３）：位于迭代模型高层，联结上一次迭代的三个相关论辩挖掘任务的标签分布参数ｙ．（３）ｆ（ｓｈａｒｅｄ）：迭代模型中论辩挖掘每个子任务的特征表示，如表２所示，包括文本结构、文本语义等特征表示．我们将ｈ（ｓｈａｒｅｄ）和ｙ联 结 起 来 作 为 双 向 长 短 时循环记忆 神 经 网 络 （Ｂｉ－ＬＳＴＭ）的 输 入，如 图 ６ 所示，论 辩 挖 掘 三 个 任 务 共 享 Ｂｉ－ＬＳＴＭ，ｈ（ｓｈａｒｅｄ）与Ｂｉ－ＬＳＴＭ 在每次多任务迭代训练学习过程中相互分离，并且在每次迭代训练 预 测标签过程 中，我 们将任务一论点边界检测任务的标签分 布输出联结为任务二 论 点 类 型 识 别 任 务 的 神 经 网 络 输 入，将论点类型识别任务的标签输出联结为任务三论 点关系抽取 任 务 的 神 经 网 络 输 入．在 迭 代 训 练 的 预测模型中，考虑三个子任务不同的特点，我们分别抽取每个子任务 的 特 征 构成ｆ（ｓｈａｒｅｄ）来预测最后的标签结果．三个子任务的特征如表２所示，主要包括文本结构、文本语义等特征．Ｓｔａｂ等人［１］所提出的论辩挖掘模型中同样使用这些特征并取得了较好的效果．８２５１ 计　　算　　机　　学　　报 ２０１９年主张，论点部件②、③、④是这段论文的前提．并且论点部件②与论点部件①的主张有着攻击（Ａｔｔａｃｋ）关系，论点部件③与论点部件②的也是攻击关系，而论点部件④与论点部件①是支持（Ｓｕｐｐｏｒｔ）关系，最后形成了图２所示的整段论辩文本结构图．图 ２　样例文本的论辩结构图论辩挖掘主要分为３个任务［６］，包括（１）论点边界的检测（Ａｒｇｕｍｅｎｔ　Ｃｏｍｐｏｎｅｎｔ　Ｂｏｕｎｄａｒｙ　Ｄｅｔｅｃｔｉｏｎ，ＡＣＢＤ），即从论点无关的文本中分离有论辩性的文本并检 测 论 点 的 边 界［７－８］；（２）论点类型的识别（Ａｒｇｕｍｅｎｔ　Ｃｏｍｐｏｎｅｎｔ　Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ，ＡＣＩ），即 识别论点的类型，通常论点 类型 划分为主要主张、主张、前提［９－１２］；以及（３）论点关系的抽取（ＡｒｇｕｍｅｎｔＣｏｍｐｏｎｅｎｔ　Ｒｅｌａｔｉｏｎ　Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ，ＲＩ），即抽 取 论点之间的 关 系，通 常 把 论 点 关 系 划 分 为 支 持 和 反对［１０，１３］．目前在论辩挖掘的研究中，大多数的工作主要侧重研究论辩挖掘的一个子任务，为每个子任务训练独立的模型，这些方法主要分为两大类：（１）基于机器学习的方法．通过提取文本中词法、语义、句法结构、情态动词和动词时态等特征，训练多项式朴素贝叶斯［８］、Ｃ４．５决策树［７］、支持向量机［１］等二元或多类分类器来进行论点边界分割，论点类型分类以及论点关系抽取，这些方法十分依赖于手工特征的设计；（２）基于深度学习的方法．通过训练递归神经网络模型［１４］来进行论点边界的检测，利用循环神经网络对论点的类型进行分类［１５］．这些方法大多以句子为单位进行标注，只利用了文本中的局部信息解决论辩挖掘的一个或两个问题．另外，以词为单位的联合序列标注方法［１，１６－１７］，可以利用文本中上下文的长期依赖信息，对三个子任务进行联合训练，取得了较好的性能优势，主要分成两大类：（１）基于流水线（Ｐｉｐｅｌｉｎｅ　Ｍｅｔｈｏｄ）的方法［１，１７］：主要有整数线性规划模型（Ｉｎｔｅｇｅｒ　Ｌｉｎｅａｒ　Ｐｒｏｇｒａｍｍｉｎｇ，ＩＬＰ），它首先通过使用支持向量机（ＳＶＭ）、条件随机场（ＣＲＦ）等方法，独立串行 地训练三个子任 务的分类模型，最后定义一个整数线性规划函数进行全局最优化求解任务的标签预测结果．流水线方法由于论点类型识别的错误会影响到论点关系的抽取，存在错误传播的问题．另外，这种方法将识别出来的论点进行两两配对，之后进行论点关系分类，产生了论点关系对的冗余信息；（２）基于深度学习的方法：其中有 Ｂｉ－ＬＳＴＭ－ＣＮＮｓ－ＣＲＦ序列 标 注 模型［１６］，将 三 个 子 任务的标签拼接成一个整体，训练神经网络模型来预测总体的标签分布，这种方法依然没有利用任务之间的关联信息．针对上述问题，本文提出了一种基于多任务迭代学习的论辩挖掘方法，该方法假设论辩挖掘三个子任务之间是相互关联的，不是各自独立的子任务，一个任务的标签预测结果可以作为预测其它论辩挖掘子任务标签的有效特征．模型使用基于词级别的ＢＩＯ标注方法［１６］，迭代地利用每个子任务的标签分布，通过提取字符和词级别的特征表示构成共享参数层，并行的进行模型训练学习，并且在预测模型中融入了任务相关的特征．该模型不独立看待每个子任务，不仅使得每个子任务的标签预测结果相互学习，有利于减少错误传播的概率，并且避免了由于无关论点的两两配对，产生的冗余信息．本文采用德国 ＵＫＰ实验室公开的学生论文数据集进行实验［１］，结果表明与 ＢｉＬＳＴＭ－ＣＮＮ－ＣＲＦ、ＳｔａｇＢＬＣＣ、ＬＳＴＭ－ＥＲ 和ＩＬＰ 等基准方法对比，本文模型不仅在预测论辩挖掘三个子任务标签整体准确率指标上取得了最优的效果，在论点类型识别这个任务上，“Ｃ－Ｆ１（１００％）”和“Ｃ－Ｆ１（５０％）”评价指标分别提高了０．３９％和１．０５％；在论点关系抽取任务上“Ｒ－Ｆ１（１００％）”和“Ｒ－Ｆ１（５０％）”指标上提高了１．２６％和１．１８％；在论点边界检测任务上，Ｆ１值超过９０．０％，达到了９２．２％．更进一步地，本文验证了不同迭代次数的实验结果，发现随着迭代次数的增加，模型的性能越来越好，很好的证明了本文所提模型迭代学习的有效性．本文第２节为相关的工作；第３节为问题描述与动机；第４节提出本文的模型；第５节介绍实验数据集；第６节为实验，通过与基准实验的对比验证本文方法的有效性，并对实验结果进行分析；第７节为结束语．２　相关工作论辩挖掘已成为当前研究的热点，大多数的工作是基于每个子任务单独建模研究，对于任务一，从论文无关文本中分离有论辩性的文 本并检测其 边界，通常被看做是一个二分类的问题，作为论辩挖掘流水线任务的第一步，传统的机器学习方法大多集６２５１ 计　　算　　机　　学　　报 ２０１９年三个子任务的特征抽取任务 特征描述论点边界检测单词是否是句子的开头或者结尾单词位于整篇文本，段落，句子相对绝对位置单词与句号，逗号，分号等标点符号的距离词性特征（ＰＯＳ）论点类型识别单词是否为指示词以及指示词类型单词是否共享同一个名词或动词短语动词的时态以及是否为情态动词论点关系抽取论点部件之间是否有共享名词以及数量论点部件是否在同个句子或者段落中论点部件是否是在段落的开头或结尾论点部件之间的距离长度图 ４　基于 ＣＮＮ 的论辩挖掘文本表示多任务迭代学习模型能够利用模型前一次迭代的所有任务标签分布作为下一次迭代的输入特征，对于每个任务来说，前一次迭代中所有任务的标签分布可以通过标签的交互信息来修改下一步中预测错误的标签结果．同时，通过使用双向长短时记忆 网络（Ｂｉ－ＬＳＴＭ），该模型将标签的交互扩展到句子级别．为了确保每次迭代预测的结果与真实的标签相接近，在每一步的迭代结果中定义了一个损失函数ｃｏｓｔ，如方程（１）所示：ｃｏｓｔ＝１Ｔ∑Ｔｉ＝１Ｌ（ｙｔ，ｙ＊） （２）Ｌ（ｙｔ，ｙ＊）＝１Ｍ∑Ｍｉ＝１αｍ珟Ｌ（ｙ（ｍ）ｔ，ｙ（ｍ）＊） （３）其中，ｙｔ是第ｔ次迭代的预测标签分布，ｙ＊是真实的标签结果，Ｔ 是迭代的总次数，也称为递归迭代层的长度，Ｍ 是相关任务的数量，αｍ表示第ｍ 个任务的权重，Ｌ 是交叉熵函数．最终的预测的结果是所有预测标签分布的平均值，如方程（３）所示：ｙ（ｍ）＝１Ｔ∑Ｔｉ＝１ｙ（ｍ）ｔ（４）在论辩挖掘序列标注模型中，本文构建了一个由 ＣＮＮｓ－Ｈｉｇｈｗａｙ－ＬＳＴＭ 组成的神经网络序列标注模型．模型首先由字符和词级别的 ＣＮＮ 来捕捉文本的特征表示．随后，将两个 ＣＮＮ 提取得到的特征输入高速神经网络中，目的在于通过高速神经网络中的转换门（ｔｒａｎｓｆｏｒｍ　ｇａｔｅ）来过滤有价值的特征．然后，过滤后的特征作为多任务学习底层框架中的共享表示，输入至 Ｂｉ－ＬＳＴＭ 网络中进行训练．最后，Ｂｉ－ＬＳＴＭ 输出相关任务的表示与底层的共享表示联结在一起，进行迭代学习．４．２　基于 ＣＮＮ 的论辩挖掘文本表示本文采用了基于 ＣＮＮ 的词级别和字符级别的论辩挖掘文本表示，该模型非常适用于形态丰富的语言文本中，能够从论辩挖掘文本中获取到丰富的词素、语义和形态等特征，为下一步的实验打下基础．４．２．１　基于 ＣＮＮ 的词级别表示词级别的卷积神经网络，我们扩展使用了 Ｋｉｍ等人［３２］用来解决序列标注问题的卷积神经网络．如图４所示，卷积神经网络（ＣＮＮ）输入为文本７期 廖祥文等：基于多任务迭代学习的论辩挖掘方法９２５１下的特殊结构，（１）论点类型为主要主张 （ＭＣ）的 论 点 与 其 它 的 论 点 没 有 关 联 关系；（２）主张（Ｃ）总是关联全部的主要主张（ＭＣ）；（３）每个主张（Ｃ）至少关联一个前提（Ｐ）或者其它主张（Ｃ）．数据集中，无关论点的单词的数量有４７　１７４个，包含了 １６３１ 个句子，占总数的 ３２．２％，表 ３（ｂ）展示训练集和测试集分类标 注的结 果．总 体 而 言，有７５１个单词为主要主张（ＭＣ），１５０６个单词为主张（Ｃｌａｉｍ），３８３２个单词为前提（Ｐｒｅｍｉｓｅ）．论点之间有５３３８个关系，其中大部分是支持关系（＞９０％）．表 ３（ｂ）　训练集和测试集标签分布统计类别 训练集 测试集论点边界分类Ａｒｇ－Ｂ　 ４８２３（４．１％） １２６６（４．３％）Ａｒｇ－Ｉ　 ７５０５３（６３．６％） １８６５５（６３．６％）Ａｒｇ－Ｏ　 ３８０７１（３２．３％） ９４０３（３２．１％）论点类型分类主要主张 ５９８（１２．４％） １５３（１２．１％）主张 １２０２（２４．９％） ３０４（２４．０％）前提 ３０２３（６２．７％） ８０９（６３．９％）论点关系分类支持 ３８２０（９０．４％） １０２１（９１．７％）反对 ４０５（９．６％） ９２（８．３％）６　实　验６．１　实验环境实验环境为 Ｕｂｕｎｔｕ　１４．０４．１，四块 ＧｅＦｏｒｃｅ　ＧＴＸ１０８０Ｔｉ显卡，共 ４４ＧＢ 显 存，Ｉｎｔｅｌ（Ｒ）Ｘｅｏｎ（Ｒ）ＣＰＵ　Ｅ５－２６２０，３２ＧＢ，Ｐｙｔｈｏｎ　２．７．１３，ＴｅｎｓｏｒＦｌｏｗ－ＧＰＵ（０．１２．１）．６．２　实验对比模型将基准方法与本文的方法在相同的数据，实验选取了以下对比模型：（１）ＩＬＰ（Ｉｎｔｅｇｅｒ　Ｌｉｎｅａｒ　Ｐｒｏｇｒａｍｍｉｎｇ）模型［１］．该模型基于特征的选择，模型首先选择文本中的结构，词法语法和上下文等特征对论辩挖掘的三个任务，分别通过支持向量机，条件随机场方法构造分类器进行分类标注，之后定义了一个带有约束条件的目标方程，对分类器的结果进行全局调优．（２）ＬＳＴＭ－ＥＲ 模型［１６］．该模型基于端到端的神经网络模型，联合了实体和树结构的关系信息，对文本中的命名实体和关系进行抽取，模型的实体检测是使用 ＢｉＬＳＴＭ－ＣＲＦ（ＢＬＣ）标记模型，关系抽取则是实现一个神经网络用来预 测检测到的实体之间的关 系．这 个 关 系 抽 取 模 块 能 够 充 分 地 使 用 依赖关系树中的信息．为了在让 ＬＳＴＭ－ＥＲ 模型适应论辩挖掘 模 型 的 学 生 论 文 数 据 集，本 文 编 码 了 三种命名实体（前提 Ｐ，主张Ｃ，主要主张 ＭＣ），四种关系类型（支持 Ｓｕｐｐｏｒｔ，攻击 Ａｔｔａｃｋ，赞同 Ｆｏｒ，反对Ａｇａｉｎｓｔ）．（３）ＳｔａｇＢＬＣＣ模型［２３］．这个模型首先使用字符级卷积神经网络获得词的表示；之后，将词表示和训练完成的词向量联结起来，输入到 Ｂｉ－ＬＳＴＭ 网络中，得到每个状态的表示；最后，将 Ｂｉ－ＬＳＴＭ 的输出结果输入条件随机场（ＣＲＦ）层，最终预测结果．（４）ＳｔａｇＢＬ多任务学习模型［１６］．这个模型将式（１）中的ｙ看成多任务学习中的主要任务，将ｙ中论点类型识别任务的（ｂ，ｔ）标签和论点关系抽取（ｄ，ｓ）标签看做辅助任务．（５）ＬＳＴＭ－ＣＲＦ－ＭＴＬ 多任务学习模型［３７］．这个 模型是多任 务 学习的传统 方 法模 型，将 ＬＳＴＭ－ＣＲＦ作为多任务学习的基础神经网络模型，任务之间共享一个通用的表示层，并单独为论辩挖掘三个子任务训练三个不同的 ＬＳＴＭ 神经网络．（６）Ｊｏｉｎｔ　ＲＮＮ　Ｍｏｄｅｌ［１４］模型．该模型利用递归深度神经网络来解决论辩挖掘的论点边界检测任务．（７）ＨＡｓ－ａｕｇｍｅｎｔｅｄ　ＲＬ 模型［２０］，该模型利用论辩挖掘文本中上下文的特殊语境信息，通过强化学习的方法，将论点部件类型识别任务看做序贯决策问题进行建模．６．３　评价指标为了评估本文提出模型的有效性，采用了以下评价指标进行实验：（１）准确率（Ａｃｃ）．论辩挖掘任务中，三个任务分类正确的样本总数除以所有样本的总数．准确率越高，模型分类性能越好，其式子为Ａｃｃ＝∑Ｍｉ＝１∑Ｎｉｊ＝１ｙ＊ｊ＝ｙｊ１∑Ｍｉ＝１Ｎｉ．Ｎｉ为第ｉ个任务的测试集大小，ｙ＊ｊ表示第ｊ个样本的预测标签，ｙｊ表示其正确 的 标签，Ｍ 为任务的总数．（２）Ｆ１．类 似 Ｅｇｅｒ等 人［１６］，本 文 使 用 真 阳 性ＴＰ，假阳性ＦＰ，假阴性ＦＮ，真阴性 ＴＮ，来计算模型分类结果的 Ｆ１ 值，Ｆ１＝２ＴＰ２ＴＰ＋ＦＰ＋ＦＮ，对于预测论 点 部 件 识 别 抽 取 的 性 能，Ｐｅｒｓｉｎｇ 等 人［１７］定义了一个“α匹配”的概念，比如当α 为１００％时，２３５１ 计　　算　　机　　学　　报 ２０１９年…，ｘｎ］，按照文本句子中单词的顺序，每一行都是一个由ｄ 维向量表示的单词，ＣＮＮ输出为序列 Ｃ＝［ｃ１，ｃ２，…，ｃｎ］，Ｃ 表示输入每个单词的特征，ｎ 表 示 输 入 序 列 的 最 大 长 度．我 们 在 ｘ之间使用窄 卷 积 和 一 个 宽 度 为ｋ 的 卷 积 核 Ｗ ∈Ｒ（ｄ×ｋ），并且将ｋ２和ｋ－１２作为填充向量填充到序列的头部和尾部，以便保证输入序列的长度在卷积层后不会发生改变．ｃｉ＝ｆ（ＷＴ·（ｘｉ－ｋ）２（：ｉ＋ｋ－１）２＋ｂ） （４）其中，ｃｉ卷积后的输出结果，ｆ是非线性激活函数，ｂ是偏差，ｘｉ：ｊ表示序列中第ｉ 个到第ｊ 个单词．在输入论辩挖掘的文本序列中，滑动三种不同长度ｋ＝３，５和７的卷积核 Ｗ 去获取多个局部上下文特征向量，最后这些多维度的特征被联结为局部特征．４．２．２　基于 ＣＮＮ 的字符级别表示基于卷积神经网络的字符的表示已经被证明是从单词的字符中抽取形态特征有效的方法［３３］．与基于 ＣＮＮ 的词级别表示类似，当给定一个单词，我们将它的字符嵌入到卷积神经网络层得到特征映射，接着通过池化层进行 ｍａｘ－ｏｖｅｒ－ｔｉｍｅ　ｐｏｏｌｉｎｇ操作，从特征映射中捕捉重要的特征，经过池化层的输出就是单词的字符表示向量，最后将字符表示向量与词向量联合作为卷积神经网络的输入．４．３　基于高速神经网络的特征过滤在我们的实验中，如果只有词级别和字符级别的文本表示，实验性能无法达到最优．为了更好地从ＣＮＮ 的字符和词级别的表示中提取出有效的特征，我们在卷积神经网络层之后紧接一个高速神经网络（Ｈｉｇｈｗａｙ　Ｎｅｔｗｏｒｋｓ）层［３４］，如图５所示．高速神经网络 通 过 增 加 ｔｒａｎｓｆｏｒｍ 门 和 ｃａｒｒｙ 门 来 控 制 数据的比例，用于过滤出文本中的重要特征，具体实现如下：ｒｉ＝（ｃｉ－ｋ）２（：ｉ＋ｋ－１）２（６）ｃ⌒′ｉ＝ｆ　ＷＴＣ·ｒｉ（＋ｂＣ）（７）ｔｉ＝σ（ｃｉ·ＷＴ＋ｂＴ） （８）ｇｉ＝１－ｔ （９）ｃ′ｉ＝ｔｉ⊙ｃ⌒′ｉ ＋ｇｉ⊙ｃｉ （１０）其中，ｃｉ：ｊ表示论辩挖掘文本序列中第ｉ 个单词到第ｊ个单词的卷积结果，ｆ是非线性激励函数，ＷＣ，ｂＣ，ＷＴ，ｂＴ是 线 性 变 换 参 数，ｔｉ是 高 速 神 经 网 络 中 的ｔｒａｎｓｆｏｒｍ 门，ｇｉ是高速神经网络的ｃａｒｒｙ门，高速神经网络允许一部分的ｃｉ在通过卷积变换后输出的结果不发现改变．图 ５　多任务学习迭代模型共享底层４．４　基于 Ｂｉ－ＬＳＴＭ 模型的标注方法在论辩挖掘问题的主观性文本中，文本中上下文信息蕴含着十分重要的特征．因此我们将高速神经网络 层 输 出 的 共 享 特 征 用 做 长 短 时 记 忆 网 络（ＬＳＴＭ）［３５］输入，ＬＴＳＭ 网络通过维护三个门限来控制信息是否被遗忘或者是传送到下一步中，从而解决自然 语 言 文 本 中 长 期 依 赖 的 问 题．具 体 实 现如下：Ｉｔ＝σ（ＷＳＩＳｔ＋ＷＨＩｈｔ－１＋ＷＣＩｃｔ－１＋ｂＩ） （１１）Ｆｔ＝σ（ＷＳＦＳｔ＋ＷＨＦｈｔ－１＋ＷＣＦｃｔ－１＋ｂＦ） （１２）ｃｉ＝Ｆｉ⊙ｃｔ－１＋Ｉｔ⊙ｃｆｔ（１３）ｃｆｔ＝ｔａｎｈ（ＷＳＣＳｔ＋ＷＨＣｈｔ－１＋ｂＣ） （１５）ｏｔ＝σ（ＷＳＯＳｔ＋ＷＨＯｈｔ－１＋ＷＣＯｃｔ－１＋ｂＯ） （１６）ｈｔ＝ｏｉ⊙ｔａｎｈ（ｃｔ） （１７）其中，σ为ｓｉｇｍｏｉｄ激活函数，ｈｉ是高速神经网络输出层的第ｉ个单词，⊙是点积．在论辩挖掘这个序列标注的问题上，通过使用一个双向 ＬＳＴＭ 神经网络（Ｂｉ－ＬＳＴＭ）［３６］来捕捉论０３５１ 计　　算　　机　　学　　报 ２０１９年下文信息．Ｂｉ－ＬＳＴＭ 神经网络在前向和后向传播过程中，使用两个隐藏状态ｈ′和ｈ″分别取捕捉文本中“过去”和“未来”的信息，在神经网络的输出，将两个隐藏状态联合起来作为最后神经网络的输出结果．４．５　模型求解图 ６　多任务学习迭代模型迭代框架多任务迭代学习的论辩挖掘模型，由图５所示的共享底层和图６所示的迭代框架组成．共享底层的由字符和词级别的卷积神经网络（ＣＮＮ）和高速神经网络（Ｈｉｇｈｗａｙ　Ｎｅｔｗｏｒｋｓ）构成，它与迭代框架中的 ＬＳＴＭ 网络，一起组成论辩挖掘的基本标注模型 ＣＮＮｓ－Ｈｉｇｈｗａｙ－ＬＳＴＭ．论辩挖掘三个子任务在训练时一起共享 ＣＮＮｓ－Ｈｉｇｈｗａｙ－ＬＳＴＭ 组成的网络结构，Ｂｉ－ＬＳＴＭ 在迭代框架中，被用来更好地捕获论辩挖掘文本中上下文的依赖信息．如图６所示，在训练过程中，我们将任务一论点边界检测任务的标签分布输出，联结为任务二论点类型识别任务的神经网络输入，将论点类型识别任务的标签输出，联结为任务三论点关系抽取任务的神经网络输入，并加入论辩挖掘任务相关的特征．在迭代模型的每次迭代中，随机选择一个任务并根据任务特定的目标更新模型，重复执行算法１，直到达到训练模型的最大ｅｐｏｃｈ次数．值得注意的是，网络中每次迭代的参数不共享．Ｂｉ－ＬＳＴＭ 输出的ｈ（ｉ）均是任务相关的参数．训练模型的算法如下：算法１．　多任务迭代学习模型的训练算法．输入：论辩 挖 掘 三 个 子 任 务 的 训 练 数 据 集 序 列 Ｘ＝｛（Ｘ１，Ｘ２，…）ｍ｝３ｍ＝１和标签ｙ＊＝｛（ｙ＊１，ｙ＊２，…）ｍ｝３ｍ＝１输出：给 定 论 辩 挖 掘 三 个 任 务 序 列 的 预 测 标 签ｙ＝｛（ｙ１，ｙ２，…）ｍ｝３ｍ＝１１．初始化模型参数Ｐ２．ＷＨＩＬＥｔＴ（Ｔ 是总迭代次数）ＤＯ３．　ＦＯＲ 每个子任务 ｍＭ（Ｍ 是任务总数）ＤＯ４．　　从第 ｍ 个任务中随机选取一批训练数据ｂｍ５．　　计算ｂｍ的ｌｏｓｓ值Ｌｍ６．　　根据Ｌｍ使用 Ａｄａｍ 方法计算ｐｍ梯度下降７．　ＥＮＤ　ＦＯＲ８．　计算平均梯度ｐ＝１Ｍ∑Ｍｉ＝１ｐｍ９．　根据ｐ 更新模型的参数ｐ１０．ＥＮＤ　ＷＨＩＬＥ５　数据集描述本文采用德国 ＵＫＰ 实验室公开的学生论文数据集进行实验［１］，这个数据集随机地从ｅｓｓａｙｆｏｒｕｍ①论坛中挑选４０２篇学生英文论文，每篇论文包含一个主题．ｅｓｓａｙｆｏｒｕｍ 是一个能够为不同类型的观点性文本提供书写反馈 的在线论坛．例如，学生用户可以根 据 论 坛 中 的 不 同 的 主 题，如 表 １ 样 例 中 的“ｌｉｖｉｎｇ　ａｎｄ　ｓｔｕｄｙｉｎｇ　ｏｖｅｒｓｅａｓ”在海外学习和生活好不好为主题，发表自己的观点，进行写作，并在线提交他们的论文．专家会针对论文提供反馈意见．数据集包含７１１６个句子，由１４７　２７１个单词组成．实验数据集中训练集和测试集的划分如表３（ａ）所示，将４０２篇论文中的３２２篇划分成训练集，８０篇划分成测试集．数据集的对每个单词进行标注．表 ３（ａ）　数据集统计训练集 测试集论文总数 　 ３２２ 　 ８０段落总数 １７８６　 ４４９单词数量 １１８６４８　 ２９５３８７期 廖祥文等：基于多任务迭代学习的论辩挖掘方法１３５１① ｈｔｔｐｓ：／／ｅｓｓａｙｆｏｒｕｍ．ｃｏｍ／（５０％），论点关系抽取任务的Ｒ－Ｆ１（１００％）和Ｒ－Ｆ１（１００％），三个任务总体的 Ｆ１（１００％）和 Ｆ１（５０％）都呈现线性提高．说明迭代模型能够有效地降低标签的错误传播，是一种有效且分类能力好的神经网络训练方法．在迭代训练的过程中，本文模型将第ｉ－１次迭代预测错误的标签，在第ｉ次迭代时被校正为正确的标签．例如，表１中的样例在第１次迭代的时候，单词“Ｏｎｅ”的预测标签结果是“（Ｂ，Ｐ，－１，Ｓｕｐｐ）”，此时，任务一的标签（Ｂ）和任务二的标签（Ｂ，Ｐ）均预测正确，而任务三的标签（Ｂ，－１，Ａｔｔ）被错误地预测为（Ｂ，－１，Ｓｕｐｐ）；当经过第２次的迭代之后，预测标签变为（Ｂ，Ｐ，－１，Ａｔｔ），可以发现，此时任务三被校正为了正确的标签（Ｂ，－１，Ａｔｔ）．说明通过本文提出的多任务迭代学习方法，模型学习到了论辩挖掘子任务之间潜在的关联信息使得评价结果表现得更好．６．５．２　网络结构对实验结果的影响为了测试模型中每层网络结构部件对实验结果的影响，我们单独地移除模型中的网络结构部件进行实验，实验包括在模型中去除字符级别 ＣＮＮ 表示层，词 级 别 ＣＮＮ 表 示 层，高 速 神 经 网 络 层 以 及Ｂｉ－ＬＳＴＭ 层．实验结果如表５所示，可以发现，用于捕获上下文信息的 Ｂｉ－ＬＳＴＭ 层对实验结果影响最大，其 次 是 字 符 级 别 的 ＣＮＮ 表 示 层，字 符 级 别ＣＮＮ 表示层能够提升模型１．２９％的准确率，并且词级别的 ＣＮＮ 层和高速神经网络层都让模型的实验性能得到进一步的提升．由此表明，模型中的每一个网络结构部件对提升实验效果有着重要作用．表 ５　模型中网络结构部件对实验结果的影响模型 Ａｃｃ完整的网络结构 ６４．４１去除字符级别 ＣＮＮ 表示层 ６３．１２（－１．２９）去除词级别 ＣＮＮ 表示层 ６３．７５（－０．６６）去除高速神经网络层 ６４．０６（－０．３５）去除 Ｂｉ－ＬＳＴＭ 层 ６２．６８（－１．７３）６．５．３　本文方法与其它联合模型的实验效果对比为了验证多任务迭代学习训练方法联合解决论辩挖掘三个子任务的有效性，将本文方法和现有的论辩挖掘 联 合 方 法 进 行 了 对 比，对 比 实 验 结 果 如表６所示，表格从上到下的 方 法分别是ＩＬＰ 模 型、ＬＳＴＭ－ＥＲ模型、ＳｔａｇＢＬＣＣ模型以及本文的方法．表 ６　论辩挖掘联合模型在学生论文数据集的实验结果ＡｃｃＣ－Ｆ１１００％ ５０％Ｒ－Ｆ１１００％ ５０％Ｆ１１００％ ５０％ＩＬＰ　 ６０．３２　 ６２．６１　 ７３．３５　 ３４．７４　 ４４．２９　 ４４．６８　 ５５．２３ＬＳＴＭ－ＥＲ　 ６１．６７　 ７０．８３　 ７７．１９　 ４５．５２　 ５０．０５　 ５５．４２　 ６０．７３ＳｔａｇＢＬＣＣ ５９．３４　 ６６．６９　 ７４．０８　 ３９．８３　 ４４．０２　 ４９．８７　 ５５．２２本文方法 ６４．４１　 ７１．２２　 ７８．２４　 ４６．７８　 ５１．２３　 ５６．４７　 ６１．９２从表６中，我们可以看出，各个基准方法整体的实验性能都明显低于本文提出的方法，本文所提的方法在准确率“Ａｃｃ”上达到了６４．４１％，比ＩＬＰ流水线模 型 提 升 了 ４．０９％，比 ＬＳＴＭ－ＥＲ 模 型 提 升 了２．７４％，这表明多任务迭代学习方法优于传统的流水线方法．此外，在论点类型识别任务中，本文所提的方法，“Ｃ－Ｆ１（１００％）”和“Ｃ－Ｆ１（５０％）”两个评价指标比串行的ＩＬＰ模型分别提高６．６１％和４．８９％；并且在论辩挖掘关系抽取任务中，“Ｒ－Ｆ１（１００％）”和“Ｒ－Ｆ１（５０％）”的评价指标上也比ＩＬＰ 流水线模型提高了１２．０４％和６．９４％，表明多任务迭代学习模型能够有效减少传统流水线模型中由于论点类型分类 错 误 而 导 致 的 接 下 来 论 点 关 系 抽 取 的 错误．综上 所 述，与 论 辩 挖 掘 联 合 模 型 的 对 比 实 验中，可以看出，本文提出的方法在７个评价指标上均明显高 于 现 有 的 方 法，从 而 验 证 了 多 任 务 迭 代学习模型方法在联合解决论辩挖掘三 个任务时的有效性．为了体现本文所提的方法实验效果的显著性，我们采用 Ｔ 检验的方法重复实验 １０次，本文方法以ｐ－ｖａｌｕｅ＜０．０１显著性优势压倒其它模型，说明采用多任务迭代学习的论辩挖掘方法起到了效果．６．５．４　本文方法与其他多任务方法的实验效果对比为了验证本文所提的多任务迭代方法比其他的多任务学习方法在解决论辩挖掘任务上具有更好的泛化效果．我们将所提的方法与相关的多任务方法在上述的７个评价指标上进行比较．对比方法包括ＳｔａｇＢＬ模 型［１６］，ＬＳＴＭ－ＣＲＦ－ＭＴＬ 模 型［３７］，具 体 结果如表７所示，可以看到，我们的方法相较于前两个多任务学习方法取得更好的效果．需要说明的是这三个方法的任务学习形式，ＳｔａｇＢＬ模型是借助辅助任务学习的形式，将式（１）中的ｙ 看成多任务学习４３５１ 计　　算　　机　　学　　报 ２０１９年果与真实的标签结果完全一致．当α取值为 ５０％，表 示 预 测 标 签 中 至 少 有 ５０％ 的部分与 真 实 的 标 签 相 匹 配．本 文 将 这 些 分 布 称 为Ｃ－Ｆ１（１００％）和 Ｃ－Ｆ１（５０％）．类似的，对于论点关系的类型，定义为Ｒ－Ｆ１（１００％）和Ｒ－Ｆ１（５０％）．显然Ｒ－Ｆ１的值取决于 Ｃ－Ｆ１的值，因为预测正确的论点关系类型必须要以预测为正确的论点类型为基础．同时，定义了两个“α 匹配”分别１００％和５０％的全局Ｆ１值，其式子如下：Ｆ１（１００％）＝２×Ｃ－Ｆ１（１００％）×Ｒ－Ｆ１（１００％）Ｃ－Ｆ１（１００％）＋Ｒ－Ｆ１（１００％），Ｆ１（５０％）＝２×Ｃ－Ｆ１（５０％）×Ｒ－Ｆ１（５０％）Ｃ－Ｆ１（５０％）＋Ｒ－Ｆ１（５０％）．６．４　实验参数设置神经网络训练通过反向传播算法进行训练，并使用 Ａｄａｍ 梯度下降法［３８］更新神经网络模型参数．在本文的实验中，字符嵌入的随机初始化，维度设置为６４维，并在训练过程中使用 Ｆｉｎｄ－Ｔｕｎｅｄ方法进行调整．与 Ｍａ等人［２３］一样的，我们使用 ＳｔａｎｆｏｒｄｓＧｌｏＶｅ［３９］中的１００维向量作为本文的词向量．在实验中，我们使用线性整流 ＲｅＬｕ函数作为模型的激活函数，Ａｄａｍ 梯度下降法学习率初始化设置为０．０１，ｄｒｏｐｏｕｔ率设置为０．２，ｌ２正则化为１Ｅ－５，最小的ｂａｔｃｈ为１００．本文网络中所有的参数均通过在［－０．１，０．１］的正态分布进行初始化．字符级别的ＣＮＮ 网络的过滤窗户大小设置为１，３，５并且每个过滤窗口带有３０个特征映射，词级别的 ＣＮＮ 网络的过滤窗口大小设置为１，３，５并且每个特征窗口带有１２８个特征映射．前向和后向传播的 ＬＳＴＭ 网络层的维数被设置为１２８维．６．５　实验结果分析我们首先分析了多任务迭代学习方法中的迭代次数以及网络结构部件对实验结果的影响；然后，将本文所提出的方法与其它论辩挖掘联合模型的实验结果进行对比来验证方法的有效性；最后，与传统的多任务学习模型进行对比，从而说明本文所提出的多任务 迭 代 学 习 模 型 在 解 决 论 文 挖 掘 问 题 上 的优势．６．５．１　迭代次数对实验结果的影响为了验证循环迭代训练方法的有效性，本文在实验中，设置１５组不同的迭代次数（分布取１、２、３、４、５、６、７、８、９、１０、１１、１２、１３、１４、１５次），对比记录不同迭代次数下，在学生论文数据集上的三个任务的实验结果，结果如表４所示．表 ４　迭代次数对总性能的影响迭代次数 Ａｃｃ　 Ｆ１Ｔ＝１　 ６１．５１　 ４６．８３Ｔ＝２　 ６３．４１　 ５１．４４Ｔ＝３　 ６３．７０　 ５１．６５Ｔ＝４　 ６４．２６　 ５２．７７Ｔ＝５　 ６４．３１　 ５４．０６Ｔ＝６　 ６４．３３　 ５４．７０Ｔ＝７　 ６４．３４　 ５５．２９Ｔ＝８　 ６４．３５　 ５５．８５Ｔ＝９　 ６４．３８　 ５６．１８Ｔ＝１０　 ６４．４１　 ５６．４７Ｔ＝１１　 ６４．３６　 ５６．４２Ｔ＝１２　 ６４．３４　 ５６．１２Ｔ＝１３　 ６４．３１　 ５５．２４Ｔ＝１４　 ６４．２７　 ５４．０２Ｔ＝１５　 ６４．２６　 ５４．００在训练过程中，在相同的参数设置和网络初始权值条件下进行训练．在数据集上，每个迭代次数的设置采用１０次实验的平均结果进行综合评价．具体结果如表４所示，可以发现，当 Ｔ 小于等于 １０ 时，迭代模型在论辩挖掘三个任务上的总体准确率 Ａｃｃ和Ｆ１值随着迭代次数的增加不断提高．当迭代次数为１０次时，实验结果取得最好性能．当迭代次数大于１０次，随着迭代次数的增加，迭代模型的实验性能逐步降低．因此，本文在接下来的实验中选取最优的迭代参数为１０次．当迭代次数为１次时，模型转化为传统的多任务学习神经网络模型，此刻的模型无法有效地利用论辩挖掘相关子任务之间关联的信息，Ａｃｃ和Ｆ１值均为最低值．由此可见，模型的迭代的次数对论辩挖掘任务的总体性能有着很大的影响．图 ７　迭代次数对论辩挖掘子任务的影响更加进一步的，我们分别考察迭代次数对论辩挖掘三个任务的影响．如图７所示，随着迭代次数的增加，论点类型识别任务的 Ｃ－Ｆ１（１００％）和 Ｃ－Ｆ１７期 廖祥文等：基于多任务迭代学习的论辩挖掘方法３３５１