融合情绪知识的案件微博评论情绪分类 |
来源:一起赢论文网 日期:2021-12-12 浏览数:1055 【 字体: 大 中 小 大 中 小 大 中 小 】 |
第44 卷 第3 期2021 年3 月计 算机 学 报CHINESEJOURNALOFCOMPUTERSVol .44No. 3Mar. 2021融合情绪知识的案件微博评论情绪分类郭贤伟 赖 华 余正涛 高盛祥 相 艳( 昆明理工大学信息工程与自动化学院 昆明 65 05 00)( 昆明理工大学云南省人工智能实验室 昆明 65 05 00)摘 要 案件微博评论的情绪分类是一个特定领域的情感多分类任务, 旨在快速有效地识别海量评论中的情绪,有助于相关部门及时评估舆情风险和制定相关政策.由于传统方法难以有效利用评论中常用的情绪词和表情符号等情绪知识, 本文提出一种融合情绪知识的案件微博评论情绪分类方法. 首先, 整合现有的情感计算资源构建了一个包含案件微博情绪词典、表情符号、网络用语、否定词及程度副词等的情绪知识库. 其次, 考虑情绪知识库和词性的作用定义了15种情绪知识, 通过提出的连续向量表示方法构建评论的情绪知识表示.然后将评论的语义表示和情绪知识表示分别输人一个语义初始化滤波器的卷积神经网络(INITCNN)和一个结合注意力机制的全连接网络中, 得到深层的语义特征向量和情绪知识表示的注意力特征向量.最后, 将两个特征向量进行拼接以融合语义特征和情绪知识特征, 训练一个情绪分类模型, 称为EK INITCNNCEmoti onalknowledgeenhancedINITCNN). 在案件微博评论数据集上的实验表明, 相比INITCNN, EKINITCNN的Mtcro Prec以on、Mtcro Re⑶"和Mtcro Fl指标分别提升了1. 87%、1. 95 %和1. 88%.EKINITCNN在NLPCC中文微博情绪分析评测数据集上的性能则超过了目前已知文献中的最好结果. 实验证明, 该方法能有效地融人外部情绪知识, 且相对传统方法在情绪分类任务上具有明显的优势.关键词 案件微博评论; 情绪知识表示; 卷积神经网络; 注意力机制; 情绪分类中图法分类号TP18DOI号10.11897/SP.J.1016 .2021. 00564EmotionClassi ficationofCase-RelatedMicroblogCommentsIntegratingEmotionalKnowledgeGUOXi anWeiLAIHuaYUZhengTaoGAOShengXi angXIANGYan(. Facul tyofInformat ionEngineeringandAuLomaL ion?KunmingUniversityofSci enceandTechnology?, Kunming650500)(YunnanKeyLaboratoryofArt ificialIntel ligence? KunmingUniversi tyofScienceandTechnology?Kunming650500)AbstractCurrentl y,socialmediapl atformsrepresentedbyWei boal lowuserstoexpresstheiropinionsandemoti onsanytimeandanywhereduetotheiropennessandconvenience.Thecase rel atedmi crobl ogpubl i copi ni oni sakindofInternetpubl i copi ni onrelatedtothecase,whi chhasthecharacteri sti csoffasttransmi ssi onspeedandhighsensiti vi ty. Emoti oncl assifi cati onofcaserelatedmicrobl ogcommentsisamul ticlassificati ontaskofsentimenti naspeci ficfiel d,whichaimstoquickl yandeffecti vel yi dentifytheemoti onsi nal argenumberofcomments.Thistaskhelpsrel evantdepartmentstoti mel yeval uatepublicopi ni onrisksandformul aterel evantpolicies.收稿日期:20 20 03 13; 在线发布日期:2020 09 22 . 本课题得到国家重点研发计划(2018YFC0830105) 、 云南省髙新技术产业专项(201606) 、国家自然科学基金( 61972 186) 资助. 郭贤伟, 硕士研究生, 主要研究方向为自然语言处理、 情感分析. Email: xwgu〇lll @163.com.赖 华, 硕士, 副教授, 中国计算机学会( CCF) 会员, 主要研究方向为智能信息处理、 机器学习. 余正涛( 通信作者) , 博士, 教授, 中国计算机学会( CCF)髙级会员, 主要研究领域为自然语言处理、 信息检索和机器翻译. Email : ztyu@h〇t maiLcom. 高盛祥, 博士, 副教授, 中国计算机学会( CCF) 会员, 主要研究方向为自然语言处理、 信息检索和机器翻译. 相 艳, 博士研究生, 副教授, 中国计算机学会( CCF) 会员, 主要研究方向为文本挖掘、 情感分析.郭贤伟等: 融合情绪知识的案件微博评论情绪分类 56 53 期Emoti oncl assi ficati onusual l yusesthefol l owi ngmethods:methodsbasedonemotiondicti onary,methodsbasedontradi tionalmachi nel earni ng,andmethodsbasedondeepl earni ng.Emoti ondicti onarybasedmethods,whichrel yheavil yontheemoti ondicti onary,andtheInternetisful lofnewwordstoexpressemoti ons,itisi mpracticaltoimprovetheemoti ondicti onaryi nreal ti me.Tradi tionalmachi nel earni ngbasedmethodsoftenusesupervisedl earni ngmethods,whi chrelyonl argeamountsofl abel eddataandcompl exfeatureengi neeri ng. Deepl earni ngbasedmethodsgeneral lyencodetextasawhol eandl acktheeffecti veuseofexisti ngemotioncomputi ngresources. Sincei ti sdiffi cul tfortradi ti onalmethodstoeffecti vel yuseemoti onalknowl edgesuchastheemoti onwordsandemoticonscommonlyusedincomments,thispaperproposesanemoti oncl assi ficati onmethodofcase rel atedmicrobl ogcommentsthatintegratesemoti onalknowl edge.Thi smethodusesaconvol utionalneuralnetworkwi thasemanti ci ni ti al izati onfi l terandaful l yconnectednetworkcombi nedwithanattenti onmechanismtofusethesemanticfeaturesandemoti onalknowl edgefeaturesofcommentstoachieveemoti oncl assification.Firstl y,itintegratestheexisti ngsentimentcomputingresourcestoconstructanemoti onalknowl edgebasethati ncl udesthecasemi crobl ogemoti ondi cti onary,emoti cons,networkbuzzwords,negati vewords,anddegreeadverbwords.Secondly,consi deri ngtheroleoftheemoti onalknowledgebaseandpartofspeech,15ki ndsofemoti onalknowledgearedefi ned,andtheemoti onalknowl edgerepresentati onofcommentsi sconstructedbytheconti nuousvectorrepresentati onmethodproposedinthi spaper.Then,thesemanticrepresentati onandemoti onalknowledgerepresentati onofcommentsarei nputi ntoaconvol uti onalneuralnetworkwithsemantici nitiali zati onfil ters(INITCNN)andaful l yconnectednetworkwi thattenti onmechani sm,toobtai nadeepsemanti cfeaturevectorandanattenti onfeaturevector. Fi nal ly,thetwofeaturevectorsareconcatenatedtofusesemanticandemoti onal knowl edgefeaturestotrai nanemoti oncl assi ficati onmodel ,cal l edEKINITCNN(Emotionalknowl edgeenhancedINITCNN) . Inordertoprovetheeffecti venessofthemodeli nthispaper,experi mentswereconductedonthecase rel atedmi crobl ogcommentdatasetandtheNLPCCChi nesemicrobl ogemotionanal ysiseval uati ondataset. Experimentsonthecase rel atedmicroblogcommentdatasetshowthatcomparedtoINITCNN,theMacro_Precision,Macro_RecaLL ,andMacro_FIi ndi catorsofEKINITCNNhaveincreasedby1.87%,1.95%,and1.88 %,respectively.TheperformanceofEKINITCNNonNLPCCChi nesemi crobl ogemoti onanalysi seval uati ondatasetexceedsthebestresul tsi ntheknownliterature.Experi mentsshowthatthismethodcaneffecti vel yi ntegrateexternalemoti onknowl edge,andhasobvi ousadvantagesi nemoti oncl assi fi cati ontaskscomparedtotradi ti onal methods.Keywordscase rel atedmicroblogcomments;emoti onalknowl edgerepresentati on;convol utionalneuralnetwork;attentionmechanism;emoti onclassi ficati on微博作为社交媒体平台的代表, 以其开放性、实地识别海量评论中的各种情绪, 及时了解和掌握案时性、便捷性的特点使得用户可以随时随地发表自件微博舆情, 以便相关部门迅速做出决策.1 引 言与案件相关的互联网舆情, 具有传播速度快、关注度高、敏感度高等特点. 案件微博评论的情绪分类可以看作是特定领域的情感多分类任务, 旨在快速有效己的观点, 表达自己的情感[1]. 案件微博舆情是一种 微博情感分析通常分为3 个任务: 观点句识别、5 66 计 算机 学 报 2021年情感分类和情感要素抽取[ 2 ]. 情绪分类是情感分类任务的一个子任务, 要求识别文本中细粒度的情感, 例如: 乐( happiness) 、 好(l ike) 、 怒(anger) 、 哀(sadness) 、惧(fear) 、恶(disgust) 和惊( surprise). 这与一般的情感分类任务将文本情感分为正负极性或者主客观有很大差别, 难度也更大. 微博文本的情绪分类通常采用以下方法: 基于情绪词典的方法、基于传统机器学习的方法和基于深度学习的方法. 基于情绪词典的方法主要通过情绪词典对文本中的情绪词进行一定的组合计算, 实现文本的情绪分类[ 3 4]. 这种方法对情绪词典的依赖大, 且互联网中表达情绪的新词层出不穷, 实时地完善情绪词典又不现实. 基于传统机器学习的情绪分类常用有监督学习的方法, 需要依赖于大量的标注数据和复杂的特征工程. 现有的情绪分类研究大多是基于深度学习的方法. 虽然基于深度学习的方法在一定程度上有效地避免了基于情绪词典和基于传统机器学习的方法存在的不足, 但是大多数深度学习的方法只是将文本作为一个整体进行编码, 缺乏对现有情感计算资源的有效利用, 也不能很好地体现表情符号和网络用语等对情绪分类的作用.微博文本具有以下特点: 口语化、 富含表情符号和网络用语、 常用否定规则和程度副词规则等. 相比一般微博文本, 案件微博文本还具有领域特性, 涵盖许多领域情绪新词.因此, 针对案件微博评论情绪分类任务本身, 本文还重点关注了领域情绪新词带来的影响. 这些特点给案件微博评论的情绪分类带来很大的挑战. 例如, 针对“西安奔驰女车主维权案”的评论句:“奔驰吃相难看[吐]”和“企业为所欲为要么官商勾结要么背后有黑恶势力”, 其中的表情符号“[吐]”和“吃相难看”、“官商勾结”等领域情绪新词都直接表达了对奔驰公司的厌恶情绪. 如果挖掘了这类情绪词并加人词典的厌恶情绪类别中, 就可以用来辅助识别这类评论句的正确情绪类别. 又如“你积极维权, 不丢人”和“小姐姐加油啊, 哭腔听得我难受, 太委屈了”, 这两条评论中的“不丢人”以及“太委屈”分别使用了否定规则和程度副词规则, 对句子的情绪分别起到反转和加强的作用.综上, 在案件微博评论中常用表情符号、领域情绪新词、 否定规则以及程度副词规则等情绪知识, 传统的情绪分类方法难以有效利用这些情绪知识. 因此, 提出一种融合情绪知识的案件微博评论情绪分类方法, 主要贡献总结如下:(1) 通过整合现有的情感计算资源, 对微博常用的表情符号和网络用语进行收集和分类, 构建了一个微博情绪知识库;(2) 提出了一种基于连续向量的情绪知识表示方法, 表示每个词包含的情绪知识, 使文本在输人时就携带外部的情绪知识;( 3) 提出了一种融合情绪知识的案件微博评论情绪分类方法, 该方法通过一个语义初始化滤波器的卷积神经网络和一个结合注意力机制的全连接网络对评论的语义特征和情绪知识特征进行融合, 实现了情绪分类;(4) 实验结果表明, 该方法能改善案件微博评论情绪分类任务的效果, 在多个分类实验中取得最好的结果.2 相关工作微博情感分类研究一直以来都是国内外的研究热点. 传统的情感分类方法通常将微博情感分为正向或负向[5 H3], 或者识别细粒度的情感, 例如:乐( happi ness) 、 好(l i ke) 、 怒( anger) 、 哀( sadness) 、惧(fear) 、恶( disgust) 和惊( surprise)[7 8]? 这种细粒度的情感分类通常也称为情绪分类.传统的情绪分类方法常用基于词典和规则的方法, 以及基于机器学习的方法. 张晶等人[ 9]利用情绪词、情绪短语、特殊的情绪表达形式以及结合标点符号和表情符号在情绪分类中的作用构建了情绪词典和情绪规则库, 通过对情绪词典和情绪规则的匹配和计算, 实现对微博的情绪分类. 蒋盛益等人[ 1°]利用w〇rd2veC模型[1 1?]对微博语料以增量式学习的方法扩展了人工构建的基准情绪词典, 然后结合HowNet 词典匹配和人工筛选生成最终的情绪词典, 最后分别采用基于情绪词典和基于SVM的方法实现了微博的情绪分类. 张仰森等人[ 1 3 ]基于情感词典和新浪表情符号词典, 并结合朴素贝叶斯分类器, 提出了一种级联式的微博情绪分类模型, 在NLPCC2014 中文微博情绪分析评测数据集上证明了所提方法的有效性. 虽然这些研究都取得了不错的效果, 但是由于传统的方法过于依赖人工构建的词典、 规则以及复杂的特征工程, 距离实际应用还存在很大的差距.郭贤伟等: 融合情绪知识的案件微博评论情绪分类 56 73 期近年来, 越来越多的学者开始使用深度学习的方法进行微博的情绪分类研究.Ji ang 等人?提出的ESM( Emoti conSpaceModel) , 首先用word2vec模型预训练中文微博语料的词向量, 再利用表情符号的词向量构建表情符号空间, 并利用此空间完成所有词向量的重映射, 之后使用SVM完成分类, 在NLPCC微博情绪分析评测数据集上取得了当时的最好结果. 何炎祥等人[15]为常用的表情符号构建情感空间的特征表亦矩阵, 通过表情符号的特征表亦矩阵与词向量矩阵的乘积运算完成词义到情感空间的映射, 使用多通道卷积神经网络模型[ 1 6 ]进行微博的情绪分类, 效果上实现了对文献[14]的超越. 张仰森等人[1 7]提出的DAM(DoubleAttenti onModel) ,先利用双向长短时记忆网络和全连接网络, 分别对微博文本和文本中包含的情感符号进行编码; 接着采用注意力模型分别构建微博文本和情感符号的语义表示, 并将两者的语义表示进行融合以提高微博情绪分类的效果; 该方法在NLPCC2013 和NLPCC2014中文微博情绪分析评测数据集上, 均取得目前已知的最好结果. 除了上述情绪分类方法,一般的情感分类方法也适用于情绪分类中. 关鹏飞等人[1 8]提出一种注意力增强的双向LSTM模型, 分别使用双向LST M和注意力机制学习文本的语义信息以及每个词对句子情感倾向的权重分布, 最后通过并行融合的方式提升微博情感分类的效果.文献[14 15]仅仅考虑了表情符号对于微博情绪分类的作用, 忽略了词语本身的词性及情绪词等情绪知识的作用; 文献[17]虽然考虑了对现有情绪知识的利用, 通过提取文本中的情感符号以及结合注意力机制来加强微博文本的情感语义, 但是该方法在表示情感符号时只是简单地将其映射为词向量, 这种词向量表示方式本身并不携带情感信息; 文献[18]通过注意力机制衡量每个词对文本情感倾向的重要程度, 却完全忽略表情符号、 否定词等外部知识的作用. 文献[17 18] 的方法虽有不足, 但是都证明了注意力机制可以有效地关注表达情感或情绪的重要片段.综上, 大多数基于深度学习的情绪分类方法都缺乏对情绪知识的有效利用. 因此, 本文提出一种融合情绪知识的案件微博评论情绪分类方法. 首先, 提出一种连续向量表示方法构建评论的情绪知识表示, 该方法可以有效地表示每个词所包含的情绪知识, 使文本在输人时就携带外部的情绪知识; 然后通过卷积神经网络和结合注意力机制的全连接网络将评论的语义表示和情绪知识表示进行融合, 提取深层的语义合成特征用于最终的情绪分类. 实验证明,该方法能有效地融人外部情绪知识, 且相对传统方法在情绪分类任务上具有明显的优势.3 融合情绪知识的案件微博评论情绪分类3. 1 微博情绪知识库本文整理了现有的情感计算资源, 收集了微博常用的表情符号和网络用语并分类, 采用人工整理与自动扩充相结合的方法构建了一个微博情绪知识库, 如表1 所亦.表1微博情绪知识库情绪知识 数量/个 举例DUTSD 27 466 髙兴、 愤怒、 厌恶案件微博情绪词典 30 836 为民服务、 拍桌子、 滥用职权表情符号226[哈哈]、 [怒] 、 [吐]网络用语210 稀饭、 TMD、 坑爹否定词 71 非、 不是、 绝不程度副词 219 很、 非常、 十分表1 中, DUTSD表示大连理工大学的情感词汇本体?]; 案件微博情绪词典以DUTSD基础, 沿用其7 大类情绪进行扩充得到, 具体构建流程见3.2 节; 表情符号和网络用语从新浪微博开放平台上获得, 从中筛选保留了使用频率较高的、 带情绪色彩的部分, 按照DUTSD的7 大类情绪进行标注分类得到; 否定词通过互联网收集现有资源得到;程度副词以HowNet 中的程度副词为基础进行构建.3. 2 案件微博情绪词典的构建由于DUTSD无法涵盖案件微博评论语料中可能出现的所有领域情绪新词, 且这些情绪新词对于案件微博评论的情绪分类十分重要.因此, 基于SOPMI算法和word2vec 词向量余弦相似度计算方法, 从案件微博评论语料库中挖掘领域情绪新词对DUTSD进行扩充, 构建了案件微博情绪词典, 构建流程如图1 所示.5 68 计導机攀报: _1苹图I 案件徽鍵償绪爾典梅津流程a.2. 1 基猶修靖_典梅r隹#考虑到表情符号和网络用语对于情绪表达的, 重要怍用,对微博常用的带情绪色彩的_僧符号和网络用氣进行收集整理, 按照乐(happi ness)、好( li ke》、 怒(anger)、哀(sadrass)、俱Ciwr )、 聽■(disgiistl翁懷《surprise}7类情绪进行分类, 加人DUTSD中作为基础情绪词典.3. 2. 2 种子情绪词集的获取首先对案件微博评论语料进行隹重¥删除“/广、和URL等数据预处理操作; 然.后使用〗l eba*词工具的添加用户词典功能, 以基础情绪词典作为用户饲典对评论裔料进行分词和词性标注, 樽到谱料库词表. 这样做的好处在于:一是可以确保在语料庠中出现的种子情绪词可以被独立切分; 二褢可以5食保_情轉例翁“[哈廢]'’的特殊格:式赛_r#鄭裊情符等的词性标记为“emoji'这祥.不仅可以防止分甸器将表情符号划分为几个不同的单元, 也便于表情符号的识别, 对微博的情绪分类有麗審的影响. 最后将基础情绪词典在: 语料库_中出现的所書M作为种予情绪词, 构成种子?情绪词集,3. 2.3 徽博领域情绪新筒的识别与扩充文就[20]指出; 情感词不仅是指潘葬爾黎者, 感情色藤, 还包含有动筒、名词、副词等姆性,另外, 情感词还会与领域有着极强的相关性. 因此, 考虑词性以及领域相关性会对情感词典的构建有很大的帮助? 此外,因为。基础情绪词典无法涵盖语料库.中所有可能出现的情绪词.、所K基于构建的案件徽搏评论语料库:, 将Turney等人?提出的SQPMI 算法敗进为一种7 类剗的SQPMI 算法, 用于自动挖掘语料摩的候选倩绪SJ.具体实现方法为: 通过筛选出语料库词表中饲性为: 形容词v动词、名词、 副词以及表情符号姆性“emoji”的所有筒,然后计算每个祠if神子傭绪爾集中各个情绪类别所有情绪词相应的SO-PMI值s 保留SO-PMI 值大于零的词作为对应类别的候选情绪词? 词的SOPMI 值越大, 表示该词与当前情绪类别越相关? 具体计算公式如式⑴和⑵所示.PMI Cwordl? itiordZ)■=Iag2pi^OXf'd1)p()pi.'werdZ)Cl)S〇-PM. I(: ;'(■!;?< / 1) —I'MIi u.'nrJ\.uort /2izwrd2^ Ssome- kindPMI( vuordl?vuord2 )(2 )Wrd2^ S〇thers式;(1) 和( 2>中.* teerefl:裹承在?料摩中出现的飼,微}>"<^2義事种子'情諸爾; 梦《麵/.tfr象w&re?2S秦拿解 与仰?_<12在语料库中歲;同: 出现的概率,多(stprrfl. )隹语料库?中街规的概辱, fCwar<i2!3 .翁本W评d?2 在语料库中:出现的概率 M表本某一情绪类别种子情绪词集合,:表示其它6 类种浐情绪词*合*通过上述SOPM1 算法就能蒋到7个倩绪类别对应的候选情绪词由于SOPMI 算法是基于词共现概率苯挖掘候选情绪甸的,导寒部分高频非情绪词也被挖掘出来. 为了过滤候选词中的高频非情绪词,舉用基于獨rdhec 的饲向量相似度计算方法Q°' 2 2]来计算候选词与种子情諸词的相似度保留高疏量候选词作为蕞备的领域情绪新飼, 具体实施时, 采用pythort第三方■鑛块gsnsi m①中齡W〇rd2'vec 筒處量余弦相似度计算:函数, 计算每个类别的候选情绪词与其对应类别的种子情绪词的平均相似歲, 保辑爭均相似度大于0, 5 的候选词作为其对应类别的领域情绪新词、. 计算公式如下:①https: //radimrehurek.com/gensim/apiref. html郭贤伟等: 融合情绪知识的案件微博评论情绪分类 56 9 3 期COS( Vi ,V))=I hl.hl( 3)aver_coSi—2,hhHhl l=1,2,…, w( 4)式(3)和( 4)中, ^表示候选词的词向量, m表示当前类别候选词总数a表示种子僧绪飼的词阿量, 《 表示3前業别种子情绪饲总数.逋过上述方法就可以. 得到一个扩展情绪饲典,然后逋过人工筛选高截量的扩展糖绪词加人神子'情绪词集, 进行增量式的迭代进而挖掘更多领域情绪新词最趋, 在算播挖掘不到情绪新何时停止迭代,得到最终的扩展情绪何典? 举文选择将扩展精绪词典中表情符号湘网络用语单独筛选出来. 方便后续的实验分析? 筛选完启,将扩盾情绪词典和DUTSD_#成一个相 翁的情齋葡典, 称为案件徽博營绪词典. 扩展前启的词典对比如羞2所示.表2扩展前后的词典对比词典名称 数量/个 举例DUTSD(扩展前) 27 466 惊吓、 没皮没脸、 狼狈为奸案件微博情绪词典(扩展后)30836 吓成、 吃相难看、 官商勾结3. 3EUNlT-CHM模型为了同时表示文本.自身的语义特征和情绪知识特征,引人倩绪知识库为词语定义r诃性和偾绪标签等15 种倩绪知识, 提出一种基于连续向量的情绪知识表示方法. 然后, 将案件微博评论的语义表示和情绪知识表示分别输入一个滤彼器语义初始化的卷积网络和一个结含注窵. 力机制的全连接网络, 提取深层的语义特征和情绪知识特征., 帮助模型.惠好地:学,文本的懂绪, 斑此, 构倉了一个融含情绻知: 识的神瓮网络模獵EKIMTCNNi 模應緒抅如图2所示,SoftmaxSoftmax层3,3.1 儀义表示和情绪知识表示层EK-INr^C^N. 模型的输人分为案件微博评论的语义表示和情绪知识表示. 案件徽博评论的语义表示是一十对评论句进行分词., 蕃通过加载预训练词向量词表_"对每个词进抒查询并分配词向嫌:的过輕. 其中.. 汉表示词表的祠fc数, rf表示甸向量雄度. 假谗一个包含《个筒的评论文本序列了二'! 徽, 观;:.,…, 琢》丨* 对:于T中翁每个词货, 都能通过爾表 查询到一个何阿量v.,,用十运箅符进行断量方向的拼接操作, 则序列了的1吾义表示矩阵Mr为Mr=Ti ? %; ?- ‘(Dr, S)案件微博评论的情绪知识表示是一个基于著緣树議裹3?方法构蓮:情'绪; 知识表亦矩阵前过程*督先: ,根据微博情绪知识库, 为毎个词定义了W性及情绪标签等is 种情绪知识, 见表3r然后、给?定包含《个词的评论'句T=■'! 綱,職;, ,…,叫, 丨 , , 財于每个: 词to,^=1, 2, 一, 》, 按鹿_3 的15. 种情绪知识顺序依次进行如下操作: 若叫包含第一种知识*则为其随机初始化一个w维的非零连续向量<齊则为其初始化一个?《 维的全零[fe] 量、本文取?《= 10? 以此类推, 每个 都将#到15个w维向量, 将这1S 个向量拼接成一个(15 乂_)维的向量 務为精緒知识尚參? 遍历完:T中的醉有词f将得到的《 个情绪知识薄量按行掛接, 得到一个s/(15 乃與)维的情绪知识表示矩阵Me:Mj=@@…CBft, , (6 )5 70 计 算机 学 报 2021年表3 词语可能包含的情绪知识是否为: happiness 标签、 like标签、anger 标签、 sadness_法如、d标签Jear 标签、disgust 标签、 surprise 标签、 否定词、程度副词、 名词、 动词、 形容词、 副词、 网络用语、 表情符号m维向量 连续向量( 是)/全零向量(否)3.3.2 语义和情绪知识特征提取层EKINFTCNN模型的特征提取层分为语义特征提取层和情绪知识特征提取层. 语义特征提取层由一个Ngram卷积层和池化层组成. 微博文本中存在许多完整的wgram知识可作为情绪分类的重要依据, 采用了一种卷积滤波器语义初始化技术[23]:首先使用一种新颖的朴素贝叶斯加权技术从语料中挑出一系列wgram特征; 接着采用KMeans 聚类对这些wgram特征的嵌人向量进行聚类, 得到top々 个聚类中心; 最后, 在模型的卷积层中将它们的聚类中心向量输人滤波器的第一个《位置. 举个示例: 如果《=2(本文取值) , 滤波器窗口大小为3,那么就在滤波器的第1、2 行放人一个2gram聚类中心向量, 第3 行则采用随机初始化的策略. 与传统的卷积神经网络不同, 采用这样的策略能使模型在训练一开始就集中学习重要的《gram特征.假设卷积滤波器 々 为滤波器窗口大小, 表亦词向量维度. 对于输人的从<行到i+々 1行的局部特征矩阵Xw+i:, 卷积滤波器所提取的特征图的第z 个特征值表示为(7)其中,/(?) 表示非线性激活函数, 可以是tanh 或re/M等. ?表示卷积运算符,6 表示偏置值.对于文本块序列 , X2 : 是+1,…, X k +1-. n }?经过一个卷积层就能得到其局部特征图Z=[zi, zz,? ? ?(8)随后, 将经卷积层得到的特征图Z输人到池化层, 采用的是maxpool i ng池化, 得到局部最优特征z=max{ Z}(9)此外, 卷积层采取了_; 种不同窗口大小的卷积滤波器, 每种窗口大小的滤波器各?个, 以此来提取更丰富的语义特征.因此, 经过卷积层和池化层后得到的局部最优特征向量表示为[Si . tj,? ? ?, zm, ki,? ? ?,? ? ?, zh, k,? ? ?]( 10)其中, 表示窗口大小为々 的第_; 种类型滤波器提取的第 个局部最优特征.模型的情绪知识特征提取层由一个全连接层和注意力层组成.由于每个词映射得到的情绪知识向量之间并不存在较强的语义依赖关系, 因此采用全连接网络对情绪知识表示矩阵进行非线性变换, 进行最初的编码, 编码后的情绪知识表示的维度保持不变. 并且, 每个情绪知识向量对于文本情绪表达的重要程度各不相同, 所以进一步将经全连接层编码后的情绪知识表示输人注意力层中, 得到情绪知识表示的注意力特征向量_ 注意力层采用Luong 等人[2 4]提出的全局注意力机制_ 注意力层对输人的每个状态 进行加权求和, 从而得到情绪知识表示的注意力特征向量Vau:TVan=at h,( 11)其中, T表示输人状态的数目, 《,注意力权重, 通过如下公式计算:exp(ejE)表示输人状态/i, 的( 12)2exp(ejE)e,=tanh(W%, +6)(13)式(12) 和( 13) 中, W与6 分别为注意力层的权重和偏置, £表示随机初始化的上下文特征向量. 三个参数都参与模型的训练, 通过不断学习得到.e, 表示计算注意力权重时的中间状态, 以是其转置. 通过上述注意力层, 衡量每个词映射得到的情绪知识向量的重要程度, 最终为每个评论构建一个( 15Xm) 维的情绪知识注意力特征向量.3.3.3 语义合成层和全连接层案件微博评论的语义表示矩阵和情绪知识表示矩阵输人特征提取层后, 分别得到语义特征向量Vs_nll 。 和情绪知识注意力特征向量Vk_Wg6. 将两个特征向量直接进行拼接, 得到文本的语义合成向量V:^^sema ntic ^E^^knowledge(14)然后, 语义合成向量f经全连接层进行变换后得到案件微博评论的情绪得分向量S. 全连接层的隐藏单元个数等于分类类别数.3.3.4Softmax层( 情绪得分计算层)最后, 将案件微博评论的情绪得分向量s 输人到Softmax层, 使其转化为一个条件概率分布:exp( s.)P! (s)=^^,i= l,2,-, C(15)^exp(s;)其中, C表示情绪标签的数目. 采用交叉熵损失函数来衡量情绪标签的预测概率分布与真实概率分布之间的差距, 并通过反向传播算法来训练和更新模型的参数. 损失函数表示为郭贤伟等: 融合情绪知识的案件微博评论情绪分类 57 13 期loss二^P-(x)l og2( Pf(x) )( 16)x^Ti l其中, T为训练集,:r 为训练集中的每一个样本, K(:r)表示样本:r 的情绪标签的真实概率分布, P?( :r) 表示样本 的情绪标签的预测概率分布.4 实验与分析女车主维权案共58626 条, 总共189364 条. 从中随机采样了30000 条评论, 沿用DUTSD的7 类情绪标签进行人工标注, 标注工作由两个人完成. 最后,保留标注一致的、包含情绪的11593 条评论作为案件微博评论实验数据集, 按照近似8:1:1 的比例将实验数据集分为训练集、验证集和测试集, 数据集分布如表5 所示.4. 1实验数据集为了验证情绪知识融合方法在公共数据集上的有效性, 在NLPCC2013 和NLPCC2014 中文微博情绪分析评测数据集上设置了多组对比实验. 为了体现情绪知识融合方法在案件微博评论情绪分类任务上的优势, 在构建的案件微博评论数据集?上设置了多组对比实验.NLPCC2013 和NLPCC2014 中文微博情绪分析评测数据集来自新浪微博, 每个数据集分为训练集和测试集, 分别记为2013_trai n?、2013_test?、2014_trai n④和2014_test?. 每条微博分为有无情绪两大类, 无情绪的标注为none, 有情绪的按照DUTTSD的乐( happi ness)、 好( li ke)、 怒( anger)、 哀(sadness)、 惧(fear)、 恶( disgust ) 和惊( surprise)7 大类情绪标注, 与本文的标注体系一致. 其中, 在NLPCC2014 数据集的训练集中, happi ness 和sadness类各有一条微博内容为空, 选择将其删除. 评测数据集可用于有无情绪的主客观分类和有情绪的情绪分类. 本文研究的是情绪分类任务, 最终未用到none标签数据, 两个数据集的具体分布如表4 所示.表4NLPCC2013和NLPCC2014 评测数据集(单位: 条)情绪标签2013_train2013_test2014_train2014_testnonehappi nesslikesadnessf eardisgustsurprise总数487311 16155843674410293523610 0001459220466913 998360344110421281896000通过新浪微博平台采集了近年来备受关注的7 个案件微博的评论数据, 构建了案件微博评论数据集. 其中, 涞源反杀案共10812 条; 江歌案共13624 条; 赵宇见义勇为案共17491 条; 章莹颖遇害案共17875 条; 重庆公交车坠江案共33774 条; 河南玛莎拉蒂肇事逃逸案共37162 条; 以及西安奔驰表5 案件微博评论实验数据集 (单位: 条)情绪标签 训练集 验证集 测试集happi ness1371 152 129like 1348 174 152anger 1348 152 152sadness1355 162 145f ear 1367 169 133disgust 1342 144 158surprise 1338 140 162总数 9469 1093 10314. 2 预训练词向量的使用本文分别在计算候选词与种子情绪词的余弦相似度和为实验中的所有神经网络模型构建输人的词嵌人时, 使用文献[2 5 ]公开的预训练词向量?, 为每个词分配一个相应的词向量. 该词向量使用NLPIRLab公开的大规模微博语料库进行预训练, 预训练模型采用的是word2vec⑦开源工具中的Skip gram模型, 词向量维度为300 维, 词表大小为195197. 此外, 在神经网络模型的训练过程中, 使预训练词向量不断学习更新.4. 3 实验对比模型MNB模型( Mul ti nomialNai veBayes)[2 6 ]? 在许情感多分类任务中都取得优秀的结果, 模型沿用文献[15]的文本特征选取方法.SVM模型( SupportVectorMachi nes). 被广泛用于情感分类任务中并取得最好的结果, 例如文献[27]和文献[28]. 用于SVM模型的文本特征提取和表示方法与文献[15]—致.BLSTTM模型( Bi drecti onalLongShort TermMem〇ry)[ 2 9 ]. 该模型通过双向的LSTM对文本表示进行编码, 得到上下文相关的文本特征用于情感分类. 模型的参数设置与文献[17]保持一致.Att BLSTTM模型( Attenti onBasedBi drecti onalLongShort TermMemory)[3。]? 在BLSTTM模型的①https : //github.com/guohuojian/dataset/archive/mast er,zip②http: //t cci.ccf . org.cn/conf erence/2013/dldoc/evsam02.zip③http://t cci. ccf . org. cn/conference/2013/dldoc/evans02. zip④http://t cci. ccf . org. cn/conference/2014/dldoc/evt estdat al. zip⑤http: //t cci. ccf . org. cn/conlerence/2014/dldoc/evans01. zip⑥https : //gi thub.com/Embedding/ Chinese Word Vectors⑦https : //code,google.com/p/word2vec/5 72 计 算机 学 报 2021年基础上引人注意力机制, 文本词嵌人经BLSTM编码后输人到注意力层中, 学习一个包含注意力信息的上下文向量, 使得模型能够学到更重要的语义信息. 模型参数与文献[30]保持一致.Capsul e B模型(CNNBasedCapsul e)[3 1]? 该模型基于Sabour 等人提出的胶囊网络[3 2]进行改进得到, 在情感分类、新闻分类等多个文本分类任务中取得最好的结果. 模型沿用文献[31]的参数设置.HAN模型(Hi erarchi cal Attenti onNetworks)[3 3].一个基于双向GRU的层次注意力模型. 模型通过词级的双向GRU编码后输人词级注意力层, 得到文本的句子级语义表示; 再将其输人一个句子级的双向GRU层和注意力层, 得到整个文本的语义表示用于分类. 该模型能有效关注文本中重要的词和句子, 在包括情感分类在内的多个文本分类任务中取得最好的结果. 模型的参数设置与文献[33]保持一致?CNN模型( Convol uti onalNeuralNetworks)[ 16 ].Kmi 提出的卷积神经网络, 通过将文本的语义表示输人卷积神经网络中, 提取深层的语义特征实现文本的情感分类. 该模型有多种变体, 实验采用的是CNNnon static, 表示使用预训练词向量并在训练过程中动态更新词向量.INITCNN 模型(CNNwi thIni ti al izi ngConvol uti onal Fil ters)[2 3 ]. 该模型基于上述的CNN模型, 通过KMeans算法对一系列重要的wgram嵌人向量进行聚类, 然后用得到的聚类中心来初始化卷积滤波器, 实现微博文本的情感分类.因为INITCNN具有性能优秀、可并行处理和模型复杂度低的优点,所以将其选做基础模型进行改进.4. 4 模型参数设置对于机器学习模型, MNB模型的平滑因子alpha 设置为1.0; SVM模型的正则化常数C设置为1.〇, 核函数选择线性核函数l i near. 对于神经网络模型, 除了在4.3 节所列模型中提及了采用相关文献的参数设置外, CNNnon stati c、INITCNN以及EKINITCNN的可调参数设置如表6 所示.表6 可调参数设置可调参数 值优化器 Adambat ch_size 64dropout 0. 5learning_rate0. 001卷积滤波器窗口大小是 2 , 3 , 4 , 5每种窗口大小的滤波器个数m 100注意力层隐藏单元个数 1504. 5 评价指标本文使用NLPCC2013 中文微博情绪分析评测?中的: 精确率( fVecihow) 、 召回率(i?eca/Z) 、 F1 值( F1)、 宏平均精确率(Macro—fVeciWow)、 宏平均召回率(Macro_i?ecaZZ)、宏平均F1值(Macro—Fl) 以及微平均F1 值(MzcnFl) 作为评价指标.4. 6 实验结果分析4.6.1NLPCC中文微博情绪分析评测为了验证本文的情绪知识融合方法在公共数据集上的有效性, 在NLPCC微博情绪分析评测数据集上进行了对比实验, 结果见表7 和表8. 表中, EESM、BLSTM、MCNN、 EMCNN以及DAM的实验结果摘自文献[15]和文献[17].EKINITCNN( base) 表示利用微博情绪知识库中的DUTSD、否定词、 程度副词、 网络用语和表情符号来融人情绪知识.因为NLPCC评测数据集不具有案件微博领域特性, 所以在公共数据集上未使用案件微博情绪词典, 而是使用DUTTSD.文献[14]提出的表情符号空间模型( ESM) 通过两种不同的求和策略得到两个版本, EESM是其中表现更好的版本, 在NLPCC情绪分析评测数据集上取得当时最好的结果. BLSTM[2 9]通过双向的LSTM提取上下文相关的文本特征用于情感分类,是情感分类常用模型之一. MCNN是文献[15] 中EMCNN模型的基础模型, 是经典的卷积神经网络模型. EMCNN[1 5]为常用的表情符号构建情感空间的特征表示矩阵, 并完成词义到情感空间的映射, 然后通过MCNN模型训练一个分类器, 性能超越了ESM. DAM由文献[17]提出, 在基于注意力机制的BLSTM模型的基础上增加了一个通道, 将文本的情感符号集合的语义表示输人全连接层和注意力层获取附加的语义特征, 增强文本的情感语义; 该模型在NLPCC2013 和NLPCC2014 情绪分析评测数据集上均取得当前已知的最好结果.表7NLPCC2013 评测数据集实验结果ModelsMacro_Fl/ %Mi cro_Fl/ %EESMBLSTMMCNNEMCNNDAMINI TCNNEKINITCNN( base)①http: //t cci.ccf .org.cn/conference/20 13/dldoc/ev02.pdf郭贤伟等: 融合情绪知识的案件微博评论情绪分类 573non-static, 可以看出INIT-CNN的Macro_F1和Mfcro_Fl 分别提升了1.69%和1.75%? 这表明本文使用的卷积滤波器语义初始化技术可以显著提升传统卷积神经网络的效果.4.6.3 各个情绪类别的分类性能分析为了证明本文方法能有效改善模型对单个情绪类别的分类性能, 将EK-INIT-CNN与基础模型INIT-CNN进行了实验对比, 使用和F1 三个评价指标, 结果见图3?图5.100.082.580.0happinesslikeangersadnessfeardisgustsurprise情绪类别图3 各个情绪类别的精确率对比结果分祈表f可知,本文模: 型=EK-IBITCHH的四项指标均超过所有基准模型. 从表中可以着出, 传统的MNB模_和SVM模型都取得了不错的效果, 但是与各深度-习模型相比还存在一定随差距? 其中, 与机雜单习常用的SVM分类器梅比,EKINH ̄CHN的MddFl和MJrtti—f'l分: 别提升了6.S3%,6.、§?6,2.碎和S. S§%; 与情,感分类倉用的CNNnoii stflie模麵相比,EI< miTfNH的iW〇er0_i?ee3//、Afo.fro_Fl:和MicnFl 分剔提升了3.?4%,3.、&釕%和S. 雜K; 辱讀感分灘: 任營中表现优秀的Att-BLSTM相比f 分别提升了2. 26.於,2,3:§養、2>3l: M和2.43: M.此外, 还与在多个情感分类任务中取得巖:好结果的模_进行了: 对比? 与GapsubrB. 相比, EKIOTTCNNfillMicro—fl和Mfcro_Fl#别猶升了&: 11鉍、3.墟M.*与HAN相比, 分别提升了0. 99 %和1- 07M_实验结巣表明*本文融合情绪知识的方法在: 寒件微博情绪分类任务中具有期显的优势.: 碧外ONEFC萌:是_CNNncin-stati c 的: 碁础i使甩了卷积滤波器语义初始化技术. 对比CNHi3撰表8}flLPCC2014 评测数据集实验结果Models Macro_Fl/P〇 Micro_Flf^SE-ESM 37.86 44.25BLSTM 33.85 44.56MCNN 38.29 45.34EMCNN 39.4047.23DAM 41.42 49.44INIT-CNN 39.3954.11EK-INIT-CNN(base) 51. 02 63.66紙表7和義S芎藤着出, EK-IKITT CN: M:(base)在两个评_数据集上的性能均超过了所有对比模盡._比i翁已知的儀紆镇: 纖DAM, 隹KLFCC2013评娜—振象上, EK-IOTI^S(bas_Mu: 相—F1雜 _F1 分别提升了m%和¥?40Kf 在KLPCC1014:數摒梟上,.. Macra’Fl和Mfe:r<s—fl分另1撻升了9.sax和14.2'2%. 实验结果表明融合外都情绪知识的方法在NLPCC评测任务中具有明显的优势, 证_了管绪知识融合方法的有效性, 同时fEKriC,CNN( ba:se) 在M14年数据麗上的性能振升要好f2013 年的, 这是因为2014年数据集的训练集更大使得模邀爾练更充分. 这暫文献[17] 的结论是一致的? 此外*由于MLPCC评测数据粲属于类别不平衡数据集, 导致所有樓遨表现都较差. 但是,EK麗麗細( b獅?相比其它_的'表现_取得了较大的改善_4. C2 案件镦博评论情绪分类任务为了证明本文融合情諸知识的方法在案件微博评论悟绪分类任务上具有优势, 将EKINTIX3MN檬型与现有8个基准模型进行了实验对比, 实验结暴如逢3所亦?表9 案件微博评论情绪分类实验结果Models Macro_Precision / % Macro_Recal l /M Macro_F\. .(:^3;: Micro_Fl { %MNB 75.88 75.8075.5075.46SVM 85.54 85.15 85.1984.77BLSTM 88.65 88.24 88.29 88.07Att-BLSTM 89.61 89.6089.4989.33Capsule-B 88. 94 88.61 88.7088.38I IAN 90.84 90.88 90.82 90.69CNN-non-stati c 88.23 88.28 88.24 88. 07INIT-CNN 90. 0089. 95 89. 93 89.82EK-INIT-CNN 91.87 91.90 91.81 91.76.5.0Lq.0.5.07.5.2.0.7.5.999988%/§1之5 74 计導机攀报: _1苹情绪类别图4.费个懷續 攀Sf£t攀舉图5咨个債爾養剔的FI?f比结皋分析圏3:0谨|可知,乘文擊盤EKINITT CMH除了£随*幾__Pmr; Mcr?、F1 搢标以:減li ke 类的R?:a// 指标比IKIT-CNN的低之外, 其它类别的三项遛标都趙过I1SITCNN.通过分析, 我们发现fear类的测试数据有13a条, 其中被 龙确预测的有121条. 而#食类别的数据被EK-IMTCmi错误地预测成f?ir类的數据有8 条. 进一步分析发现这8 条数据基本上存在:: 两种情繪# 但儀在知祖过8中只? 知注其中一种情绪, 而EKrNIT-CNN把它们错误地预测为另外一种情绪. 例如,“听到最后全车人的尖叫都觉得太恐怖了?[悲伤][兼伤][悲翁〕[_1 伤〕[悲伤]”这一评论被人工.注:为sadwss||f由f£KINITCNN, 更关法评论中“尖叫”和“太恐怖”所表达的情:绪f 属此将其错误地预测为fear獎..like 类的i?咖〃指标降低的原因则是li ke类测试数据中有些具有多种情绪的评论被EKlHiTCTfN误分类为其玄情绪. 例如.. 评论“我爱自己的菌家,但是对人根失望,就这样'被标'逄为l i ke类, EKINITCNM. 将其误分类成sadness类. 总结来说. 测试'集中具有多种情绪的评论着时対EKI親TCNN模質的学男机蕭不:利. 这是导致EKINIT-C細在这两个类别的指标比INn^CRN更低的主萎原因.此夕卜J目比ISITCMM, EK-INfCNW'在炽剴disgust 类的性能提升最明显? 这是由于案件微博评论中纖 disgust 情緒餅评论特薇麗加鲜明? 例如,我们发现测试集: 中^恶心°,厌盔”和“[吐3”等词或表管符号的使用更频繁, 这对EKINIT-CNN中额外融入情堵知识的樓块更有荆,因此它能更好地识别disg_養+: 总之s 实验薇果暴期EK 酬的总体性能优于iNfr-CNN4正明T率文方法能有效改善模型在单个倩绪类别的分类性能.4. 14 情绪知识融合模块的有效性分析为了证明本文提出的情绪知识融合霍块(见图2>与 准模魏相结合的有效性.. 设董了多组对比实验. 首先分析了在基础模型IMTGSDf上增加情绪知识融合模块的嘗效性, Xt比模型和结果见图6. 其中, INITCNN为本文的墓础模型,. 未融人任何情绪知: 识IEKIMIT-CNN( base1義示利用擞傅情绩知: 识_中的D. UTSD、否定词、 程度謝词、 网络用语和表情符等_融入情鍺知识EKINITCNN表示利用徽博情绪知识库中的案件徽博情绪词典、香途筒、程度副词、网络用语和表情符号来融人情绪知识?露SISI丁-CSN.结會億緒*?蘭倉楊操的S翁性验IE分柝屬6■可知, 相比IhStTCNM:樓麵, EK-INHGNN(base) 的宏平均F1 和徽乎均F1 分别提升了1. 3S%和1. 職%;EI?MTT CWH_宏平均F1和微平均F1 分别提升了1.88%和1.94%. 这表明,1NITCKN与情绪知识融合模块结含^可以显著■升學SI的性能? 而箱比EKINIT-CSN( base)sEKINITaSR的宏平均F1 和微: 平均FI分别提升了0? 肋%和0.49%, 太约占怠暴升C:EK1麗T-CN賞相比.1萬ITCNH的提升,的21%和2S%. 處_明—在DUTSD基础上扩充的案件徵博情绪词典包含更1鹫■雩V鐵合爾驗顏班的續_靜评论情續分藥 57 5 議 期羊竄的领域情绪新領h对于案件微博.评论的情绪分娄任务具有显著的作用, 进一步的实例分析结果也证明T这一结论. 例如, 评论“为了钱官育勾黎苦的是老舊姓”和“供不应求的行业都吃相难#[doge]”中的“官商勾绪”及"吃相难.看■”是案件微博情绪爾典中扩充的领域情绪新调. 模型预测这两条评论时;利用案件微博倩绪调典的EKINIT-CNN将它们正确地预测为di sgust 类情绪, 而利用Dl?D的EKINI,CNN(:base)都预测锴儀.本文还将情绪知识融合模块分别与性能较优的Attr^Lfla'Cspsul e-: &和HAN模議_脅大薪儀道:Att-BLSTM+EKCEmetionalknawledge)-,C: ap:sul e B+EK和HA:N+EK, 然. 后将这三个儀遨与EKINIM}NN进行实验对比, 以此说明本文将INITCSCN模型. 作为基础模型与情绪知识融合模块..的优勢, 实验儀皋见_1Q.Models ̄ ̄Att-BLSTM ̄ ̄Att-BLSTM+EKCapsul e-BCapsule-B+EKI IANI IAN+EKINIT-CNNEK-INIT-CNN表i〇 情绪知识融合模块的有效性验证结果Macro_Precision/ %Macro_Recall /%Macro_Fl /%, Micro_Fl / %#析表10 可知, ft本文6t懵绪知识融合壇块与和HAN#獏塑相缙合, 能有效地改善模型的性能;其中, Att-BLSTM+EK模型的性儀提: 升量明显#M_*o_Preeisio?2、和 分别提升了"1.84%、1.、 1.95%和1.98%?另夕卜,翁于HAW的分层注意力结构, 本身已经有效地关龙了文本中表达情绪的重要片段, 导致HAN在结合情绪知识融合糢块时性館提升不那么明显-从暑中超可 : 看出I 猶_础樣獵/INIT-C酬上增加情'绪知识融合模块》 得到的本文模寒EKinitcnn, 取得了最好的性能? 相比性能第二的At卜BLSm+EK,: EKINITM3NM的 和分别离了 S? 雜0?45%? 無: 结杲裊明, 结合本文的情绪知识融合模块能有效地改善基_模塑: 的性能,且在; INITONN壤纖上遊行结合的效果最'好?4.6.5 各项情绪知识的性能分析为了考察各项情:绪知识对案件糠I 博评论情:绪分类性能的影响, 将不同的情绪知识组合?用于EKIN.EKMN, 设置了8 麗: 对比繼猶? 各稹繼?为:ModeLl(寒件微博情绪词典) 、M〇del_2〈表情符号}、ModelJK网络用捂:)、 Model _4(: _情符号+网络用语) 、 Model_S( 案件微博情绪词典+表情符号+网络用谘)以及M〇del_6(案件徵博情绪诃典+否諸爾+程虔: 副词 因为否定筒和程盧:副词8有与情绪爾搭宵2才起作用3 所以未单独歲用于EKINIHNN.6 麗对比寝型与INIT-C顚的实验结果如图7 所示.模型图7 备项情繳知识性能谢比从图7 可看出, 相比基础模型lNlf*CNN, 使用各项情绪知识的模型性能均有提升. 其中, 苹独使用某项情绪知识时. MQiel_l (, 案件微博情绪甸典) 和MocieLK翁清符辱)的性能提升比较明显( 网络用语>的性能提升较小? 姐合使用时. Model_S(案件微博情绪词典+春情符号+网络用窜)的性能最优; 而Model_6(案件微博情绪词典+否定词+程度副词、相比M〇del_l【案件微博请绪筒典) 的性能也有提升. , 这表明‘齊定词和程度爾词对倩绪表达也是起作用的,同时, 否定饲利程度副词对性能的作用不明显的 主要是数据集中使用杳定.词和程度词的评论相对较少. 实验结粜表明, 本文构建的慠博情绪知识库可以有效地与深虞学《模型播配使用, 且融合情绪知识的方法还避免了传统深度学岑楱型缺乏利用现有情感计算资源的现象.5 76 计 算机 学 报 2021年5 总结与展望针对案件微博评论, 本文提出一种融合情绪知识的情绪分类方法. 该方法通过构建一个微博情绪知识库, 并使用一种新颖的情绪知识表示方法将情绪知识融人神经网络模型中, 提升了模型对文本情绪的识别能力. 实验结果表明, 采用本文的情绪知识融合方法, 对于案件微博评论的情绪分类具有十分有效的指导作用, 且该方法在公共数据集上也取得了当前已知的最好结果.当前, 针对微博文本的多标签情绪分类任务是研究的热点和难点, 在下一步的工作中, 我们将针对案件微博评论的多标签情绪分类问题开展研究.参 考 文 献[1]DingZha〇 Yun?JiaYan, ZhouBin. Surveyofdat amini ngformicroblogs. Journalof ComputerResearchandDevelopment s2014,5 1(4) ; 691 70 6(inChinese)( 丁兆云, 贾焰, 周斌. 微博数据挖掘研究综述. 计算机研究与发展, 2014 ,51(4) : 691 706)[2]LiYongGan,ZhouXue Guang, SunYan, et al. Researchandimplement at ionof Chinese microblogsent imentclassificat ion.JournalofSof t ware ,2017 ,28(12) ; 3183 3205(inChinese)( 李勇敢, 周学广, 孙艳等. 中文微博情感分析研究与实现.软件学报,2017, 28(12) :3183 3205)[3]WiebeJ? WilsonT, CardieC. Annot at ingexpressionsofopinionsandemot ionsinlanguage. LanguageResourcesandEvaluation, 2005 , 39( 2) : 165 210[4]TaboadaM, Broo keJ? Tofil oskiM? etal. Lexiconbasedmet hodsforsenti ment analysis. Comput at ionalLinguist ics,2011 ,3 7( 2): 267 307[5]MohammadS, Kirit chenkoS, ZhuX. NRCCanada : Buildingthestat eofthe art insent imentanalysis of t weets//Proceedingsofthe7thInt ernat ionalWorkshoponSemant icEvaluation( SemEval2013) . At lant a, USA, 2013: 32 1 327[6]ZhangB, XuX, LiX,etal. Sentimentanalysisthroughcrit iclearningforoptimizingconvolutionalneuralnet workswit hrules. Neurocomputi ng,201 9,356: 2 1 30[7]WenS, WanX. Emotionclassificat ion inmicroblogtextsusingclasssequent ialrules//Proceedingso fthe28 thAssociationfortheAdvanceofArt ificialInt elligence( AAAI2 014).QuebecCity,Canada, 2014; 187 1 93[8]SintsovaV,PuP. Dyst emo: Dist antsupervisionmet hodformulti cat egoryemot ionrecognit ionint weets. ACMTransactionsonInt elligentSystemsandTechnol ogy,2016,8(1): 13:1 13:22[9]ZhangJing, ZhuBo ,LiangLin Lin, etal. Recognit ionandclassificat ionofemot ionsintheChinesemicroblogbasedonemot ionalfactor. Act aScient iarumNaturaliumUniversit atisPekinensis, 20 14, 50( 1): 79 84 ( inChinese)( 张晶, 朱波, 梁琳琳等.基于情绪因子的中文微博情绪识别与分类. 北京大学学报( 自然科学版) ,2014,50(1) : 79 84)[10]JiangSheng Yi, HuangWei Jian,CaiMa〇 Li, etal. Buildingsocialemotionallexiconsforemotionalanalysisonmicroblog.JournalofChineseInf ormationProcessing? 2015,29(6) :166 171(inChinese)(蒋盛益, 黄卫坚, 蔡茂丽等. 面向微博的社会情绪词典构建及情绪分类方法研究. 中文信息学报, 加15,29( 6) :166 17 1)[11]MikolovT?SutskeverI ,ChenK,et al. Dist ribut edrepresentat ionsofwordsandphrasesandtheircompositionali ty//Proceedingsof t heAdvancesi nNeuralI nformationProcessingSyst ems26(NIPS20 13 ) . LakeTahoe, USA, 2013: 31113119[12]MikolovT, ChenK, CorradoG?etal. Efficient estimationof wo rdrepresent ationsinvect orspace. Comput ingResearchReposit ory,arXivpreprint arXiv: 130 1. 378 1,2013[13]ZhangYangSen, SunKuang Yi, DuCui Lan,etal. Acascadedconst ructionofsentiment classifi erf ormi croblogs.JournalofChineseInformationProcessing? 2017 , 3 1(5) :178 184 ( inChinese)( 张仰森, 孙旷怡, 杜翠兰等.一种级联式微博情感分类器的构建方法. 中文信息学报,2017, 31(5) : 178 184)[14]JiangF?LiuY?LuanI I ,et al. Mi croblogsent imentanalysiswit hemoti conspacemodel . JournalofComput erScienceandTechnol ogy,2015, 30 (5) : 11201129[15]HeYan Xiang,SunSongTao, NiuFei Fei , et al. Adeeplearningmodelenhancedwithemot ionsemanticsformicroblogsentimentanalysis. ChineseJournalofComput ers? 2017 ,40 (4) : 773790(i nChi nese)(何炎祥, 孙松涛,牛菲菲等.用于微博情感分析的一种情感语义增强的深度学习模型. 计算机学报, 2017 , 40(4) :773 790)[16]KimY. Convolutionalneuralnetworksforsentenceclassificat ion//Proceedi ngsof the2014ConferenceonEmpiricalMethodsonNaturalLanguageProcessing( EMNLP2014). Doha,Qatar,20 14; 1746 17 51[17]ZhangYangSen, ZhengJia,HuangGaiJuan, etal. Mi croblogsentiment analysismethodbasedonadouble at tent ion model.JournalofTsinghuaUniversity( ScienceandTechnology) ,20 18 ,58 ( 2): 122 130 ( inChinese)(张仰森, 郑佳, 黄改娟等. 基于双重注意力模型的微博情感分析方法. 清华大学学报( 自然科学版) ,2018, 58(2) :122 130)[18]GuanPengFei ,LiBa〇 An?LvXue Qiang,et al . At t entionenhancedbidirect ionalLSTMf orsent imentanalysis. Journalof ChineseInformat ionProcessi ng,2019 ,33 (2) : 105 lll(inChinese)( 关鹏飞, 李宝安, 吕学强等. 注意力增强的双向LSTM情感分析. 中文信息学报, 201 9,33( 2): 105 111)[19]XuLin I Iong, LinI IongFei, PanYu,etal. Const ruct ingtheaf fect ivelexiconontology. Journaloft heChinaSocietyforScient ifi candTechnicalInformat ion,2008 , 27(2) : ISO185( i nChi nese)郭贤伟等: 融合情绪知识的案件微博评论情绪分类 577 3 期(徐琳宏, 林鸿飞, 潘宇等. 情感词汇本体的构造. 情报学报, 2008 ,27(2) :180-185)[20]MeiLi-Li ,HuangI le-Yan,ZhouXin-Yu,etal. Asurveyonsentimentlexiconconstruction.JournalofChineseInformationProcessing,2016,30(5):19-27(inChinese)(梅莉莉, 黄河燕, 周新宇等. 情感词典构建综述. 中文信息学报, 2016 ,30(5) :19-27)[21]TurneyPD,LittmanML.Measuringpraiseandcriticism:Inferenceofsemanticori entationfromassociation. ACMTransactionson InformationSystems?2003 ?21(4):315-346[22]ZhangW, ZhuY, WangJ.Anintel ligenttextualcorpusbigdatacomputingapproachforlexiconsconstructionandsentimentclassificationofpublicemergencyevents. MultimediaToolsandAppli cations,2019,78(21): 30 159-30 17 4[23]LiS,ZhaoZ,LiuT,etal. Initializingconvol utionalfi lterswithsemanticfeaturesfortextclassification//Proceedi ngsofthe2017ConferenceonEmpiricalMethodsinNaturalLanguageProcessing(EMNLP2017 ).Copenhagen,Denmark, 2017:188 4-1889[24]LuongMT,PhamI I,ManningCD. Effectiveapproaches toattention-basedneuralmachinetranslation//Proceedingsofthe2015ConferenceonEmpiricalMethodsinNaturalLanguageProcessing(EMNLP2015).Lisbon,Portugal,2015:1412-142 1[25]LiS,ZhaoZ,I IuR,etal.AnalogicalreasoningonChinesemorphologicalandsemanticrelations//Proceedingsofthe5 6 thAnnualMeetingofthe AssociationforComputationalLinguistics(ACL2018). Melbourne ,Australi a,2018 :138-143[26]Bermi nghamA,SmeatonAF. Classifyingsentimentinmicrobl ogs:Isbrevi tyanadvantage^//Proceedingsofthe19thACMInternationalConferenceonInformationandKnowledgeManagement(CIKM 2010). Toronto,Canada,GUOXian-Wei,M.S.candidate.Hi sresearchi nterestsincl udenaturall anguageprocessi ngandsentimentanalysis.dtkLAIHua,M.S.,associateprofessor.Hismainresearchinterestsincludeintelligentinformationprocessingandmachinelearning.BackgroundSincetheappearanceofmicroblog,researchonsenti mentanalysisofmicroblogathomeandabroadhasneverstopped.Senti mentcl assificationisasub-taskoftextsentimentanalysis.Iti susuallydividedintosubjectiveandobjecti vecl assification,sentimentpol aritycl assificati on,andemotion2010: 1833-1836[27]PangB, LeeL, VaithyanathanS. Thumbsup?Sentimentclassificationusingmachinel earningtechniques/ /Proceedingsofthe2002ConferenceonEmpiricalMethodsonNaturalLanguageProcessing(EMNLP2002). Phil adelphia,USA,2002 : 79-86[28]GoA,BhayaniR,HuangL.Twi ttersentimentclassificationusingdi stantsupervision. Stanford,California,USA,2009[2 9]GravesA,JaitlyN,MohamedAR. Hybridspeechrecognitionwith deepbidirectionalLSTM//Proceedi ngs ofthe 2013IEEEAutomaticSpeechRecognitionandUnderstandingWorkshop(ASRU2013).Ol omouc,CzechRepublic,2013 :273-278[30]ZhouP, ShiW, TianJ, etal. Attention-basedbidirectionallongshort-term memorynetworksfor relationclassification//Proceedingsofthe54thAnnualMeetingoftheAssociationforComputationalLinguistics(ACL2016).Berlin,Germany,2016 : 207-2 12[3 1]ZhaoW?YeJ,YangM,etal. Investigatingcapsulenetworkswithdynamicroutingfortextclassification//Proceedi ngsofthe2018ConferenceonEmpiricalMethodsinNaturalLanguageProcessing(EMNLP2018). Brussel s, Belgi um,2018 : 3110-31 19[32]SabourS, FrosstN, I lintonGE. Dynamicrouti ngbetweencapsules//Proceedingsofthe Advancesi nNeuralInformationProcessi ngSystems30(NIPS2017). LongBeach,USA,2017 :3859-38 69[33]YangZ, YangD,DyerC,etal. Hi erarchi calattentionnetworksfordocumentclassification//Proceedingsofthe15 thAnnualConferenceoftheNorthAmericanChapteroftheAssociationforComputationalLingui stics: HumanLanguageTechnol ogies(NAACL-I ILT201 6). SanDi ego,USA,2016: 1480-1489YUZheng-Tao,Ph.D. ,professor.Hismainresearchinterestsincl udenaturallanguageprocessi ng,informationretri evalandmachi netranslation.GAOSheng-Xiang,Ph.D. , associateprofessor.Hermainresearchinterestsincludenaturallanguageprocessing,informationretrievalandmachinetranslation.XIANGYan, Ph.D.candidate,associateprofessor.Hermainresearchinterestsincludetextminingandsentimentanalysis.classification.Atpresent,thesentimentclassificationofmicroblogwithTwitterasthemainbodyhasmadeverypromi singprogressandresults.However,mostdomesticandforeignsentimentclassifi cationresearchesonmicroblogmainlyfocusonsubjectiveandobjectiveandsentimentpolarity5 78 计 算机 学 报 2021年classification. Asfarasweknow, thereisrel ativelylittleresearchonemotioncl assificationofChines emicroblogathomeandabroad,andtheexisti ngresearchonemotionclassificationofChinesemi croblogusual lytargetsmicrobloginthegeneralfield.Existingresearchesareusual lybasedonemotionaldictionariesandtraditionalmachinelearningmethods. Thepredecessorshaveaccumul atedal otofsentimentcomputingresources , andsomestudieshaveminedattributefeaturessuchasemoticonsandinternetbuzzwordsforemotioncl assificationofmicroblog.Theyarecoll ectivelycall edemotionalknowl edge.Althoughthesemethodshaveachievedgoodresults,theyrel ytoomuchonartificiall yconstructeddictionariesandcomplexfeatureengineeri ng,andthereisstil lalargegapfrompractical appl ications.Sincetheemergenceofdistributedwordvectorrepresentationmethods,alargenumberofdeepl earningbasedemotioncl assificationmethodshaveemerged. Thesemethodsbenefitfromneuralnetworksthatcanautomaticallylearnthefeaturerepresentationoftext.However, deeplearningbasedmethodscannoteffectivelyintegratetheemotional knowledgecommonlyusedinmicroblog, andtheemotionalknowledgehasbeenproventobeeffectiveintraditionalmethods.Theresearchcarriedoutinthisarticleisaimedatthecase relatedmicroblogcomments,whichbelongstoaspecificfieldoftasks. Ai mingattheaboveproblems,thispaperproposesacase relatedmicroblogcommentsemotionclassificationmethodthatintegratesemotionalknowledge. Comparedwi ththeexisti ngmethods,themethodinthispapereffectivelyusesemotionalknowl edge , helpstheneural networkmodel tobetterl earntheemotionofthecaserelatedmicroblogcomments , andachievedthebestresults.ThisworkissupportedbytheNationalKeyResearchandDevelopmentPlan(No. 2018YFC0830105), theYunnanHigh techIndustrySpecialProject(No.201606 ),andtheNationalNaturalSci enceFoundationofChi na(No. 6 1972186 ).Casepubl icopinionmonitoringi sessential forcourtstopreventpublicopinionrisks. Inordertoaddresstheproblemsinthecurrentcasepublicopinionmonitoring,basedontheneedsofthecourts , thisworkstudiestheemotionclassificationmethodofcase relatedmi croblogcommentsbasedonthecharacteristicsofonlinepublicopinionsinvolvedinthecase. |
[返回] |