欢迎访问一起赢论文辅导网
本站动态
联系我们
 
 
 
 
 
 
 
 
 
 
 
QQ:3949358033

工作时间:9:00-24:00
经济管理论文
当前位置:首页 > 经济管理论文
融合情绪知识的案件微博评论情绪分类
来源:一起赢论文网     日期:2021-12-12     浏览数:900     【 字体:

 第44 第3 2021 年3 月计 算机 学 报CHINESEJOURNALOFCOMPUTERSVol .44No. 3Mar. 2021融合情绪知识的案件微博评论情绪分类郭贤伟 赖 华 余正涛 高盛祥 相 艳( 昆明理工大学信息工程与自动化学院 昆明 65 05 00)( 昆明理工大学云南省人工智能实验室 昆明 65 05 00)摘 要 案件微博评论的情绪分类是一个特定领域的情感多分类任务, 旨在快速有效地识别海量评论中的情绪,有助于相关部门及时评估舆情风险和制定相关政策.由于传统方法难以有效利用评论中常用的情绪词和表情符号等情绪知识, 本文提出一种融合情绪知识的案件微博评论情绪分类方法. 首先, 整合现有的情感计算资源构建了一个包含案件微博情绪词典、表情符号、网络用语、否定词及程度副词等的情绪知识库. 其次, 考虑情绪知识库和词性的作用定义了15种情绪知识, 通过提出的连续向量表示方法构建评论的情绪知识表示.然后将评论的语义表示和情绪知识表示分别输人一个语义初始化滤波器的卷积神经网络(INITCNN)和一个结合注意力机制的全连接网络中, 得到深层的语义特征向量和情绪知识表示的注意力特征向量.最后, 将两个特征向量进行拼接以融合语义特征和情绪知识特征, 训练一个情绪分类模型, 称为EK INITCNNCEmoti onalknowledgeenhancedINITCNN). 在案件微博评论数据集上的实验表明, 相比INITCNN, EKINITCNN的Mtcro Prec以on、Mtcro Re⑶"和Mtcro Fl指标分别提升了1. 87%、1. 95 %和1. 88%.EKINITCNN在NLPCC中文微博情绪分析评测数据集上的性能则超过了目前已知文献中的最好结果. 实验证明, 该方法能有效地融人外部情绪知识, 且相对传统方法在情绪分类任务上具有明显的优势.关键词 案件微博评论; 情绪知识表示; 卷积神经网络; 注意力机制; 情绪分类中图法分类号TP18DOI号10.11897/SP.J.1016 .2021. 00564EmotionClassi ficationofCase-RelatedMicroblogCommentsIntegratingEmotionalKnowledgeGUOXi anWeiLAIHuaYUZhengTaoGAOShengXi angXIANGYan(. Facul tyofInformat ionEngineeringandAuLomaL ion?KunmingUniversityofSci enceandTechnology?, Kunming650500)(YunnanKeyLaboratoryofArt ificialIntel ligence? KunmingUniversi tyofScienceandTechnology?Kunming650500)AbstractCurrentl y,socialmediapl atformsrepresentedbyWei boal lowuserstoexpresstheiropinionsandemoti onsanytimeandanywhereduetotheiropennessandconvenience.Thecase rel atedmi crobl ogpubl i copi ni oni sakindofInternetpubl i copi ni onrelatedtothecase,whi chhasthecharacteri sti csoffasttransmi ssi onspeedandhighsensiti vi ty. Emoti oncl assifi cati onofcaserelatedmicrobl ogcommentsisamul ticlassificati ontaskofsentimenti naspeci ficfiel d,whichaimstoquickl yandeffecti vel yi dentifytheemoti onsi nal argenumberofcomments.Thistaskhelpsrel evantdepartmentstoti mel yeval uatepublicopi ni onrisksandformul aterel evantpolicies.收稿日期:20 20 03 13; 在线发布日期:2020 09 22 . 本课题得到国家重点研发计划(2018YFC0830105) 、 云南省髙新技术产业专项(201606) 、国家自然科学基金( 61972 186) 资助. 郭贤伟, 硕士研究生, 主要研究方向为自然语言处理、 情感分析. Email: xwgu〇lll @163.com.赖 华, 硕士, 副教授, 中国计算机学会( CCF) 会员, 主要研究方向为智能信息处理、 机器学习. 余正涛( 通信作者) , 博士, 教授, 中国计算机学会( CCF)髙级会员, 主要研究领域为自然语言处理、 信息检索和机器翻译. Email : ztyu@h〇t maiLcom. 高盛祥, 博士, 副教授, 中国计算机学会( CCF) 会员, 主要研究方向为自然语言处理、 信息检索和机器翻译. 相 艳, 博士研究生, 副教授, 中国计算机学会( CCF) 会员, 主要研究方向为文本挖掘、 情感分析.郭贤伟等: 融合情绪知识的案件微博评论情绪分类 56 53 期Emoti oncl assi ficati onusual l yusesthefol l owi ngmethods:methodsbasedonemotiondicti onary,methodsbasedontradi tionalmachi nel earni ng,andmethodsbasedondeepl earni ng.Emoti ondicti onarybasedmethods,whichrel yheavil yontheemoti ondicti onary,andtheInternetisful lofnewwordstoexpressemoti ons,itisi mpracticaltoimprovetheemoti ondicti onaryi nreal ti me.Tradi tionalmachi nel earni ngbasedmethodsoftenusesupervisedl earni ngmethods,whi chrelyonl argeamountsofl abel eddataandcompl exfeatureengi neeri ng. Deepl earni ngbasedmethodsgeneral lyencodetextasawhol eandl acktheeffecti veuseofexisti ngemotioncomputi ngresources. Sincei ti sdiffi cul tfortradi ti onalmethodstoeffecti vel yuseemoti onalknowl edgesuchastheemoti onwordsandemoticonscommonlyusedincomments,thispaperproposesanemoti oncl assi ficati onmethodofcase rel atedmicrobl ogcommentsthatintegratesemoti onalknowl edge.Thi smethodusesaconvol utionalneuralnetworkwi thasemanti ci ni ti al izati onfi l terandaful l yconnectednetworkcombi nedwithanattenti onmechanismtofusethesemanticfeaturesandemoti onalknowl edgefeaturesofcommentstoachieveemoti oncl assification.Firstl y,itintegratestheexisti ngsentimentcomputingresourcestoconstructanemoti onalknowl edgebasethati ncl udesthecasemi crobl ogemoti ondi cti onary,emoti cons,networkbuzzwords,negati vewords,anddegreeadverbwords.Secondly,consi deri ngtheroleoftheemoti onalknowledgebaseandpartofspeech,15ki ndsofemoti onalknowledgearedefi ned,andtheemoti onalknowl edgerepresentati onofcommentsi sconstructedbytheconti nuousvectorrepresentati onmethodproposedinthi spaper.Then,thesemanticrepresentati onandemoti onalknowledgerepresentati onofcommentsarei nputi ntoaconvol uti onalneuralnetworkwithsemantici nitiali zati onfil ters(INITCNN)andaful l yconnectednetworkwi thattenti onmechani sm,toobtai nadeepsemanti cfeaturevectorandanattenti onfeaturevector. Fi nal ly,thetwofeaturevectorsareconcatenatedtofusesemanticandemoti onal knowl edgefeaturestotrai nanemoti oncl assi ficati onmodel ,cal l edEKINITCNN(Emotionalknowl edgeenhancedINITCNN) . Inordertoprovetheeffecti venessofthemodeli nthispaper,experi mentswereconductedonthecase rel atedmi crobl ogcommentdatasetandtheNLPCCChi nesemicrobl ogemotionanal ysiseval uati ondataset. Experimentsonthecase rel atedmicroblogcommentdatasetshowthatcomparedtoINITCNN,theMacro_Precision,Macro_RecaLL ,andMacro_FIi ndi catorsofEKINITCNNhaveincreasedby1.87%,1.95%,and1.88 %,respectively.TheperformanceofEKINITCNNonNLPCCChi nesemi crobl ogemoti onanalysi seval uati ondatasetexceedsthebestresul tsi ntheknownliterature.Experi mentsshowthatthismethodcaneffecti vel yi ntegrateexternalemoti onknowl edge,andhasobvi ousadvantagesi nemoti oncl assi fi cati ontaskscomparedtotradi ti onal methods.Keywordscase rel atedmicroblogcomments;emoti onalknowl edgerepresentati on;convol utionalneuralnetwork;attentionmechanism;emoti onclassi ficati on微博作为社交媒体平台的代表, 以其开放性、实地识别海量评论中的各种情绪, 及时了解和掌握案时性、便捷性的特点使得用户可以随时随地发表自件微博舆情, 以便相关部门迅速做出决策.1 引 言与案件相关的互联网舆情, 具有传播速度快、关注度高、敏感度高等特点. 案件微博评论的情绪分类可以看作是特定领域的情感多分类任务, 旨在快速有效己的观点, 表达自己的情感[1]. 案件微博舆情是一种 微博情感分析通常分为3 个任务: 观点句识别、5 66 计 算机 学 报 2021年情感分类和情感要素抽取[ 2 ]. 情绪分类是情感分类任务的一个子任务, 要求识别文本中细粒度的情感, 例如: 乐( happiness) 、 好(l ike) 、 怒(anger) 、 哀(sadness) 、惧(fear) 、恶(disgust) 和惊( surprise). 这与一般的情感分类任务将文本情感分为正负极性或者主客观有很大差别, 难度也更大. 微博文本的情绪分类通常采用以下方法: 基于情绪词典的方法、基于传统机器学习的方法和基于深度学习的方法. 基于情绪词典的方法主要通过情绪词典对文本中的情绪词进行一定的组合计算, 实现文本的情绪分类[ 3 4]. 这种方法对情绪词典的依赖大, 且互联网中表达情绪的新词层出不穷, 实时地完善情绪词典又不现实. 基于传统机器学习的情绪分类常用有监督学习的方法, 需要依赖于大量的标注数据和复杂的特征工程. 现有的情绪分类研究大多是基于深度学习的方法. 虽然基于深度学习的方法在一定程度上有效地避免了基于情绪词典和基于传统机器学习的方法存在的不足, 但是大多数深度学习的方法只是将文本作为一个整体进行编码, 缺乏对现有情感计算资源的有效利用, 也不能很好地体现表情符号和网络用语等对情绪分类的作用.微博文本具有以下特点: 口语化、 富含表情符号和网络用语、 常用否定规则和程度副词规则等. 相比一般微博文本, 案件微博文本还具有领域特性, 涵盖许多领域情绪新词.因此, 针对案件微博评论情绪分类任务本身, 本文还重点关注了领域情绪新词带来的影响. 这些特点给案件微博评论的情绪分类带来很大的挑战. 例如, 针对“西安奔驰女车主维权案”的评论句:“奔驰吃相难看[吐]”和“企业为所欲为要么官商勾结要么背后有黑恶势力”, 其中的表情符号“[吐]”和“吃相难看”、“官商勾结”等领域情绪新词都直接表达了对奔驰公司的厌恶情绪. 如果挖掘了这类情绪词并加人词典的厌恶情绪类别中, 就可以用来辅助识别这类评论句的正确情绪类别. 又如“你积极维权, 不丢人”和“小姐姐加油啊, 哭腔听得我难受, 太委屈了”, 这两条评论中的“不丢人”以及“太委屈”分别使用了否定规则和程度副词规则, 对句子的情绪分别起到反转和加强的作用.综上, 在案件微博评论中常用表情符号、领域情绪新词、 否定规则以及程度副词规则等情绪知识, 传统的情绪分类方法难以有效利用这些情绪知识. 因此, 提出一种融合情绪知识的案件微博评论情绪分类方法, 主要贡献总结如下:(1) 通过整合现有的情感计算资源, 对微博常用的表情符号和网络用语进行收集和分类, 构建了一个微博情绪知识库;(2) 提出了一种基于连续向量的情绪知识表示方法, 表示每个词包含的情绪知识, 使文本在输人时就携带外部的情绪知识;( 3) 提出了一种融合情绪知识的案件微博评论情绪分类方法, 该方法通过一个语义初始化滤波器的卷积神经网络和一个结合注意力机制的全连接网络对评论的语义特征和情绪知识特征进行融合, 实现了情绪分类;(4) 实验结果表明, 该方法能改善案件微博评论情绪分类任务的效果, 在多个分类实验中取得最好的结果.2 相关工作微博情感分类研究一直以来都是国内外的研究热点. 传统的情感分类方法通常将微博情感分为正向或负向[5 H3], 或者识别细粒度的情感, 例如:乐( happi ness) 、 好(l i ke) 、 怒( anger) 、 哀( sadness) 、惧(fear) 、恶( disgust) 和惊( surprise)[7 8]? 这种细粒度的情感分类通常也称为情绪分类.传统的情绪分类方法常用基于词典和规则的方法, 以及基于机器学习的方法. 张晶等人[ 9]利用情绪词、情绪短语、特殊的情绪表达形式以及结合标点符号和表情符号在情绪分类中的作用构建了情绪词典和情绪规则库, 通过对情绪词典和情绪规则的匹配和计算, 实现对微博的情绪分类. 蒋盛益等人[ 1°]利用w〇rd2veC模型[1 1?]对微博语料以增量式学习的方法扩展了人工构建的基准情绪词典, 然后结合HowNet 词典匹配和人工筛选生成最终的情绪词典, 最后分别采用基于情绪词典和基于SVM的方法实现了微博的情绪分类. 张仰森等人[ 1 3 ]基于情感词典和新浪表情符号词典, 并结合朴素贝叶斯分类器, 提出了一种级联式的微博情绪分类模型, 在NLPCC2014 中文微博情绪分析评测数据集上证明了所提方法的有效性. 虽然这些研究都取得了不错的效果, 但是由于传统的方法过于依赖人工构建的词典、 规则以及复杂的特征工程, 距离实际应用还存在很大的差距.郭贤伟等: 融合情绪知识的案件微博评论情绪分类 56 73 期近年来, 越来越多的学者开始使用深度学习的方法进行微博的情绪分类研究.Ji ang 等人?提出的ESM( Emoti conSpaceModel) , 首先用word2vec模型预训练中文微博语料的词向量, 再利用表情符号的词向量构建表情符号空间, 并利用此空间完成所有词向量的重映射, 之后使用SVM完成分类, 在NLPCC微博情绪分析评测数据集上取得了当时的最好结果. 何炎祥等人[15]为常用的表情符号构建情感空间的特征表亦矩阵, 通过表情符号的特征表亦矩阵与词向量矩阵的乘积运算完成词义到情感空间的映射, 使用多通道卷积神经网络模型[ 1 6 ]进行微博的情绪分类, 效果上实现了对文献[14]的超越. 张仰森等人[1 7]提出的DAM(DoubleAttenti onModel) ,先利用双向长短时记忆网络和全连接网络, 分别对微博文本和文本中包含的情感符号进行编码; 接着采用注意力模型分别构建微博文本和情感符号的语义表示, 并将两者的语义表示进行融合以提高微博情绪分类的效果; 该方法在NLPCC2013 和NLPCC2014中文微博情绪分析评测数据集上, 均取得目前已知的最好结果. 除了上述情绪分类方法,一般的情感分类方法也适用于情绪分类中. 关鹏飞等人[1 8]提出一种注意力增强的双向LSTM模型, 分别使用双向LST M和注意力机制学习文本的语义信息以及每个词对句子情感倾向的权重分布, 最后通过并行融合的方式提升微博情感分类的效果.文献[14 15]仅仅考虑了表情符号对于微博情绪分类的作用, 忽略了词语本身的词性及情绪词等情绪知识的作用; 文献[17]虽然考虑了对现有情绪知识的利用, 通过提取文本中的情感符号以及结合注意力机制来加强微博文本的情感语义, 但是该方法在表示情感符号时只是简单地将其映射为词向量, 这种词向量表示方式本身并不携带情感信息; 文献[18]通过注意力机制衡量每个词对文本情感倾向的重要程度, 却完全忽略表情符号、 否定词等外部知识的作用. 文献[17 18] 的方法虽有不足, 但是都证明了注意力机制可以有效地关注表达情感或情绪的重要片段.综上, 大多数基于深度学习的情绪分类方法都缺乏对情绪知识的有效利用. 因此, 本文提出一种融合情绪知识的案件微博评论情绪分类方法. 首先, 提出一种连续向量表示方法构建评论的情绪知识表示, 该方法可以有效地表示每个词所包含的情绪知识, 使文本在输人时就携带外部的情绪知识; 然后通过卷积神经网络和结合注意力机制的全连接网络将评论的语义表示和情绪知识表示进行融合, 提取深层的语义合成特征用于最终的情绪分类. 实验证明,该方法能有效地融人外部情绪知识, 且相对传统方法在情绪分类任务上具有明显的优势.3 融合情绪知识的案件微博评论情绪分类3. 1 微博情绪知识库本文整理了现有的情感计算资源, 收集了微博常用的表情符号和网络用语并分类, 采用人工整理与自动扩充相结合的方法构建了一个微博情绪知识库, 如表1 所亦.表1微博情绪知识库情绪知识 数量/个 举例DUTSD 27 466 髙兴、 愤怒、 厌恶案件微博情绪词典 30 836 为民服务、 拍桌子、 滥用职权表情符号226[哈哈]、 [怒] 、 [吐]网络用语210 稀饭、 TMD、 坑爹否定词 71 非、 不是、 绝不程度副词 219 很、 非常、 十分表1 中, DUTSD表示大连理工大学的情感词汇本体?]; 案件微博情绪词典以DUTSD基础, 沿用其7 大类情绪进行扩充得到, 具体构建流程见3.2 节; 表情符号和网络用语从新浪微博开放平台上获得, 从中筛选保留了使用频率较高的、 带情绪色彩的部分, 按照DUTSD的7 大类情绪进行标注分类得到; 否定词通过互联网收集现有资源得到;程度副词以HowNet 中的程度副词为基础进行构建.3. 2 案件微博情绪词典的构建由于DUTSD无法涵盖案件微博评论语料中可能出现的所有领域情绪新词, 且这些情绪新词对于案件微博评论的情绪分类十分重要.因此, 基于SOPMI算法和word2vec 词向量余弦相似度计算方法, 从案件微博评论语料库中挖掘领域情绪新词对DUTSD进行扩充, 构建了案件微博情绪词典, 构建流程如图1 所示.5 68 计導机攀报: _1苹图I 案件徽鍵償绪爾典梅津流程a.2. 1 基猶修靖_典梅r隹#考虑到表情符号和网络用语对于情绪表达的, 重要怍用,对微博常用的带情绪色彩的_僧符号和网络用氣进行收集整理, 按照乐(happi ness)、好( li ke》、 怒(anger)、哀(sadrass)、俱Ciwr )、 聽■(disgiistl翁懷《surprise}7类情绪进行分类, 加人DUTSD中作为基础情绪词典.3. 2. 2 种子情绪词集的获取首先对案件微博评论语料进行隹重¥删除“/广、和URL等数据预处理操作; 然.后使用〗l eba*词工具的添加用户词典功能, 以基础情绪词典作为用户饲典对评论裔料进行分词和词性标注, 樽到谱料库词表. 这样做的好处在于:一是可以确保在语料庠中出现的种子情绪词可以被独立切分; 二褢可以5食保_情轉例翁“[哈廢]'’的特殊格:式赛_r#鄭裊情符等的词性标记为“emoji'这祥.不仅可以防止分甸器将表情符号划分为几个不同的单元, 也便于表情符号的识别, 对微博的情绪分类有麗審的影响. 最后将基础情绪词典在: 语料库_中出现的所書M作为种予情绪词, 构成种子?情绪词集,3. 2.3 徽博领域情绪新筒的识别与扩充文就[20]指出; 情感词不仅是指潘葬爾黎者, 感情色藤, 还包含有动筒、名词、副词等姆性,另外, 情感词还会与领域有着极强的相关性. 因此, 考虑词性以及领域相关性会对情感词典的构建有很大的帮助? 此外,因为。基础情绪词典无法涵盖语料库.中所有可能出现的情绪词.、所K基于构建的案件徽搏评论语料库:, 将Turney等人?提出的SQPMI 算法敗进为一种7 类剗的SQPMI 算法, 用于自动挖掘语料摩的候选倩绪SJ.具体实现方法为: 通过筛选出语料库词表中饲性为: 形容词v动词、名词、 副词以及表情符号姆性“emoji”的所有筒,然后计算每个祠if神子傭绪爾集中各个情绪类别所有情绪词相应的SO-PMI值s 保留SO-PMI 值大于零的词作为对应类别的候选情绪词? 词的SOPMI 值越大, 表示该词与当前情绪类别越相关? 具体计算公式如式⑴和⑵所示.PMI Cwordl? itiordZ)■=Iag2pi^OXf'd1)p()pi.'werdZ)Cl)S〇-PM. I(: ;'(■!;?< / 1) —I'MIi u.'nrJ\.uort /2izwrd2^ Ssome- kindPMI( vuordl?vuord2 )(2 )Wrd2^ S〇thers式;(1) 和( 2>中.* teerefl:裹承在?料摩中出现的飼,微}>"<^2義事种子'情諸爾; 梦《麵/.tfr象w&re?2S秦拿解 与仰?_<12在语料库中歲;同: 出现的概率,多(stprrfl. )隹语料库?中街规的概辱, fCwar<i2!3 .翁本W评d?2 在语料库中:出现的概率 M表本某一情绪类别种子情绪词集合,:表示其它6 类种浐情绪词*合*通过上述SOPM1 算法就能蒋到7个倩绪类别对应的候选情绪词由于SOPMI 算法是基于词共现概率苯挖掘候选情绪甸的,导寒部分高频非情绪词也被挖掘出来. 为了过滤候选词中的高频非情绪词,舉用基于獨rdhec 的饲向量相似度计算方法Q°' 2 2]来计算候选词与种子情諸词的相似度保留高疏量候选词作为蕞备的领域情绪新飼, 具体实施时, 采用pythort第三方■鑛块gsnsi m①中齡W〇rd2'vec 筒處量余弦相似度计算:函数, 计算每个类别的候选情绪词与其对应类别的种子情绪词的平均相似歲, 保辑爭均相似度大于0, 5 的候选词作为其对应类别的领域情绪新词、. 计算公式如下:①https: //radimrehurek.com/gensim/apiref. html郭贤伟等: 融合情绪知识的案件微博评论情绪分类 56 9 3 期COS( Vi ,V))=I hl.hl( 3)aver_coSi—2,hhHhl l=1,2,…, w( 4)式(3)和( 4)中, ^表示候选词的词向量, m表示当前类别候选词总数a表示种子僧绪飼的词阿量, 《 表示3前業别种子情绪饲总数.逋过上述方法就可以. 得到一个扩展情绪饲典,然后逋过人工筛选高截量的扩展糖绪词加人神子'情绪词集, 进行增量式的迭代进而挖掘更多领域情绪新词最趋, 在算播挖掘不到情绪新何时停止迭代,得到最终的扩展情绪何典? 举文选择将扩展精绪词典中表情符号湘网络用语单独筛选出来. 方便后续的实验分析? 筛选完启,将扩盾情绪词典和DUTSD_#成一个相 翁的情齋葡典, 称为案件徽博營绪词典. 扩展前启的词典对比如羞2所示.表2扩展前后的词典对比词典名称 数量/个 举例DUTSD(扩展前) 27 466 惊吓、 没皮没脸、 狼狈为奸案件微博情绪词典(扩展后)30836 吓成、 吃相难看、 官商勾结3. 3EUNlT-CHM模型为了同时表示文本.自身的语义特征和情绪知识特征,引人倩绪知识库为词语定义r诃性和偾绪标签等15 种倩绪知识, 提出一种基于连续向量的情绪知识表示方法. 然后, 将案件微博评论的语义表示和情绪知识表示分别输入一个滤彼器语义初始化的卷积网络和一个结含注窵. 力机制的全连接网络, 提取深层的语义特征和情绪知识特征., 帮助模型.惠好地:学,文本的懂绪, 斑此, 构倉了一个融含情绻知: 识的神瓮网络模獵EKIMTCNNi 模應緒抅如图2所示,SoftmaxSoftmax层3,3.1 儀义表示和情绪知识表示层EK-INr^C^N. 模型的输人分为案件微博评论的语义表示和情绪知识表示. 案件徽博评论的语义表示是一十对评论句进行分词., 蕃通过加载预训练词向量词表_"对每个词进抒查询并分配词向嫌:的过輕. 其中.. 汉表示词表的祠fc数, rf表示甸向量雄度. 假谗一个包含《个筒的评论文本序列了二'! 徽, 观;:.,…, 琢》丨* 对:于T中翁每个词货, 都能通过爾表 查询到一个何阿量v.,,用十运箅符进行断量方向的拼接操作, 则序列了的1吾义表示矩阵Mr为Mr=Ti ? %; ?- ‘(Dr, S)案件微博评论的情绪知识表示是一个基于著緣树議裹3?方法构蓮:情'绪; 知识表亦矩阵前过程*督先: ,根据微博情绪知识库, 为毎个词定义了W性及情绪标签等is 种情绪知识, 见表3r然后、给?定包含《个词的评论'句T=■'! 綱,職;, ,…,叫, 丨 , , 財于每个: 词to,^=1, 2, 一, 》, 按鹿_3 的15. 种情绪知识顺序依次进行如下操作: 若叫包含第一种知识*则为其随机初始化一个w维的非零连续向量<齊则为其初始化一个?《 维的全零[fe] 量、本文取?《= 10? 以此类推, 每个 都将#到15个w维向量, 将这1S 个向量拼接成一个(15 乂_)维的向量 務为精緒知识尚參? 遍历完:T中的醉有词f将得到的《 个情绪知识薄量按行掛接, 得到一个s/(15 乃與)维的情绪知识表示矩阵Me:Mj=@@…CBft, , (6 )5 70 计 算机 学 报 2021年表3 词语可能包含的情绪知识是否为: happiness 标签、 like标签、anger 标签、 sadness_法如、d标签Jear 标签、disgust 标签、 surprise 标签、 否定词、程度副词、 名词、 动词、 形容词、 副词、 网络用语、 表情符号m维向量 连续向量( 是)/全零向量(否)3.3.2 语义和情绪知识特征提取层EKINFTCNN模型的特征提取层分为语义特征提取层和情绪知识特征提取层. 语义特征提取层由一个Ngram卷积层和池化层组成. 微博文本中存在许多完整的wgram知识可作为情绪分类的重要依据, 采用了一种卷积滤波器语义初始化技术[23]:首先使用一种新颖的朴素贝叶斯加权技术从语料中挑出一系列wgram特征; 接着采用KMeans 聚类对这些wgram特征的嵌人向量进行聚类, 得到top々 个聚类中心; 最后, 在模型的卷积层中将它们的聚类中心向量输人滤波器的第一个《位置. 举个示例: 如果《=2(本文取值) , 滤波器窗口大小为3,那么就在滤波器的第1、2 行放人一个2gram聚类中心向量, 第3 行则采用随机初始化的策略. 与传统的卷积神经网络不同, 采用这样的策略能使模型在训练一开始就集中学习重要的《gram特征.假设卷积滤波器 々 为滤波器窗口大小, 表亦词向量维度. 对于输人的从<行到i+々 1行的局部特征矩阵Xw+i:, 卷积滤波器所提取的特征图的第z 个特征值表示为(7)其中,/(?) 表示非线性激活函数, 可以是tanh 或re/M等. ?表示卷积运算符,6 表示偏置值.对于文本块序列 , X2 : 是+1,…, X k +1-. n }?经过一个卷积层就能得到其局部特征图Z=[zi, zz,? ? ?(8)随后, 将经卷积层得到的特征图Z输人到池化层, 采用的是maxpool i ng池化, 得到局部最优特征z=max{ Z}(9)此外, 卷积层采取了_; 种不同窗口大小的卷积滤波器, 每种窗口大小的滤波器各?个, 以此来提取更丰富的语义特征.因此, 经过卷积层和池化层后得到的局部最优特征向量表示为[Si . tj,? ? ?, zm, ki,? ? ?,? ? ?, zh, k,? ? ?]( 10)其中, 表示窗口大小为々 的第_; 种类型滤波器提取的第 个局部最优特征.模型的情绪知识特征提取层由一个全连接层和注意力层组成.由于每个词映射得到的情绪知识向量之间并不存在较强的语义依赖关系, 因此采用全连接网络对情绪知识表示矩阵进行非线性变换, 进行最初的编码, 编码后的情绪知识表示的维度保持不变. 并且, 每个情绪知识向量对于文本情绪表达的重要程度各不相同, 所以进一步将经全连接层编码后的情绪知识表示输人注意力层中, 得到情绪知识表示的注意力特征向量_ 注意力层采用Luong 等人[2 4]提出的全局注意力机制_ 注意力层对输人的每个状态 进行加权求和, 从而得到情绪知识表示的注意力特征向量Vau:TVan=at h,( 11)其中, T表示输人状态的数目, 《,注意力权重, 通过如下公式计算:exp(ejE)表示输人状态/i, 的( 12)2exp(ejE)e,=tanh(W%, +6)(13)式(12) 和( 13) 中, W与6 分别为注意力层的权重和偏置, £表示随机初始化的上下文特征向量. 三个参数都参与模型的训练, 通过不断学习得到.e, 表示计算注意力权重时的中间状态, 以是其转置. 通过上述注意力层, 衡量每个词映射得到的情绪知识向量的重要程度, 最终为每个评论构建一个( 15Xm) 维的情绪知识注意力特征向量.3.3.3 语义合成层和全连接层案件微博评论的语义表示矩阵和情绪知识表示矩阵输人特征提取层后, 分别得到语义特征向量Vs_nll 。 和情绪知识注意力特征向量Vk_Wg6. 将两个特征向量直接进行拼接, 得到文本的语义合成向量V:^^sema ntic ^E^^knowledge(14)然后, 语义合成向量f经全连接层进行变换后得到案件微博评论的情绪得分向量S. 全连接层的隐藏单元个数等于分类类别数.3.3.4Softmax层( 情绪得分计算层)最后, 将案件微博评论的情绪得分向量s 输人到Softmax层, 使其转化为一个条件概率分布:exp( s.)P! (s)=^^,i= l,2,-, C(15)^exp(s;)其中, C表示情绪标签的数目. 采用交叉熵损失函数来衡量情绪标签的预测概率分布与真实概率分布之间的差距, 并通过反向传播算法来训练和更新模型的参数. 损失函数表示为郭贤伟等: 融合情绪知识的案件微博评论情绪分类 57 13 期loss二^P-(x)l og2( Pf(x) )( 16)x^Ti l其中, T为训练集,:r 为训练集中的每一个样本, K(:r)表示样本:r 的情绪标签的真实概率分布, P?( :r) 表示样本 的情绪标签的预测概率分布.4 实验与分析女车主维权案共58626 条, 总共189364 条. 从中随机采样了30000 条评论, 沿用DUTSD的7 类情绪标签进行人工标注, 标注工作由两个人完成. 最后,保留标注一致的、包含情绪的11593 条评论作为案件微博评论实验数据集, 按照近似8:1:1 的比例将实验数据集分为训练集、验证集和测试集, 数据集分布如表5 所示.4. 1实验数据集为了验证情绪知识融合方法在公共数据集上的有效性, 在NLPCC2013 和NLPCC2014 中文微博情绪分析评测数据集上设置了多组对比实验. 为了体现情绪知识融合方法在案件微博评论情绪分类任务上的优势, 在构建的案件微博评论数据集?上设置了多组对比实验.NLPCC2013 和NLPCC2014 中文微博情绪分析评测数据集来自新浪微博, 每个数据集分为训练集和测试集, 分别记为2013_trai n?、2013_test?、2014_trai n④和2014_test?. 每条微博分为有无情绪两大类, 无情绪的标注为none, 有情绪的按照DUTTSD的乐( happi ness)、 好( li ke)、 怒( anger)、 哀(sadness)、 惧(fear)、 恶( disgust ) 和惊( surprise)7 大类情绪标注, 与本文的标注体系一致. 其中, 在NLPCC2014 数据集的训练集中, happi ness 和sadness类各有一条微博内容为空, 选择将其删除. 评测数据集可用于有无情绪的主客观分类和有情绪的情绪分类. 本文研究的是情绪分类任务, 最终未用到none标签数据, 两个数据集的具体分布如表4 所示.表4NLPCC2013和NLPCC2014 评测数据集(单位: 条)情绪标签2013_train2013_test2014_train2014_testnonehappi nesslikesadnessf eardisgustsurprise总数487311 16155843674410293523610 0001459220466913 998360344110421281896000通过新浪微博平台采集了近年来备受关注的7 个案件微博的评论数据, 构建了案件微博评论数据集. 其中, 涞源反杀案共10812 条; 江歌案共13624 条; 赵宇见义勇为案共17491 条; 章莹颖遇害案共17875 条; 重庆公交车坠江案共33774 条; 河南玛莎拉蒂肇事逃逸案共37162 条; 以及西安奔驰表5 案件微博评论实验数据集 (单位: 条)情绪标签 训练集 验证集 测试集happi ness1371 152 129like 1348 174 152anger 1348 152 152sadness1355 162 145f ear 1367 169 133disgust 1342 144 158surprise 1338 140 162总数 9469 1093 10314. 2 预训练词向量的使用本文分别在计算候选词与种子情绪词的余弦相似度和为实验中的所有神经网络模型构建输人的词嵌人时, 使用文献[2 5 ]公开的预训练词向量?, 为每个词分配一个相应的词向量. 该词向量使用NLPIRLab公开的大规模微博语料库进行预训练, 预训练模型采用的是word2vec⑦开源工具中的Skip gram模型, 词向量维度为300 维, 词表大小为195197. 此外, 在神经网络模型的训练过程中, 使预训练词向量不断学习更新.4. 3 实验对比模型MNB模型( Mul ti nomialNai veBayes)[2 6 ]? 在许情感多分类任务中都取得优秀的结果, 模型沿用文献[15]的文本特征选取方法.SVM模型( SupportVectorMachi nes). 被广泛用于情感分类任务中并取得最好的结果, 例如文献[27]和文献[28]. 用于SVM模型的文本特征提取和表示方法与文献[15]—致.BLSTTM模型( Bi drecti onalLongShort TermMem〇ry)[ 2 9 ]. 该模型通过双向的LSTM对文本表示进行编码, 得到上下文相关的文本特征用于情感分类. 模型的参数设置与文献[17]保持一致.Att BLSTTM模型( Attenti onBasedBi drecti onalLongShort TermMemory)[3。]? 在BLSTTM模型的①https : //github.com/guohuojian/dataset/archive/mast er,zip②http: //t cci.ccf . org.cn/conf erence/2013/dldoc/evsam02.zip③http://t cci. ccf . org. cn/conference/2013/dldoc/evans02. zip④http://t cci. ccf . org. cn/conference/2014/dldoc/evt estdat al. zip⑤http: //t cci. ccf . org. cn/conlerence/2014/dldoc/evans01. zip⑥https : //gi thub.com/Embedding/ Chinese Word Vectors⑦https : //code,google.com/p/word2vec/5 72 计 算机 学 报 2021年基础上引人注意力机制, 文本词嵌人经BLSTM编码后输人到注意力层中, 学习一个包含注意力信息的上下文向量, 使得模型能够学到更重要的语义信息. 模型参数与文献[30]保持一致.Capsul e B模型(CNNBasedCapsul e)[3 1]? 该模型基于Sabour 等人提出的胶囊网络[3 2]进行改进得到, 在情感分类、新闻分类等多个文本分类任务中取得最好的结果. 模型沿用文献[31]的参数设置.HAN模型(Hi erarchi cal Attenti onNetworks)[3 3].一个基于双向GRU的层次注意力模型. 模型通过词级的双向GRU编码后输人词级注意力层, 得到文本的句子级语义表示; 再将其输人一个句子级的双向GRU层和注意力层, 得到整个文本的语义表示用于分类. 该模型能有效关注文本中重要的词和句子, 在包括情感分类在内的多个文本分类任务中取得最好的结果. 模型的参数设置与文献[33]保持一致?CNN模型( Convol uti onalNeuralNetworks)[ 16 ].Kmi 提出的卷积神经网络, 通过将文本的语义表示输人卷积神经网络中, 提取深层的语义特征实现文本的情感分类. 该模型有多种变体, 实验采用的是CNNnon static, 表示使用预训练词向量并在训练过程中动态更新词向量.INITCNN 模型(CNNwi thIni ti al izi ngConvol uti onal Fil ters)[2 3 ]. 该模型基于上述的CNN模型, 通过KMeans算法对一系列重要的wgram嵌人向量进行聚类, 然后用得到的聚类中心来初始化卷积滤波器, 实现微博文本的情感分类.因为INITCNN具有性能优秀、可并行处理和模型复杂度低的优点,所以将其选做基础模型进行改进.4. 4 模型参数设置对于机器学习模型, MNB模型的平滑因子alpha 设置为1.0; SVM模型的正则化常数C设置为1.〇, 核函数选择线性核函数l i near. 对于神经网络模型, 除了在4.3 节所列模型中提及了采用相关文献的参数设置外, CNNnon stati c、INITCNN以及EKINITCNN的可调参数设置如表6 所示.表6 可调参数设置可调参数 值优化器 Adambat ch_size 64dropout 0. 5learning_rate0. 001卷积滤波器窗口大小是 2 , 3 , 4 , 5每种窗口大小的滤波器个数m 100注意力层隐藏单元个数 1504. 5 评价指标本文使用NLPCC2013 中文微博情绪分析评测?中的: 精确率( fVecihow) 、 召回率(i?eca/Z) 、 F1 值( F1)、 宏平均精确率(Macro—fVeciWow)、 宏平均召回率(Macro_i?ecaZZ)、宏平均F1值(Macro—Fl) 以及微平均F1 值(MzcnFl) 作为评价指标.4. 6 实验结果分析4.6.1NLPCC中文微博情绪分析评测为了验证本文的情绪知识融合方法在公共数据集上的有效性, 在NLPCC微博情绪分析评测数据集上进行了对比实验, 结果见表7 和表8. 表中, EESM、BLSTM、MCNN、 EMCNN以及DAM的实验结果摘自文献[15]和文献[17].EKINITCNN( base) 表示利用微博情绪知识库中的DUTSD、否定词、 程度副词、 网络用语和表情符号来融人情绪知识.因为NLPCC评测数据集不具有案件微博领域特性, 所以在公共数据集上未使用案件微博情绪词典, 而是使用DUTTSD.文献[14]提出的表情符号空间模型( ESM) 通过两种不同的求和策略得到两个版本, EESM是其中表现更好的版本, 在NLPCC情绪分析评测数据集上取得当时最好的结果. BLSTM[2 9]通过双向的LSTM提取上下文相关的文本特征用于情感分类,是情感分类常用模型之一. MCNN是文献[15] 中EMCNN模型的基础模型, 是经典的卷积神经网络模型. EMCNN[1 5]为常用的表情符号构建情感空间的特征表示矩阵, 并完成词义到情感空间的映射, 然后通过MCNN模型训练一个分类器, 性能超越了ESM. DAM由文献[17]提出, 在基于注意力机制的BLSTM模型的基础上增加了一个通道, 将文本的情感符号集合的语义表示输人全连接层和注意力层获取附加的语义特征, 增强文本的情感语义; 该模型在NLPCC2013 和NLPCC2014 情绪分析评测数据集上均取得当前已知的最好结果.表7NLPCC2013 评测数据集实验结果ModelsMacro_Fl/ %Mi cro_Fl/ %EESMBLSTMMCNNEMCNNDAMINI TCNNEKINITCNN( base)①http: //t cci.ccf .org.cn/conference/20 13/dldoc/ev02.pdf郭贤伟等: 融合情绪知识的案件微博评论情绪分类 573non-static, 可以看出INIT-CNN的Macro_F1和Mfcro_Fl 分别提升了1.69%和1.75%? 这表明本文使用的卷积滤波器语义初始化技术可以显著提升传统卷积神经网络的效果.4.6.3 各个情绪类别的分类性能分析为了证明本文方法能有效改善模型对单个情绪类别的分类性能, 将EK-INIT-CNN与基础模型INIT-CNN进行了实验对比, 使用和F1 三个评价指标, 结果见图3?图5.100.082.580.0happinesslikeangersadnessfeardisgustsurprise情绪类别图3 各个情绪类别的精确率对比结果分祈表f可知,本文模: 型=EK-IBITCHH的四项指标均超过所有基准模型. 从表中可以着出, 传统的MNB模_和SVM模型都取得了不错的效果, 但是与各深度-习模型相比还存在一定随差距? 其中, 与机雜单习常用的SVM分类器梅比,EKINH ̄CHN的MddFl和MJrtti—f'l分: 别提升了6.S3%,6.、§?6,2.碎和S. S§%; 与情,感分类倉用的CNNnoii stflie模麵相比,EI< miTfNH的iW〇er0_i?ee3//、Afo.fro_Fl:和MicnFl 分剔提升了3.?4%,3.、&釕%和S. 雜K; 辱讀感分灘: 任營中表现优秀的Att-BLSTM相比f 分别提升了2. 26.於,2,3:§養、2>3l: M和2.43: M.此外, 还与在多个情感分类任务中取得巖:好结果的模_进行了: 对比? 与GapsubrB. 相比, EKIOTTCNNfillMicro—fl和Mfcro_Fl#别猶升了&: 11鉍、3.墟M.*与HAN相比, 分别提升了0. 99 %和1- 07M_实验结巣表明*本文融合情绪知识的方法在: 寒件微博情绪分类任务中具有期显的优势.: 碧外ONEFC萌:是_CNNncin-stati c 的: 碁础i使甩了卷积滤波器语义初始化技术. 对比CNHi3撰表8}flLPCC2014 评测数据集实验结果Models Macro_Fl/P〇 Micro_Flf^SE-ESM 37.86 44.25BLSTM 33.85 44.56MCNN 38.29 45.34EMCNN 39.4047.23DAM 41.42 49.44INIT-CNN 39.3954.11EK-INIT-CNN(base) 51. 02 63.66紙表7和義S芎藤着出, EK-IKITT CN: M:(base)在两个评_数据集上的性能均超过了所有对比模盡._比i翁已知的儀紆镇: 纖DAM, 隹KLFCC2013评娜—振象上, EK-IOTI^S(bas_Mu: 相—F1雜 _F1 分别提升了m%和¥?40Kf 在KLPCC1014:數摒梟上,.. Macra’Fl和Mfe:r<s—fl分另1撻升了9.sax和14.2'2%. 实验结果表明融合外都情绪知识的方法在NLPCC评测任务中具有明显的优势, 证_了管绪知识融合方法的有效性, 同时fEKriC,CNN( ba:se) 在M14年数据麗上的性能振升要好f2013 年的, 这是因为2014年数据集的训练集更大使得模邀爾练更充分. 这暫文献[17] 的结论是一致的? 此外*由于MLPCC评测数据粲属于类别不平衡数据集, 导致所有樓遨表现都较差. 但是,EK麗麗細( b獅?相比其它_的'表现_取得了较大的改善_4. C2 案件镦博评论情绪分类任务为了证明本文融合情諸知识的方法在案件微博评论悟绪分类任务上具有优势, 将EKINTIX3MN檬型与现有8个基准模型进行了实验对比, 实验结暴如逢3所亦?表9 案件微博评论情绪分类实验结果Models Macro_Precision / % Macro_Recal l /M Macro_F\. .(:^3;: Micro_Fl { %MNB 75.88 75.8075.5075.46SVM 85.54 85.15 85.1984.77BLSTM 88.65 88.24 88.29 88.07Att-BLSTM 89.61 89.6089.4989.33Capsule-B 88. 94 88.61 88.7088.38I IAN 90.84 90.88 90.82 90.69CNN-non-stati c 88.23 88.28 88.24 88. 07INIT-CNN 90. 0089. 95 89. 93 89.82EK-INIT-CNN 91.87 91.90 91.81 91.76.5.0Lq.0.5.07.5.2.0.7.5.999988%/§1之5 74 计導机攀报: _1苹情绪类别图4.费个懷續 攀Sf£t攀舉图5咨个債爾養剔的FI?f比结皋分析圏3:0谨|可知,乘文擊盤EKINITT CMH除了£随*幾__Pmr; Mcr?、F1 搢标以:減li ke 类的R?:a// 指标比IKIT-CNN的低之外, 其它类别的三项遛标都趙过I1SITCNN.通过分析, 我们发现fear类的测试数据有13a条, 其中被 龙确预测的有121条. 而#食类别的数据被EK-IMTCmi错误地预测成f?ir类的數据有8 条. 进一步分析发现这8 条数据基本上存在:: 两种情繪# 但儀在知祖过8中只? 知注其中一种情绪, 而EKrNIT-CNN把它们错误地预测为另外一种情绪. 例如,“听到最后全车人的尖叫都觉得太恐怖了?[悲伤][兼伤][悲翁〕[_1 伤〕[悲伤]”这一评论被人工.注:为sadwss||f由f£KINITCNN, 更关法评论中“尖叫”和“太恐怖”所表达的情:绪f 属此将其错误地预测为fear獎..like 类的i?咖〃指标降低的原因则是li ke类测试数据中有些具有多种情绪的评论被EKlHiTCTfN误分类为其玄情绪. 例如.. 评论“我爱自己的菌家,但是对人根失望,就这样'被标'逄为l i ke类, EKINITCNM. 将其误分类成sadness类. 总结来说. 测试'集中具有多种情绪的评论着时対EKI親TCNN模質的学男机蕭不:利. 这是导致EKINIT-C細在这两个类别的指标比INn^CRN更低的主萎原因.此夕卜J目比ISITCMM, EK-INfCNW'在炽剴disgust 类的性能提升最明显? 这是由于案件微博评论中纖 disgust 情緒餅评论特薇麗加鲜明? 例如,我们发现测试集: 中^恶心°,厌盔”和“[吐3”等词或表管符号的使用更频繁, 这对EKINIT-CNN中额外融入情堵知识的樓块更有荆,因此它能更好地识别disg_養+: 总之s 实验薇果暴期EK 酬的总体性能优于iNfr-CNN4正明T率文方法能有效改善模型在单个倩绪类别的分类性能.4. 14 情绪知识融合模块的有效性分析为了证明本文提出的情绪知识融合霍块(见图2>与 准模魏相结合的有效性.. 设董了多组对比实验. 首先分析了在基础模型IMTGSDf上增加情绪知识融合模块的嘗效性, Xt比模型和结果见图6. 其中, INITCNN为本文的墓础模型,. 未融人任何情绪知: 识IEKIMIT-CNN( base1義示利用擞傅情绩知: 识_中的D. UTSD、否定词、 程度謝词、 网络用语和表情符等_融入情鍺知识EKINITCNN表示利用徽博情绪知识库中的案件徽博情绪词典、香途筒、程度副词、网络用语和表情符号来融人情绪知识?露SISI丁-CSN.结會億緒*?蘭倉楊操的S翁性验IE分柝屬6■可知, 相比IhStTCNM:樓麵, EK-INHGNN(base) 的宏平均F1 和徽乎均F1 分别提升了1. 3S%和1. 職%;EI?MTT CWH_宏平均F1和微平均F1 分别提升了1.88%和1.94%. 这表明,1NITCKN与情绪知识融合模块结含^可以显著■升學SI的性能? 而箱比EKINIT-CSN( base)sEKINITaSR的宏平均F1 和微: 平均FI分别提升了0? 肋%和0.49%, 太约占怠暴升C:EK1麗T-CN賞相比.1萬ITCNH的提升,的21%和2S%. 處_明—在DUTSD基础上扩充的案件徵博情绪词典包含更1鹫■雩V鐵合爾驗顏班的續_靜评论情續分藥 57 5 議 期羊竄的领域情绪新領h对于案件微博.评论的情绪分娄任务具有显著的作用, 进一步的实例分析结果也证明T这一结论. 例如, 评论“为了钱官育勾黎苦的是老舊姓”和“供不应求的行业都吃相难#[doge]”中的“官商勾绪”及"吃相难.看■”是案件微博情绪爾典中扩充的领域情绪新调. 模型预测这两条评论时;利用案件微博倩绪调典的EKINIT-CNN将它们正确地预测为di sgust 类情绪, 而利用Dl?D的EKINI,CNN(:base)都预测锴儀.本文还将情绪知识融合模块分别与性能较优的Attr^Lfla'Cspsul e-: &和HAN模議_脅大薪儀道:Att-BLSTM+EKCEmetionalknawledge)-,C: ap:sul e B+EK和HA:N+EK, 然. 后将这三个儀遨与EKINIM}NN进行实验对比, 以此说明本文将INITCSCN模型. 作为基础模型与情绪知识融合模块..的优勢, 实验儀皋见_1Q.Models ̄ ̄Att-BLSTM ̄ ̄Att-BLSTM+EKCapsul e-BCapsule-B+EKI IANI IAN+EKINIT-CNNEK-INIT-CNN表i〇 情绪知识融合模块的有效性验证结果Macro_Precision/ %Macro_Recall /%Macro_Fl /%, Micro_Fl / %#析表10 可知, ft本文6t懵绪知识融合壇块与和HAN#獏塑相缙合, 能有效地改善模型的性能;其中, Att-BLSTM+EK模型的性儀提: 升量明显#M_*o_Preeisio?2、和 分别提升了"1.84%、1.、 1.95%和1.98%?另夕卜,翁于HAW的分层注意力结构, 本身已经有效地关龙了文本中表达情绪的重要片段, 导致HAN在结合情绪知识融合糢块时性館提升不那么明显-从暑中超可 : 看出I 猶_础樣獵/INIT-C酬上增加情'绪知识融合模块》 得到的本文模寒EKinitcnn, 取得了最好的性能? 相比性能第二的At卜BLSm+EK,: EKINITM3NM的 和分别离了 S? 雜0?45%? 無: 结杲裊明, 结合本文的情绪知识融合模块能有效地改善基_模塑: 的性能,且在; INITONN壤纖上遊行结合的效果最'好?4.6.5 各项情绪知识的性能分析为了考察各项情:绪知识对案件糠I 博评论情:绪分类性能的影响, 将不同的情绪知识组合?用于EKIN.EKMN, 设置了8 麗: 对比繼猶? 各稹繼?为:ModeLl(寒件微博情绪词典) 、M〇del_2〈表情符号}、ModelJK网络用捂:)、 Model _4(: _情符号+网络用语) 、 Model_S( 案件微博情绪词典+表情符号+网络用谘)以及M〇del_6(案件徵博情绪诃典+否諸爾+程虔: 副词 因为否定筒和程盧:副词8有与情绪爾搭宵2才起作用3 所以未单独歲用于EKINIHNN.6 麗对比寝型与INIT-C顚的实验结果如图7 所示.模型图7 备项情繳知识性能谢比从图7 可看出, 相比基础模型lNlf*CNN, 使用各项情绪知识的模型性能均有提升. 其中, 苹独使用某项情绪知识时. MQiel_l (, 案件微博情绪甸典) 和MocieLK翁清符辱)的性能提升比较明显( 网络用语>的性能提升较小? 姐合使用时. Model_S(案件微博情绪词典+春情符号+网络用窜)的性能最优; 而Model_6(案件微博情绪词典+否定词+程度副词、相比M〇del_l【案件微博请绪筒典) 的性能也有提升. , 这表明‘齊定词和程度爾词对倩绪表达也是起作用的,同时, 否定饲利程度副词对性能的作用不明显的 主要是数据集中使用杳定.词和程度词的评论相对较少. 实验结粜表明, 本文构建的慠博情绪知识库可以有效地与深虞学《模型播配使用, 且融合情绪知识的方法还避免了传统深度学岑楱型缺乏利用现有情感计算资源的现象.5 76 计 算机 学 报 2021年5 总结与展望针对案件微博评论, 本文提出一种融合情绪知识的情绪分类方法. 该方法通过构建一个微博情绪知识库, 并使用一种新颖的情绪知识表示方法将情绪知识融人神经网络模型中, 提升了模型对文本情绪的识别能力. 实验结果表明, 采用本文的情绪知识融合方法, 对于案件微博评论的情绪分类具有十分有效的指导作用, 且该方法在公共数据集上也取得了当前已知的最好结果.当前, 针对微博文本的多标签情绪分类任务是研究的热点和难点, 在下一步的工作中, 我们将针对案件微博评论的多标签情绪分类问题开展研究.参 考 文 献[1]DingZha〇 Yun?JiaYan, ZhouBin. Surveyofdat amini ngformicroblogs. Journalof ComputerResearchandDevelopment s2014,5 1(4) ; 691 70 6(inChinese)( 丁兆云, 贾焰, 周斌. 微博数据挖掘研究综述. 计算机研究与发展, 2014 ,51(4) : 691 706)[2]LiYongGan,ZhouXue Guang, SunYan, et al. Researchandimplement at ionof Chinese microblogsent imentclassificat ion.JournalofSof t ware ,2017 ,28(12) ; 3183 3205(inChinese)( 李勇敢, 周学广, 孙艳等. 中文微博情感分析研究与实现.软件学报,2017, 28(12) :3183 3205)[3]WiebeJ? WilsonT, CardieC. Annot at ingexpressionsofopinionsandemot ionsinlanguage. LanguageResourcesandEvaluation, 2005 , 39( 2) : 165 210[4]TaboadaM, Broo keJ? Tofil oskiM? etal. Lexiconbasedmet hodsforsenti ment analysis. Comput at ionalLinguist ics,2011 ,3 7( 2): 267 307[5]MohammadS, Kirit chenkoS, ZhuX. NRCCanada : Buildingthestat eofthe art insent imentanalysis of t weets//Proceedingsofthe7thInt ernat ionalWorkshoponSemant icEvaluation( SemEval2013) . At lant a, USA, 2013: 32 1 327[6]ZhangB, XuX, LiX,etal. Sentimentanalysisthroughcrit iclearningforoptimizingconvolutionalneuralnet workswit hrules. Neurocomputi ng,201 9,356: 2 1 30[7]WenS, WanX. Emotionclassificat ion inmicroblogtextsusingclasssequent ialrules//Proceedingso fthe28 thAssociationfortheAdvanceofArt ificialInt elligence( AAAI2 014).QuebecCity,Canada, 2014; 187 1 93[8]SintsovaV,PuP. Dyst emo: Dist antsupervisionmet hodformulti cat egoryemot ionrecognit ionint weets. ACMTransactionsonInt elligentSystemsandTechnol ogy,2016,8(1): 13:1 13:22[9]ZhangJing, ZhuBo ,LiangLin Lin, etal. Recognit ionandclassificat ionofemot ionsintheChinesemicroblogbasedonemot ionalfactor. Act aScient iarumNaturaliumUniversit atisPekinensis, 20 14, 50( 1): 79 84 ( inChinese)( 张晶, 朱波, 梁琳琳等.基于情绪因子的中文微博情绪识别与分类. 北京大学学报( 自然科学版) ,2014,50(1) : 79 84)[10]JiangSheng Yi, HuangWei Jian,CaiMa〇 Li, etal. Buildingsocialemotionallexiconsforemotionalanalysisonmicroblog.JournalofChineseInf ormationProcessing? 2015,29(6) :166 171(inChinese)(蒋盛益, 黄卫坚, 蔡茂丽等. 面向微博的社会情绪词典构建及情绪分类方法研究. 中文信息学报, 加15,29( 6) :166 17 1)[11]MikolovT?SutskeverI ,ChenK,et al. Dist ribut edrepresentat ionsofwordsandphrasesandtheircompositionali ty//Proceedingsof t heAdvancesi nNeuralI nformationProcessingSyst ems26(NIPS20 13 ) . LakeTahoe, USA, 2013: 31113119[12]MikolovT, ChenK, CorradoG?etal. Efficient estimationof wo rdrepresent ationsinvect orspace. Comput ingResearchReposit ory,arXivpreprint arXiv: 130 1. 378 1,2013[13]ZhangYangSen, SunKuang Yi, DuCui Lan,etal. Acascadedconst ructionofsentiment classifi erf ormi croblogs.JournalofChineseInformationProcessing? 2017 , 3 1(5) :178 184 ( inChinese)( 张仰森, 孙旷怡, 杜翠兰等.一种级联式微博情感分类器的构建方法. 中文信息学报,2017, 31(5) : 178 184)[14]JiangF?LiuY?LuanI I ,et al. Mi croblogsent imentanalysiswit hemoti conspacemodel . JournalofComput erScienceandTechnol ogy,2015, 30 (5) : 11201129[15]HeYan Xiang,SunSongTao, NiuFei Fei , et al. Adeeplearningmodelenhancedwithemot ionsemanticsformicroblogsentimentanalysis. ChineseJournalofComput ers? 2017 ,40 (4) : 773790(i nChi nese)(何炎祥, 孙松涛,牛菲菲等.用于微博情感分析的一种情感语义增强的深度学习模型. 计算机学报, 2017 , 40(4) :773 790)[16]KimY. Convolutionalneuralnetworksforsentenceclassificat ion//Proceedi ngsof the2014ConferenceonEmpiricalMethodsonNaturalLanguageProcessing( EMNLP2014). Doha,Qatar,20 14; 1746 17 51[17]ZhangYangSen, ZhengJia,HuangGaiJuan, etal. Mi croblogsentiment analysismethodbasedonadouble at tent ion model.JournalofTsinghuaUniversity( ScienceandTechnology) ,20 18 ,58 ( 2): 122 130 ( inChinese)(张仰森, 郑佳, 黄改娟等. 基于双重注意力模型的微博情感分析方法. 清华大学学报( 自然科学版) ,2018, 58(2) :122 130)[18]GuanPengFei ,LiBa〇 An?LvXue Qiang,et al . At t entionenhancedbidirect ionalLSTMf orsent imentanalysis. Journalof ChineseInformat ionProcessi ng,2019 ,33 (2) : 105 lll(inChinese)( 关鹏飞, 李宝安, 吕学强等. 注意力增强的双向LSTM情感分析. 中文信息学报, 201 9,33( 2): 105 111)[19]XuLin I Iong, LinI IongFei, PanYu,etal. Const ruct ingtheaf fect ivelexiconontology. Journaloft heChinaSocietyforScient ifi candTechnicalInformat ion,2008 , 27(2) : ISO185( i nChi nese)郭贤伟等: 融合情绪知识的案件微博评论情绪分类 577 3 期(徐琳宏, 林鸿飞, 潘宇等. 情感词汇本体的构造. 情报学报, 2008 ,27(2) :180-185)[20]MeiLi-Li ,HuangI le-Yan,ZhouXin-Yu,etal. Asurveyonsentimentlexiconconstruction.JournalofChineseInformationProcessing,2016,30(5):19-27(inChinese)(梅莉莉, 黄河燕, 周新宇等. 情感词典构建综述. 中文信息学报, 2016 ,30(5) :19-27)[21]TurneyPD,LittmanML.Measuringpraiseandcriticism:Inferenceofsemanticori entationfromassociation. ACMTransactionson InformationSystems?2003 ?21(4):315-346[22]ZhangW, ZhuY, WangJ.Anintel ligenttextualcorpusbigdatacomputingapproachforlexiconsconstructionandsentimentclassificationofpublicemergencyevents. MultimediaToolsandAppli cations,2019,78(21): 30 159-30 17 4[23]LiS,ZhaoZ,LiuT,etal. Initializingconvol utionalfi lterswithsemanticfeaturesfortextclassification//Proceedi ngsofthe2017ConferenceonEmpiricalMethodsinNaturalLanguageProcessing(EMNLP2017 ).Copenhagen,Denmark, 2017:188 4-1889[24]LuongMT,PhamI I,ManningCD. Effectiveapproaches toattention-basedneuralmachinetranslation//Proceedingsofthe2015ConferenceonEmpiricalMethodsinNaturalLanguageProcessing(EMNLP2015).Lisbon,Portugal,2015:1412-142 1[25]LiS,ZhaoZ,I IuR,etal.AnalogicalreasoningonChinesemorphologicalandsemanticrelations//Proceedingsofthe5 6 thAnnualMeetingofthe AssociationforComputationalLinguistics(ACL2018). Melbourne ,Australi a,2018 :138-143[26]Bermi nghamA,SmeatonAF. Classifyingsentimentinmicrobl ogs:Isbrevi tyanadvantage^//Proceedingsofthe19thACMInternationalConferenceonInformationandKnowledgeManagement(CIKM 2010). Toronto,Canada,GUOXian-Wei,M.S.candidate.Hi sresearchi nterestsincl udenaturall anguageprocessi ngandsentimentanalysis.dtkLAIHua,M.S.,associateprofessor.Hismainresearchinterestsincludeintelligentinformationprocessingandmachinelearning.BackgroundSincetheappearanceofmicroblog,researchonsenti mentanalysisofmicroblogathomeandabroadhasneverstopped.Senti mentcl assificationisasub-taskoftextsentimentanalysis.Iti susuallydividedintosubjectiveandobjecti vecl assification,sentimentpol aritycl assificati on,andemotion2010: 1833-1836[27]PangB, LeeL, VaithyanathanS. Thumbsup?Sentimentclassificationusingmachinel earningtechniques/ /Proceedingsofthe2002ConferenceonEmpiricalMethodsonNaturalLanguageProcessing(EMNLP2002). Phil adelphia,USA,2002 : 79-86[28]GoA,BhayaniR,HuangL.Twi ttersentimentclassificationusingdi stantsupervision. Stanford,California,USA,2009[2 9]GravesA,JaitlyN,MohamedAR. Hybridspeechrecognitionwith deepbidirectionalLSTM//Proceedi ngs ofthe 2013IEEEAutomaticSpeechRecognitionandUnderstandingWorkshop(ASRU2013).Ol omouc,CzechRepublic,2013 :273-278[30]ZhouP, ShiW, TianJ, etal. Attention-basedbidirectionallongshort-term memorynetworksfor relationclassification//Proceedingsofthe54thAnnualMeetingoftheAssociationforComputationalLinguistics(ACL2016).Berlin,Germany,2016 : 207-2 12[3 1]ZhaoW?YeJ,YangM,etal. Investigatingcapsulenetworkswithdynamicroutingfortextclassification//Proceedi ngsofthe2018ConferenceonEmpiricalMethodsinNaturalLanguageProcessing(EMNLP2018). Brussel s, Belgi um,2018 : 3110-31 19[32]SabourS, FrosstN, I lintonGE. Dynamicrouti ngbetweencapsules//Proceedingsofthe Advancesi nNeuralInformationProcessi ngSystems30(NIPS2017). LongBeach,USA,2017 :3859-38 69[33]YangZ, YangD,DyerC,etal. Hi erarchi calattentionnetworksfordocumentclassification//Proceedingsofthe15 thAnnualConferenceoftheNorthAmericanChapteroftheAssociationforComputationalLingui stics: HumanLanguageTechnol ogies(NAACL-I ILT201 6). SanDi ego,USA,2016: 1480-1489YUZheng-Tao,Ph.D. ,professor.Hismainresearchinterestsincl udenaturallanguageprocessi ng,informationretri evalandmachi netranslation.GAOSheng-Xiang,Ph.D. , associateprofessor.Hermainresearchinterestsincludenaturallanguageprocessing,informationretrievalandmachinetranslation.XIANGYan, Ph.D.candidate,associateprofessor.Hermainresearchinterestsincludetextminingandsentimentanalysis.classification.Atpresent,thesentimentclassificationofmicroblogwithTwitterasthemainbodyhasmadeverypromi singprogressandresults.However,mostdomesticandforeignsentimentclassifi cationresearchesonmicroblogmainlyfocusonsubjectiveandobjectiveandsentimentpolarity5 78 计 算机 学 报 2021年classification. Asfarasweknow, thereisrel ativelylittleresearchonemotioncl assificationofChines emicroblogathomeandabroad,andtheexisti ngresearchonemotionclassificationofChinesemi croblogusual lytargetsmicrobloginthegeneralfield.Existingresearchesareusual lybasedonemotionaldictionariesandtraditionalmachinelearningmethods. Thepredecessorshaveaccumul atedal otofsentimentcomputingresources , andsomestudieshaveminedattributefeaturessuchasemoticonsandinternetbuzzwordsforemotioncl assificationofmicroblog.Theyarecoll ectivelycall edemotionalknowl edge.Althoughthesemethodshaveachievedgoodresults,theyrel ytoomuchonartificiall yconstructeddictionariesandcomplexfeatureengineeri ng,andthereisstil lalargegapfrompractical appl ications.Sincetheemergenceofdistributedwordvectorrepresentationmethods,alargenumberofdeepl earningbasedemotioncl assificationmethodshaveemerged. Thesemethodsbenefitfromneuralnetworksthatcanautomaticallylearnthefeaturerepresentationoftext.However, deeplearningbasedmethodscannoteffectivelyintegratetheemotional knowledgecommonlyusedinmicroblog, andtheemotionalknowledgehasbeenproventobeeffectiveintraditionalmethods.Theresearchcarriedoutinthisarticleisaimedatthecase relatedmicroblogcomments,whichbelongstoaspecificfieldoftasks. Ai mingattheaboveproblems,thispaperproposesacase relatedmicroblogcommentsemotionclassificationmethodthatintegratesemotionalknowledge. Comparedwi ththeexisti ngmethods,themethodinthispapereffectivelyusesemotionalknowl edge , helpstheneural networkmodel tobetterl earntheemotionofthecaserelatedmicroblogcomments , andachievedthebestresults.ThisworkissupportedbytheNationalKeyResearchandDevelopmentPlan(No. 2018YFC0830105), theYunnanHigh techIndustrySpecialProject(No.201606 ),andtheNationalNaturalSci enceFoundationofChi na(No. 6 1972186 ).Casepubl icopinionmonitoringi sessential forcourtstopreventpublicopinionrisks. Inordertoaddresstheproblemsinthecurrentcasepublicopinionmonitoring,basedontheneedsofthecourts , thisworkstudiestheemotionclassificationmethodofcase relatedmi croblogcommentsbasedonthecharacteristicsofonlinepublicopinionsinvolvedinthecase.

[返回]
上一篇:基于实时信息流的中国宏观经济不确定性测度
下一篇:人口老龄化教育融资模式与中国经济增长