第４３卷　第１０期２０２０年１０月计　　算　　机　　学　　报ＣＨＩＮＥＳＥ　ＪＯＵＲＮＡＬ　ＯＦ　ＣＯＭＰＵＴＥＲＳＶｏｌ．４３ Ｎｏ．１０Ｏｃｔ．２０２０　收稿日期：２０１９－１０－１０；在线发布日期：２０２０－０２－１５．本课题得到十三五国家重点研发计划项目（２０１６ＹＦＣ０９０１９００）资助．罗　凌，博士，主要研究方向为生物医学文本挖掘、深度学习和自然语言处理．Ｅ－ｍａｉｌ：ｌｉｎｇｌｕｏ０４１５＠ｇｍａｉｌ．ｃｏｍ．杨志豪（通信作者），博士，教授，主要研究领域为文本挖掘、机器学习和自然语言处理．Ｅ－ｍａｉｌ：ｙａｎｇｚｈ＠ｄｌｕｔ．ｅｄｕ．ｃｎ．宋雅文，硕士，主要研究方向为生物医学文本挖掘．李　楠，博士，主要研究方向为生物医学文本挖掘和知识图谱．林鸿飞，博士，教授，主要研究领域为搜索引擎、文本挖掘、情感计算和自然语言理解．基于笔画ＥＬＭｏ和多任务学习的中文电子病历命名实体识别研究罗　凌　杨志豪　宋雅文　李　楠　林鸿飞（大连理工大学计算机科学与技术学院　辽宁大连　１１６０２４）摘　要　近年来，电子病历文本数据不断增长，这为医学研究提供了丰富的知识来源．结合领域需求，采用有效的文本挖掘技术从电子病历文本中自动快速、准确地获取医疗知识，将对医疗健康领域的研究产生极大的推动作用．中文临床电子病历命名实体识别作为中文医学信息抽取的基本任务，已经受到了广泛关注．目前大多数中文电子病历实体识别工作都是在传统通用的文本表示向量基础上，通过特征工程来提升模型在医疗领域上的性能，缺乏适合中文生物医学特定领域的预训练表示向量．此外，目前现存的中文电子病历标注数据十分稀缺，标注电子病历实体需要具备专业的医学背景知识，且耗时耗力．针对这些问题，本文提出了一种基于笔画ＥＬＭｏ和多任务学习的中文电子病历实体识别方法．首先以笔画序列为输入对ＥＬＭｏ表示学习方法进行改进，利用海量无标注的中文生物医学文本学习上下文相关且包含汉字内部结构信息的笔画ＥＬＭｏ向量，然后构建基于多任务学习的神经网络模型来充分利用现存数据提升模型性能．此外，本文还系统地比较了实体识别常用额外特征（包括词向量、词典和部首特征）以及主流神经网络模型（包括ＣＮＮ、ＢｉＬＳＴＭ、ＣＮＮ－ＣＲＦ和ＢｉＬＳＴＭ－ＣＲＦ模型）在中文电子病历实体识别任务上的性能．实验结果表明，在该任务上ＢｉＬＳＴＭ－ＣＲＦ模型获得了比其它模型更好的结果，常用额外特征中词典特征最为有效．相比其它现存方法，本文提出的基于笔画ＥＬＭｏ和多任务学习的神经网络模型在ＣＣＫＳ１７和ＣＣＫＳ１８ＣＮＥＲ数据集上都获得了更好的结果，Ｆ 值分别为９１．７５％和９０．０５％．关键词　笔画ＥＬＭｏ；多任务学习；神经网络；实体识别；中文电子病历中图法分类号ＴＰ３９１　　　ＤＯＩ号１０．１１８９７／ＳＰ．Ｊ．１０１６．２０２０．０１９４３Ｃｈｉｎｅｓｅ　Ｃｌｉｎｉｃａｌ　Ｎａｍｅｄ　Ｅｎｔｉｔｙ　Ｒｅｃｏｇｎｉｔｉｏｎ　Ｂａｓｅｄ　ｏｎ　Ｓｔｒｏｋｅ　ＥＬＭｏ　ａｎｄＭｕｌｔｉ－Ｔａｓｋ　ＬｅａｒｎｉｎｇＬＵＯ　Ｌｉｎｇ　ＹＡＮＧ　Ｚｈｉ－Ｈａｏ　ＳＯＮＧ　Ｙａ－Ｗｅｎ　ＬＩ　Ｎａｎ　ＬＩＮ　Ｈｏｎｇ－Ｆｅｉ（Ｓｃｈｏｏｌ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ，Ｄａｌｉａｎ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｔｅｃｈｎｏｌｏｇｙ，Ｄａｌｉａｎ，Ｌｉａｏｎｉｎｇ　１１６０２４）Ａｂｓｔｒａｃｔ　Ｉｎ　ｒｅｃｅｎｔ　ｙｅａｒｓ，ｔｈｅ　ｎｕｍｂｅｒ　ｏｆ　ｅｌｅｃｔｒｏｎｉｃ　ｍｅｄｉｃａｌ　ｒｅｃｏｒｄ　ｔｅｘｔ　ｈａｓ　ｇｒｏｗｎ　ｓｕｂｓｔａｎｔｉａｌｌｙ，ｗｈｉｃｈ　ｐｒｏｖｉｄｅｓ　ａ　ｒｉｃｈ　ｓｏｕｒｃｅ　ｏｆ　ｋｎｏｗｌｅｄｇｅ　ｆｏｒ　ｍｅｄｉｃａｌ　ｒｅｓｅａｒｃｈ．Ａｃｃｏｒｄｉｎｇ　ｔｏ　ｔｈｅ　ｍｅｄｉｃａｌ　ｄｏｍａｉｎｄｅｍａｎｄ，ｅｆｆｅｃｔｉｖｅ　ｔｅｘｔ　ｍｉｎｉｎｇ　ｔｅｃｈｎｏｌｏｇｙ　ｃａｎ　ｏｂｔａｉｎ　ｍｅｄｉｃａｌ　ｒｅｌａｔｅｄ　ｉｎｆｏｒｍａｔｉｏｎ　ｆｒｏｍ　ｔｈｅ　ｍａｓｓｉｖｅｅｌｅｃｔｒｏｎｉｃ　ｍｅｄｉｃａｌ　ｒｅｃｏｒｄｓ　ｅｆｆｉｃｉｅｎｔｌｙ　ａｎｄ　ａｃｃｕｒａｔｅｌｙ，ｗｈｉｃｈ　ｗｉｌｌ　ｇｒｅａｔｌｙ　ｐｒｏｍｏｔｅ　ｔｈｅ　ｒｅｓｅａｒｃｈ　ｉｎｔｈｅ　ｍｅｄｉｃａｌ　ｈｅａｌｔｈ　ｆｉｅｌｄ．Ｃｈｉｎｅｓｅ　Ｃｌｉｎｉｃａｌ　Ｎａｍｅｄ　Ｅｎｔｉｔｙ　Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＮＥＲ）ｉｓ　ａ　ｆｕｎｄａｍｅｎｔａｌｔａｓｋ　ｆｏｒ　Ｃｈｉｎｅｓｅ　ｍｅｄｉｃａｌ　ｉｎｆｏｒｍａｔｉｏｎ　ｅｘｔｒａｃｔｉｏｎ，ｗｈｉｃｈ　ｈａｓ　ｒｅｃｅｉｖｅｄ　ｍｕｃｈ　ａｔｔｅｎｔｉｏｎ．Ｈｏｗｅｖｅｒ，ｍｏｓｔ　ｏｆ　ｔｈｅ　ｅｘｉｓｔｉｎｇ　Ｃｈｉｎｅｓｅ　ＣＮＥＲ　ｗｏｒｋｓ　ａｒｅ　ｂａｓｅｄ　ｏｎ　ｔｒａｄｉｔｉｏｎａｌ　ｔｅｘｔ　ｒｅｐｒｅｓｅｎｔａｔｉｏｎ　ｅｍｂｅｄｄｉｎｇｓ（ｉ．ｅ．，ｃｏｎｔｅｘｔ－ｉｎｄｅｐｅｎｄｅｎｔ　ｒｅｐｒｅｓｅｎｔａｔｉｏｎ　ｆｏｒ　ｅａｃｈ　ｗｏｒｄ）ａｎｄ　ｄｅｐｅｎｄ　ｏｎ　ｅｆｆｅｃｔｉｖｅ　ｆｅａｔｕｒｅｅｎｇｉｎｅｅｒｉｎｇ　ｔｏ　ｉｍｐｒｏｖｅ　ｔｈｅ　ｐｅｒｆｏｒｍａｎｃｅ　ｏｆ　ｍｏｄｅｌｓ　ｉｎ　ｔｈｅ　ｍｅｄｉｃａｌ　ｆｉｅｌｄ．Ｔｈｅｒｅ　ｉｓ　ｌｅｓｓ　ｒｅｌａｔｅｄ　ｗｏｒｋｉｎ　Ｃｈｉｎｅｓｅ　ｂｉｏｍｅｄｉｃａｌ　ｐｒｅｔｒａｉｎｅｄ　ｔｅｘｔ　ｅｍｂｅｄｄｉｎｇｓ．Ｉｎ　ａｄｄｉｔｉｏｎ，ｔｈｅ　ｅｘｉｓｔｉｎｇ　Ｃｈｉｎｅｓｅ　ＣＮＥＲｄａｔａｓｅｔ　ｓｉｚｅ　ｉｓ　ｓｍａｌｌ，ａｎｄ　ｍｅｄｉｃａｌ　ｅｎｔｉｔｙ　ａｎｎｏｔａｔｉｏｎ　ｒｅｑｕｉｒｅｓ　ｍｅｄｉｃａｌ　ｂａｃｋｇｒｏｕｎｄ　ｋｎｏｗｌｅｄｇｅ，ｗｈｉｃｈ　ｉｓ　ｔｉｍｅ－ｃｏｎｓｕｍｉｎｇ　ａｎｄ　ｌａｂｏｒ－ｉｎｔｅｎｓｉｖｅ．Ｔｏ　ａｄｄｒｅｓｓ　ｔｈｅ　ｐｒｏｂｌｅｍｓ，ｔｈｉｓ　ｐａｐｅｒ　ｐｒｏｐｏｓｅｓ　ａＣｈｉｎｅｓｅ　ＣＮＥＲ　ｍｅｔｈｏｄ　ｂａｓｅｄ　ｏｎ　ｓｔｒｏｋｅ　ＥＬＭｏ　ａｎｄ　ｍｕｌｔｉ－ｔａｓｋ　ｌｅａｒｎｉｎｇ．Ｆｉｒｓｔｌｙ，ａ　ｓｔｒｏｋｅ　ＥＬＭｏ（Ｅｍｂｅｄｄｉｎｇｓ　ｆｒｏｍ　Ｌａｎｇｕａｇｅ　Ｍｏｄｅｌｓ）ｍｏｄｅｌ　ｉｓ　ｐｒｏｐｏｓｅｄ　ｔｏ　ｏｂｔａｉｎ　Ｃｈｉｎｅｓｅ　ｐｒｅｔｒａｉｎｅｄ　ｔｅｘｔｒｅｐｒｅｓｅｎｔａｔｉｏｎ．Ｔｈｅ　ＥＬＭｏ　ｍｅｔｈｏｄ　ｉｓ　ｉｍｐｒｏｖｅｄ　ｂｙ　ｔａｋｉｎｇ　ｔｈｅ　ｓｔｒｏｋｅ　ｓｅｑｕｅｎｃｅ　ａｓ　ｉｎｐｕｔ．Ｉｔ　ｉｓ　ａｃｏｎｔｅｘｔ－ｄｅｐｅｎｄｅｎｔ　ｒｅｐｒｅｓｅｎｔａｔｉｏｎ　ｍｅｔｈｏｄ　ａｎｄ　ｃａｎ　ｌｅａｒｎ　ｒｉｃｈ　ｓｔｒｕｃｔｕｒｅ　ｉｎｆｏｒｍａｔｉｏｎ　ｏｆ　ｔｈｅ　Ｃｈｉｎｅｓｅｃｈａｒａｃｔｅｒｓ　ｆｒｏｍ　ｔｈｅ　ｌａｒｇｅ　Ｃｈｉｎｅｓｅ　ｂｉｏｍｅｄｉｃａｌ　ｔｅｘｔ　ｃｏｒｐｕｓ．Ｔｏ　ｌｅａｒｎ　ｈｉｇｈ　ｑｕａｌｉｔｙ　Ｃｈｉｎｅｓｅ　ｂｉｏｍｅｄｉｃａｌｔｅｘｔ　ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ，ｔｈｅ　ｍａｓｓｉｖｅ　Ｃｈｉｎｅｓｅ　ｍｅｄｉｃａｌ　ａｂｓｔｒａｃｔｓ　ｗｅｒｅ　ｄｏｗｎｌｏａｄｅｄ　ｆｒｏｍ　ｔｈｅ　ＣＮＫＩｗｅｂｓｉｔｅ．Ｔｈｅｎ　ｔｈｅｓｅ　ａｂｓｔｒａｃｔｓ　ａｎｄ　ｔｈｅ　Ｃｈｉｎｅｓｅ　ｅｌｅｃｔｒｏｎｉｃ　ｍｅｄｉｃａｌ　ｒｅｃｏｒｄ　ｔｅｘｔｓ　ｐｒｏｖｉｄｅｄ　ｂｙ　ｔｈｅＣｈｉｎａ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｋｎｏｗｌｅｄｇｅ　Ｇｒａｐｈ　ａｎｄ　Ｓｅｍａｎｔｉｃ　Ｃｏｍｐｕｔｉｎｇ（ＣＣＫＳ）ｃｈａｌｌｅｎｇｅ　ｗｅｒｅ　ｕｓｅｄ　ｔｏｔｒａｉｎ　ｔｈｅ　ｓｔｒｏｋｅ　ＥＬＭｏ　ｅｍｂｅｄｄｉｎｇｓ．Ｔｈｅ　ｅｘｐｅｒｉｍｅｎｔａｌ　ｒｅｓｕｌｔｓ　ｓｈｏｗ　ｔｈａｔ　ｓｔｒｏｋｅ　ＥＬＭｏ　ｅｍｂｅｄｄｉｎｇｓａｃｈｉｅｖｅ　ｔｈｅ　ｂｅｔｔｅｒ　ｐｅｒｆｏｒｍａｎｃｅ　ｔｈａｎ　ｔｈｅ　ｔｒａｄｉｔｉｏｎａｌ　ｗｏｒｄ２ｖｅｃ　ｅｍｂｅｄｄｉｎｇｓ．Ｗｈｅｎ　ｔｈｅ　ｃｏｎｃａｔｅｎａｔｉｏｎ　ｏｆｔｈｅ　ｗｏｒｄ２ｖｅｃ　ａｎｄ　ｓｔｒｏｋｅ　ＥＬＭｏ　ｅｍｂｅｄｄｉｎｇｓ　ａｓ　ｉｎｐｕｔ　ｉｓ　ｆｅｄ　ｉｎｔｏ　ｔｈｅ　ｍｏｄｅｌ，ｔｈｅ　ｍｏｄｅｌ　ｏｂｔａｉｎｓ　ｔｈｅ　ｂｅｓｔｐｅｒｆｏｒｍａｎｃｅ．Ｓｅｃｏｎｄｌｙ，ｗｅ　ｅｘｐｌｏｒｅｄ　ｔｈｅ　ｅｆｆｅｃｔ　ｏｆ　ｍｕｌｔｉ－ｔａｓｋ　ｌｅａｒｎｉｎｇ　ｏｎ　ｔｈｅ　Ｃｈｉｎｅｓｅ　ＣＮＥＲ　ｔａｓｋ．Ｔｈｅ　ｓｉｎｇｌｅ　ｔａｓｋ　ｍｏｄｅｌ，ｆｕｌｌｙ－ｓｈａｒｅｄ　ｍｕｌｔｉ－ｔａｓｋ　ｌｅａｒｎｉｎｇ　ｍｏｄｅｌ　ａｎｄ　ｓｈａｒｅｄ－ｐｒｉｖａｔｅ　ｍｕｌｔｉ－ｔａｓｋ　ｌｅａｒｎｉｎｇｍｏｄｅｌ　ａｒｅ　ｃｏｍｐａｒｅｄ　ｏｎ　ｔｈｅ　ＣＣＫＳ１７ａｎｄ　ＣＣＫＳ１８ｄａｔａ　ｓｅｔｓ．Ｔｈｅ　ｅｘｐｅｒｉｍｅｎｔａｌ　ｒｅｓｕｌｔｓ　ｓｈｏｗ　ｔｈａｔ　ｔｈｅｓｈａｒｅｄ－ｐｒｉｖａｔｅ　ｍｕｌｔｉ－ｔａｓｋ　ｌｅａｒｎｉｎｇ　ｍｏｄｅｌ　ａｃｈｉｅｖｅｓ　ｔｈｅ　ｂｅｓｔ　Ｆ－ｓｃｏｒｅ．Ｉｔ　ｃａｎ　ｕｔｉｌｉｚｅ　ｔｈｅ　ｃｏｒｒｅｌａｔｉｏｎ　ｏｆ　ｔｈｅｔａｓｋｓ　ｔｏ　ｉｍｐｒｏｖｅ　ｔｈｅ　ｍｏｄｅｌ　ｐｅｒｆｏｒｍａｎｃｅ　ａｎｄ　ｍａｋｅ　ｆｕｌｌ　ｕｓｅ　ｏｆ　ｔｈｅ　ｅｘｉｓｔｉｎｇ　ｄａｔａｓｅｔｓ．Ｗｅ　ａｌｓｏ　ｔｅｓｔｅｄｔｈｅ　ｐｅｒｆｏｒｍａｎｃｅ　ｏｆ　ｔｈｅ　ｍｕｌｔｉ－ｔａｓｋ　ｌｅａｒｎｉｎｇ　ｍｏｄｅｌ　ｏｎ　ｔｈｅ　ｄｉｆｆｅｒｅｎｔ　ｓｉｚｅｓ　ｔｒａｉｎｉｎｇ　ｄａｔａ　ｓｅｔｓ．Ｔｈｅ　ｓｈａｒｅｄｐｒｉｖａｔｅ　ｍｕｌｔｉ－ｔａｓｋ　ｌｅａｒｎｉｎｇ　ｍｏｄｅｌ　ｔｒａｉｎｅｄ　ｏｎ　ｏｎｌｙ　６０％ ｏｆ　ｔｈｅ　ｔｒａｉｎｉｎｇ　ｄａｔａ　ｃａｎ　ａｃｈｉｅｖｅ　ｂｅｔｔｅｒｐｅｒｆｏｒｍａｎｃｅｓ　ｔｈａｎ　ｔｈｅ　ｓｉｎｇｌｅ　ｔａｓｋ　ｍｏｄｅｌ　ｔｒａｉｎｅｄ　ｏｎ　ｔｈｅ　ｃｏｍｐｌｅｔｅ　ｔｒａｉｎｉｎｇ　ｄａｔａ　ｏｎ　ｔｈｅ　ＣＣＫＳ１７ａｎｄＣＣＫＳ１８ＣＮＥＲ　ｄａｔａｓｅｔｓ．Ｍｏｒｅｏｖｅｒ，ｔｈｅ　ｅｆｆｅｃｔｓ　ｏｆ　ｃｏｍｍｏｎ　ＮＥＲ　ｆｅａｔｕｒｅｓ（ｉ．ｅ．，ｗｏｒｄ　ｅｍｂｅｄｄｉｎｇ，ｄｉｃｔｉｏｎａｒｙ　ａｎｄ　ｒａｄｉｃａｌ　ｆｅａｔｕｒｅｓ）ａｎｄ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　ｍｏｄｅｌｓ（ｉ．ｅ．，ＣＮＮ，ＢｉＬＳＴＭ，ＣＮＮ－ＣＲＦ　ａｎｄＢｉＬＳＴＭ－ＣＲＦ　ｍｏｄｅｌｓ）ｗｅｒｅ　ｉｎｖｅｓｔｉｇａｔｅｄ　ｆｏｒ　ｔｈｅ　Ｃｈｉｎｅｓｅ　ＣＮＥＲ　ｔａｓｋ．Ｔｈｅ　ｅｘｐｅｒｉｍｅｎｔａｌ　ｒｅｓｕｌｔｓ　ｓｈｏｗｔｈａｔ　ｔｈｅ　ＢｉＬＳＴＭ－ＣＲＦ　ｍｏｄｅｌ　ｏｕｔｐｅｒｆｏｒｍｓ　ｔｈｅ　ｏｔｈｅｒ　ｍｏｄｅｌｓ．Ａｍｏｎｇ　ｏｔｈｅｒ　ｆｅａｔｕｒｅｓ，ｔｈｅ　ｄｉｃｔｉｏｎａｒｙｆｅａｔｕｒｅ　ｉｓ　ｍｏｓｔ　ｅｆｆｅｃｔｉｖｅ．Ｆｉｎａｌｌｙ，ｃｏｍｐａｒｅｄ　ｗｉｔｈ　ｏｔｈｅｒ　ｅｘｉｓｔｉｎｇ　ｍｅｔｈｏｄｓ，ｏｕｒ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　ｍｏｄｅｌｂａｓｅｄ　ｏｎ　ｓｔｒｏｋｅ　ＥＬＭｏ　ａｎｄ　ｍｕｌｔｉ－ｔａｓｋ　ｌｅａｒｎｉｎｇ　ａｃｈｉｅｖｅｓ　ｂｅｔｔｅｒ　ｐｅｒｆｏｒｍａｎｃｅｓ　ｏｎ　ｔｈｅ　ＣＣＫＳ１７ａｎｄＣＣＫＳ１８ＣＮＥＲ　ｄａｔａｓｅｔｓ（ｔｈｅ　Ｆ－ｓｃｏｒｅｓ　ｏｆ　９１．７５％ａｎｄ　９０．０５％，ｒｅｓｐｅｃｔｉｖｅｌｙ）．Ｋｅｙｗｏｒｄｓ　ｓｔｒｏｋｅ　ＥＬＭｏ；ｍｕｌｔｉ－ｔａｓｋ　ｌｅａｒｎｉｎｇ；ｎｅｕｒａｌ　ｎｅｔｗｏｒｋｓ；ｎａｍｅｄ　ｅｎｔｉｔｙ　ｒｅｃｏｇｎｉｔｉｏｎ；Ｃｈｉｎｅｓｅｅｌｅｃｔｒｏｎｉｃ　ｍｅｄｉｃａｌ　ｒｅｃｏｒｄｓ１　引　言近年来，随着大量电子病历的产生以及医疗信息服务和医疗决策支持的潜在要求，医疗信息处理已成为一个研究热点．临床电子病历命名实体识别（Ｃｌｉｎｉｃａｌ　Ｎａｍｅｄ　Ｅｎｔｉｔｙ　Ｒｅｃｏｇｎｉｔｉｏｎ，ＣＮＥＲ）作为医疗信息抽取的基础任务，已经受到了广泛关注，并且在国际上已经多次举办了相关评测［１－３］．为了推动ＣＮＥＲ系统在中文临床文本上的表现，中国知识图谱与语义计算大会（Ｃｈｉｎａ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　ＫｎｏｗｌｅｄｇｅＧｒａｐｈ　ａｎｄ　Ｓｅｍａｎｔｉｃ　Ｃｏｍｐｕｔｉｎｇ，ＣＣＫＳ）在２０１７年和２０１８年都组织了面向中文电子病历的命名实体识别评测任务．该评测任务目标是从给定的电子病历纯文本文档中识别并抽取出与医学临床相关的实体提及，并将它们归类到预定义的类别．图１展示了ＣＣＫＳ１８ＣＮＥＲ评测数据的一个样例．图１　中文ＣＮＥＲ数据样例１９４４ 计　　算　　机　　学　　报 ２０２０年在中文ＣＮＥＲ任务上，已经有不少研究方法被提出，这些研究主要集中在对领域特征的探索上，即在通用领域ＮＥＲ方法的基础上，加入中文汉字特征和电子病历知识特征等，通过特征工程来提升模型性能［４－７］．这些方法取得了不错的成绩，但需要人工专家设计大量特征，耗时耗力，且最终实体识别性能受特征影响较大，泛化能力较弱，在不同的语料上需要重新寻找最优的特征组合．最近，一些基于大规模无标注数据的预训练方法被提出（例如ＥＬＭｏ［８］、ＢＥＲＴ［９］和ＧＰＴ［１０］），其中Ｐｅｎｇ等人［８］提出的ＥＬＭｏ（Ｅｍｂｅｄｄｉｎｇｓ　ｆｒｏｍ　Ｌａｎｇｕａｇｅ　Ｍｏｄｅｌ）模型就是代表工作之一，该工作通过语言模型预训练学习得到上下文依赖的ＥＬＭｏ向量，在６项ＮＬＰ任务上实验表明，加入ＥＬＭｏ后结果都获得了显著提升，具有较强的泛化能力，并无需大量特征工程．但原始的ＥＬＭｏ模型是对英文进行建模，而中文与英文特点不同，如何充分利用大规模无标注数据学习更适合中文生物医学领域的预训练向量表示，进而提升ＣＮＥＲ的性能是本文的研究重点之一．此外，中文ＣＮＥＲ任务还面临的一个主要挑战是带标注的训练数据集稀缺且规模小．而且不同的机构标注的数据集，其实体类型和标注规则也不相同，无法通过简单地合并多个数据集来扩大数据规模．以ＣＣＫＳ　２０１７年和２０１８年两个ＣＮＥＲ数据集（以下简称ＣＣＫＳ１７和ＣＣＫＳ１８）为例．ＣＣＫＳ１７数据集由北京极目云健康科技有限公司提供，训练集标注了３００篇电子病历文档，具体实体类型为症状和体征、检查和检验、疾病和诊断、治疗、身体部分，共五类．而ＣＣＫＳ１８数据集由北京医渡云技术有限公司提供，训练集标注了４００篇电子病历文档，具体实体类型为解剖部位、症状描述、独立症状、药物和手术共五类．两个数据集中的实体类型有一定的交叉，但又不完全相同．如何利用现存的多个相关小数据集来提升中文ＣＮＥＲ模型的性能也是本文的一个研究重点．针对上述这些问题，本文提出了一种基于笔画ＥＬＭｏ和多任务学习的中文电子病历命名实体识别方法．该方法首先在大规模无标注数据上使用双向语言模型预训练得到笔画ＥＬＭｏ向量作为输入特征，然后在ＣＣＫＳ１７和ＣＣＫＳ１８两个中文电子病历实体识别任务上构建了基于多任务学习的神经网络模型来识别电子病历实体．本文的主要贡献总结如下：（１）将ＥＬＭｏ模型应用到了中文上，并提出了一种基于汉字笔画的中文ＥＬＭｏ模型．以汉字笔画序列作为输入，通过双向语言模型预训练方式来学习上下文相关且包含汉字内部结构信息的中文ＥＬＭｏ向量．并利用中国知网（ｈｔｔｐ：／／ｗｗｗ．ｃｎｋｉ．ｎｅｔ／）下载的医学文摘以及ＣＣＫＳ发布的电子病历文本，训练了面向生物医学领域的中文ＥＬＭｏ向量．还与传统词向量以及新闻领域的ＥＬＭｏ向量进行了对比．实验结果表明，本文提出的生物医学领域笔画ＥＬＭｏ向量在ＣＮＥＲ任务上比其它向量获得了更好的结果．（２）探索了多任务学习在中文ＣＮＥＲ任务上的效果，在ＣＣＫＳ１７和ＣＣＫＳ１８两个数据集上对比了单任务模型、全共享多任务模型和私有共享多任务模型．并在不同大小的训练数据集上测试了多任务学习模型的性能．实验结果表明私有共享多任务学习框架效果最好，能够充分利用两个任务的相关性，进一步提升模型性能．在小数据集上，多任务模型也获得了不错的表现．（３）系统地对比了目前主流实体识别模型（包括ＣＮＮ、ＢｉＬＳＴＭ、ＣＮＮ－ＣＲＦ和ＢｉＬＳＴＭ－ＣＲＦ模型）在中文ＣＮＥＲ任务上的效果，还调查了一些现存中文向量表示方法和常用特征（词典、中文部首和词向量特征）对模型的性能影响．最后实验表明，在ＣＣＫＳ１７和ＣＣＫＳ１８ＣＮＥＲ语料上，本文方法都取得了较好的结果（最佳模型Ｆ值分别为９１．７５％和９０．０５％）．２　相关工作命名实体识别（Ｎａｍｅｄ　Ｅｎｔｉｔｙ　Ｒｅｃｏｇｎｉｔｉｏｎ，ＮＥＲ）作为信息抽取的一项基本任务，已经有很多方法被提出．在英文的ＮＥＲ任务上，基于神经网络的方法已经成为了目前主流方法，其中将神经网络和条件随机场结合的ＣＮＮ－ＣＲＦ模型［１１－１２］和ＢｉＬＳＴＭ－ＣＲＦ模型［１３－１５］最具代表性．与英文表达不同，中文文本中并没有明确的边界信息．所以根据文本的切分方式，中文ＮＥＲ方法大体可以分为两类：基于词的方法和基于字的方法．对于基于词的方法，首先利用中文分词工具进行分词，然后再进行实体识别［１６－１７］．所以词边界也是实体的边界．这类方法主要存在错误传播的问题，因为在中文分词阶段，如果由于分词错误将一个实体的边界进行了错误的切分，那么后续的ＮＥＲ将无法正确识别这个实体．对于基于字的方法，不进行分词，而是将每个字进行切１０期 罗　凌等：基于笔画ＥＬＭｏ和多任务学习的中文电子病历命名实体识别研究 １９４５分，然后对字序列进行标注．这类方法不存在分词错误传播的问题，但其主要缺点是无法充分精确地利用词信息．所以在基于字的模型上，研究者们主要关注如何更好地利用词信息［１８－２０］．目前大多数研究表明，由于基于词的方法存在分词错误传播问题，在中文ＮＥＲ上，基于字的方法通常优于基于词的方法［２１－２２］．作为中文ＮＥＲ中特定领域的ＣＮＥＲ，目前大多数中文ＣＮＥＲ研究主要集中在对领域特征的探索上．即在基于字的通用ＮＥＲ方法基础上，通过加入汉字和医学词典等特征，来提升模型性能［４－７］．例如，Ｊｉ等人［７］直接将ＢｉＬＳＴＭ－ＣＲＦ模型应用到中文ＣＮＥＲ上，然后通过药物词典和后处理规则来提升模型性能．Ｑｉｕ等人［５］则使用扩张卷积神经网络进行编码，ＣＲＦ进行解码来进行中文电子病历实体识别．Ｗａｎｇ等人［６］提出了五种不同的加入词典特征的方法来提升ＢｉＬＳＴＭ－ＣＲＦ模型在中文ＣＮＥＲ上的性能．Ｙａｎｇ和Ｈｕａｎｇ［４］开发了一个基于丰富特征的ＣＲＦ模型，包括字向量、词性、部首、拼音、词典和规则等丰富特征，在ＣＣＫＳ　２０１８ＣＮＥＲ评测上获得了第一名．这些方法需要进行特征工程，寻找丰富有效的特征来提升模型性能．随着深度学习的研究热潮，在ＮＬＰ领域中，词向量研究受到了广泛关注，且取得了巨大成功．目前用于学习词向量的大多数模型基于分布式假设基本原则［２３］：类似的词语往往出现在类似的语境中．其中，ｗｏｒｄ２ｖｅｃ［２４］和ＧｌｏＶｅ［２５］是词向量的两个代表性模型，在ＮＬＰ任务中被广泛使用．由于中文的特殊性，一些工作也专门研究了中文词的表示方法．Ｙａｎｇ和Ｓｕｎ［２６］使用了一个中文同义词词典来缓解词或字的多义问题．Ｘｕ等人［２７］利用翻译工具从其它语言中提取语义知识，以捕获单词中字的语义信息．这些方法主要通过外部知识来提高词向量质量，此外研究者们也提出了一些利用中文内部结构信息的方法．Ｃｈｅｎｇ等人［２８］提出了ＣＷＥ模型，用字和词的联合学习充分利用字级别特征信息，提高中文词向量的质量．Ｘｉｎ和Ｓｏｎｇ［２９］提出了一种联合嵌入中文词、字和更细粒度字子成分的方法ＪＷＥ．Ｃａｏ等人［３０］提出了ｃｗ２ｖｅｃ中文词向量，他们利用词的ｎ元笔画信息来学习每个字之间的内部结构联系．但是这些工作基本都是在传统词向量的基础上针对中文特点进行改进，这些模型仍是基于词的模型，且都是上下文无关的词向量．最近，一些基于大规模无标注数据的预训练方法被提出（例如ＥＬＭｏ［８］、ＢＥＲＴ［９］和ＧＰＴ［１０］），其中Ｐｅｔｅｒｓ等人［８］提出的ＥＬＭｏ模型就是比较有代表性的工作．ＥＬＭｏ使用海量无标注文本对语言模型进行预训练，然后通加权求和每层神经网络的中间表示作为上下文相关的词向量表示．它根据每个单词的上下文生成该单词的词向量，从而允许对同一个词的不同的语义进行表示．最近，多任务学习（Ｍｕｌｔｉ－Ｔａｓｋ　Ｌｅａｒｎｉｎｇ，ＭＴＬ）已经开始成功地应用于ＮＬＰ领域，旨在利用多个相关任务来促进原始任务的提升．例如在通用新闻领域，Ｌｉｕ等人［３１］利用了１６个不同的文本分类任务来进行多任务学习，取得了比单任务更好的效果．在生物医学ＮＥＲ领域，ＭＴＬ也已经开始被探索．Ｚｈａｏ等人［３２］提出了一种多任务学习框架将医学实体识别和标准化进行联合学习．Ｃｒｉｃｈｔｏｎ等人［３３］利用了１５个生物医学ＮＥＲ数据集进行多任务学习．实验表明多个ＮＥＲ相关任务通过多任务学习框架可以相互促进提升．为了缓解中文ＣＮＥＲ标注数据稀缺的问题，本文对中文ＣＮＥＲ进行了多任务学习的探索，通过利用ＣＣＫＳ１７和ＣＣＫＳ１８两个ＣＮＥＲ任务来学习任务间的相关性，进一步提升模型性能．３　方　法本节首先描述我们提出的笔画ＥＬＭｏ模型，然后介绍实验测试用的额外特征，最后阐述基于多任务学习的实体识别神经网络框架．３．１　基于笔画的中文ＥＬＭｏ模型近年来，分布式词向量表示受到了研究者们的广泛关注，特别是在基于深度学习的方法中，词向量通常被用于神经网络模型的输入．而词向量的质量通常通过其编码语法信息和语义信息的能力来衡量，对模型性能有重要影响．传统的词向量方法（如ｗｏｒｄ２ｖｅｃ［２４］和ＧｌｏＶｅ［２５］）对于词汇表中的每个词仅使用一个全局的向量进行表示，即不同上下文的同一个词都是同一个向量表示，是上下文无关的．但是在实际的文本表达中，不同上下文的同一个词可能会有完全不同的语义．例如考虑下面两个句子：（１）“术后行多西他赛＋卡铂方案化疗３周期．”（２）“曾在外院及我院行多次化疗．”根据上下文语境可以知道，句子（１）中的“多”是药物“多西他赛”名字的一部分，而句子（２）中的“多”是指不止一次的意思．但是传统的词向量方法训练得到的中文字向量，对于“多”只会使用一个字向量１９４６ 计　　算　　机　　学　　报 ２０２０年表示，无法对同一个字的不同语义进行表示．为了克服传统词向量的这个问题，Ｐｅｔｅｒｓ等人［８］提出了一种上下文相关的词向量表示方法ＥＬＭｏ，并在ＮＬＰ多项任务上取得了优异结果．原始的ＥＬＭｏ是应用在英文上，英语文本中词之间天然由空格切分，模型将每个英文单词作为输入单元进行训练．Ｃｈｅ等人［３４］将ＥＬＭｏ应用到了多种语言上，其中也包括中文．由于中文文本原本并没有空格对词进行切分，所以他们先使用分词工具对中文文本进行分词，然后利用ＥＬＭｏ模型训练出中文ＥＬＭｏ词向量．但由于受分词效果的影响，加入中文ＥＬＭｏ词向量对他们的实验任务并没有取得显著的提升．与Ｃｈｅ等人不同，考虑到后续ＮＥＲ模型是基于字的模型，我们设计了两种ＥＬＭｏ模型来学习中文字向量：字符ＥＬＭｏ（ｃｈａｒ－ＥＬＭｏ）和笔画ＥＬＭｏ（ｓｔｒｏｋｅ－ＥＬＭｏ）．两模型结构分别如图２（ａ）和（ｂ）所示．图２　中文ＥＬＭｏ模型结构图正如相关工作里所述，基于笔画的汉字表示学习，在传统词向量基础上已经有相关研究［３０］，他们通过笔画来捕获汉字的内部结构关联，但这些表示方法仍是上下文无关的．而在最近上下文相关的文本表示方法中，并没有针对汉字特点进行学习，无法捕获汉字内部的结构信息．因此我们在ＥＬＭｏ表示学习基础上提出了笔画ＥＬＭｏ，通过引入笔画序列来学习到一种即能够捕获汉字的内部结构信息，又是上下文相关的汉字向量表示．相比字符ＥＬＭｏ，笔画ＥＬＭｏ的主要优势在于：（１）字符ＥＬＭｏ需以字符级别特征为输入，导致低频字很难学习到准确的字向量，而未登录字一般只能通过随机向量来表示．但是笔画ＥＬＭｏ可以从笔画序列生成字向量，缓解了上述低频字和未登录字存在的问题；（２）语义上相关的汉字常常在内部结构上也有所相关．例如，“森”、“林”和“木”这三个字，他们分别由不同数量的“木”构成．“呕”、“吐”都与“口”相关，“烧”、“炎”都与“火”相关，等等．字符ＥＬＭｏ无法捕获汉字这样的内部结构信息，而笔画ＥＬＭｏ通过构成汉字最基本的笔画序列信息作为输入，在大规模语料上进行语言模型预训练来学习这种内在的关系表示．下面我们将介绍具体的模型方法．首先定义第ｋ 个字的输入表示为ｘＬＭｋ ，字符ＥＬＭｏ和笔画ＥＬＭｏ的区别在于使用了不同的输入表示ｘＬＭｋ ．对于字符ＥＬＭｏ，直接将ＥＬＭｏ应用在中文字上，即ｘＬＭｋ 为第ｋ 个字的字向量．而对于笔画ＥＬＭｏ，我们利用笔画序列信息作为输入．具体地，首先利用汉典网站（ｈｔｔｐｓ：／／ｗｗｗ．ｚｄｉｃ．ｎｅｔ／），获取语料库字汇表中每个字的笔画序列信息．即通过汉典网站构建了一张整个语料库中汉字到其笔画序列的映射表．对于输入的每个汉字可以通过查找该表获取其笔画序列，例如图２中输入的“手”字，根据映射表可以得到其笔画序列为“丿一一丨”．然后将该笔画序列输入到一个卷积神经网络结构中．在该卷积神经网络结构中，使用了７个不同的卷积层，其卷积窗口和卷积特征核大小分别对应为［［１，３２］，［２，３２］，［３，６４］，［４，１２８］，［５，２５６］，［６，５１２］，［７，１０２４］］，每个卷积层后接一层全局最大池化层得到该卷积特征向量，最后将这些特征向量进行拼接作为这个字的最终向量表示ｘＬＭｋ ．在得到字向量之后，将其输入到一个双向语言模型．这个双向语言模型包含了一个前向语言模型和一个后向语言模型．在前向语言模型中，定义第ｋ个字经过Ｌ 层ＬＳＴＭ 后得到每层的隐层表示为珗ｈＬＭｋ，ｊ（其中ｊ＝１，２，…，Ｌ）．在ｋ－１时刻，该前向语言模型通过前面观测到的字ｔ１，ｔ２，…，ｔｋ－１来预测下一时刻ｋ的字ｔｋ．即前向语言模型是对一个字序列的联合概率进行建模：ｐ（ｔ１，ｔ２，…，ｔＮ）＝ΠＮｋ＝１ｐ（ｔｋ｜ｔ１，ｔ２，…，ｔｋ－１）．而反向语言模型与前向语言模型类似，具有相同网络结构，不同在于通过观测未来的字序列对当前时刻进行预测：ｐ（ｔ１，ｔ２，…，ｔＮ）＝ΠＮｋ＝１ｐ（ｔｋ｜ｔｋ＋１，ｔｋ＋２，…，ｔＮ）．最后合并两个方向的模型，目标函数为最大化两个方向的对数似然函数．然后在大规模语料上对上述语言模型进行预训练．对于后续具体任务中每个中文字表示，则通过对该语言模型中间层表示进行线性合并来获取最终的ＥＬＭｏ字向量．对于一个Ｌ 层双向语言模型总共包１０期 罗　凌等：基于笔画ＥＬＭｏ和多任务学习的中文电子病历命名实体识别研究 １９４７含２Ｌ＋１层表示：Ｒｋ＝｛ｘＬＭｋ ，珗ｈＬＭｋ，ｊ，珖ｈＬＭｋ，ｊ｜ｊ＝１，２，…，Ｌ｝＝｛ｈＬＭｋ，ｊ｜ｊ＝０，１，…，Ｌ｝ （１）其中，当ｊ＝０时，ｈＬＭｋ，０是字输入表示向量（即ｘＬＭｋ ）；此外，ｈＬＭｋ，ｊ是两个方向的ＬＳＴＭ 层表示拼接［珗ｈＬＭｋ，ｊ，珖ｈＬＭｋ，ｊ］．最后的ＥＬＭｏ向量通过式（２）得到：ＥＬＭｏｋ＝γΣ Ｌｊ＝０ｓｊｈＬＭｋ，ｊ （２）其中，ｓｊ是经过ｓｏｆｔｍａｘ后标准化的权重，用于组合不同层的表示．γ是一个参数，有助于优化特定任务的ＥＬＭｏ表示．３．２　额外特征为了调查其它ＮＥＲ常用特征对模型的性能影响，除了上述的ＥＬＭｏ向量，我们对以下特征也进行了实验．（１）中文字向量．目前，已经有不少中文分布式表示方法被提出，为了对比现存中文向量表示方法在ＣＮＥＲ上的效果，我们使用ｗｏｒｄ２ｖｅｃ［２４］，ＪＷＥ［２８］和ｃｗ２ｖｅｃ［３０］方法分别训练了不同的中文字向量作为对比．（２）中文词向量．由于基于字的模型未充分考虑词信息，我们先使用结巴分词工具对无标注数据进行了分词，然后再使用ｃｗ２ｖｅｃ方法训练了５０维的词向量作为特征．具体使用时，在每个字向量上拼接其词向量．图３　ＣＮＥＲ神经网络模型结构图（阴影部分表示模型参数共享）（３）词典特征．在之前的研究中，词典特征已经被验证为有效特征．我们利用搜狗输入法词典（ｈｔｔｐｓ：／／ｐｉｎｙｉｎ．ｓｏｇｏｕ．ｃｏｍ／ｄｉｃｔ／ｄｅｔａｉｌ／ｉｎｄｅｘ／２７０）构建了药物词典．并将训练集中的药物实体也作为词条加入到词典中．我们将电子病历文本和词典中药物词条进行前向最大长度匹配，然后根据匹配结果使用ＢＩＯＥＳ标签进行编码生成特征．最后将其随机初始化成一个５０维的词典特征向量．我们也尝试了其它类别词典，但由于词典质量问题，除了药物词典，其它类型词典效果并不理想．（４）部首特征．在中文ＮＥＲ中，一些中文语言学特征也被用于提升模型性能．例如部首特征，一些语义相关的字词，常具有相同的部首．为了验证部首特征在ＣＮＥＲ上的效果，我们首先从汉典网站获取了每个字的部首信息，然后将其随机初始化成一个５０维的部首向量作为特征．３．３　基于多任务学习的神经网络模型本小节主要介绍我们使用的神经网络模型，首先介绍基础的单任务模型，然后针对ＣＮＥＲ单数据集规模小的问题，本文利用ＣＣＫＳ１７和ＣＣＫＳ１８数据集探索了多任务学习在ＣＮＥＲ任务上的效果．具体包括全共享多任务模型和私有共享多任务模型．３．３．１　单任务模型对于单任务模型我们主要使用了目前主流的神经网络结合条件随机场模型，模型整体结构如图３（ａ）所示．根据中间的神经网络层不同，分为ＢｉＬＳＴＭＣＲＦ模型和ＣＮＮ－ＣＲＦ模型（在实验中，我们也测试了ＢｉＬＳＴＭ 和ＣＮＮ模型，即将ＢｉＳＬＴＭ－ＣＲＦ和ＣＮＮ－ＣＲＦ模型的ＣＲＦ层替换成了ｓｏｆｔｍａｘ层直接进行标签分类，但模型性能有明显下降）．两个模型都采用ＢＩＯＥＳ标签策略对每个中文字预测标签，来进行实体识别．（１）ＢｉＬＳＴＭ－ＣＲＦ．在本文使用的ＢｉＬＳＴＭ－ＣＲＦ中，首先，句子通过特征Ｅｍｂｅｄｄｉｎｇ层表示为中文字向量序列，然后输入到ＢｉＬＳＴＭ 层．在ＢｉＬＳＴＭ层中，前向ＬＳＴＭ 从左到右计算序列的表示，而另一个后向ＬＳＴＭ 反向计算相同序列的表示．然后通过连接其左右上下文表示来获得当前字最终的ＢｉＬＳＴＭ 层表示．再使用Ｔａｎｈ层来学习更高级别的特征．最后，使用ＣＲＦ层来预测所有可能标签序列中的最佳标签序列．１９４８ 计　　算　　机　　学　　报 ２０２０年（２）ＣＮＮ－ＣＲＦ．除了ＢｉＬＳＴＭ－ＣＲＦ模型，ＣＮＮＣＲＦ模型也在ＮＥＲ任务中有广泛应用．与ＢｉＬＳＴＭＣＲＦ模型主要的不同之处在于，ＣＮＮ－ＣＲＦ模型在神经网络层利用一层卷积层代替了ＢｉＬＳＴＭ 层．通过卷积的滑动窗口来学习当前字的上下文．３．３．２　全共享多任务模型在全共享多任务模型（Ｆｕｌｌｙ－Ｓｈａｒｅｄ　ＭＴＬｍｏｄｅｌ，ＦＳ）中，除了最后的输出层之外，模型其它所有参数都是共享的，模型结构如图３（ｂ）所示，图中阴影部分表示模型参数共享．每个任务都有一个特定任务的ＣＲＦ输出层，该层使用最终的Ｔａｎｈ共享层产生的表示进行预测．该模型通过底层参数全共享来学习两个任务之间的相关性．３．３．３　私有共享多任务模型在上述全共享多任务模型中，所有的文本都是通过同一个全共享的神经网络层进行编码，这样的结构特点在于模型参数较少，但是所有任务的信息都只能通过这一个共享神经网络进行表示．为了进行对比，本文还构建了私有共享多任务模型（Ｓｈａｒｅｄ－Ｐｒｉｖａｔｅ　ＭＴＬ　ｍｏｄｅｌ，ＳＰ）来进行ＣＮＥＲ任务．该模型结构如图３（ｃ）所示，除了一个共享的神经网络（包括Ｅｍｂｅｄｄｉｎｇ层，ＢｉＬＳＴＭ／ＣＮＮ 层和Ｔａｎｈ层）之外，每个任务还各自具有一个特定于任务的神经网络（包括ＢｉＬＳＴＭ／ＣＮＮ 和Ｔａｎｈ层）．然后将这共享部分和特定于任务的私有部分两者的输出进行拼接作为文本的最终表示，再输入到特定于任务的ＣＲＦ层进行实体识别．不同于全共享多任务模型，私有共享模型的这种结构能够选择地利用共享信息和特定于任务的信息．４　实验与分析４．１　实验设置我们在ＣＣＫＳ１７和ＣＣＫＳ１８两个ＣＮＥＲ评测数据集上进行实验，来验证本文方法在中文ＣＮＥＲ任务上的有效性．这两个数据集都是电子病历文本数据，主要区别在于标注的实体有所不同．使用多个数据集也是为了验证本文方法具有较好的鲁棒性．（１）ＣＣＫＳ１７．原始数据集分为训练集和测试集，其中训练集包括３００个医疗记录，人工标注了五类实体（包括症状和体征、检查和检验、疾病和诊断、治疗、身体部位）．测试集包含１００ 个医疗记录；（２）ＣＣＫＳ１８．同样原始数据集包括训练集和测试集．其中训练集包括６００个医疗记录，人工标注了五类实体（包括解剖部位、症状描述、独立症状、药物、手术）．测试集包含４００个医疗记录．表１列出了数据集中不同类别的实体统计．由于我们基于多任务的方法涉及到两个任务的交互，需要关注的一个问题是，一个数据集的训练数据与另一数据集中的测试数据之间是否存在明显的重叠现象，因为这会使模型在评价多任务学习时不准确．经过对比统计，我们发现在医疗记录篇章级别，ＣＣＫＳ１７和ＣＣＫＳ１８并没有重叠数据；在句子级别，ＣＣＫＳ１７测试集与ＣＣＫＳ１８训练集重叠率为０．０４％，ＣＣＫＳ１８测试集与ＣＣＫＳ１７训练集句子重叠率为０．１５％．为了更准确的评价本文的方法，我们将这些少量的重叠数据从两个数据的训练集中直接去除．在实验中，我们分别随机选择２０％的训练集数据作为各个数据集的开发集来调整超参数．此外，为了获得更高质量的预训练字和词向量，我们在知网上下载了医学类文摘，并将ＣＣＫＳ提供的中文电子病历文本进行合并，总计１　５６８　４５８篇文档作为无标注数据．为了公平比较，实验中所有字和词向量均使用该数据进行预训练．表１　ＣＣＫＳ　ＣＮＥＲ语料的数据统计ＣＣＫＳ１７ 症状体征检查检验疾病诊断治疗身体部位训练集７８３１　９５４６　７２２　１０４８　１０７１９测试集２３１１　３１４３　５５３　４６５　３０２１ＣＣＫＳ１８ 解剖部位症状描述独立症状药物手术训练集９４７２　２４８４　３７１２　１２２１　１３２９测试集６３３９　９１８　１３２７　８１３　７３５在模型参数方面，ＥＬＭｏ模型使用了默认的网络参数设置，训练迭代３次．对于ＣＮＥＲ模型，通过在开发集上使用随机搜索方法［３５］选择模型超参数．使用Ａｄａｍ算法进行模型参数优化，通过在验证集上的早停策略［３６］选择模型训练迭代数．ＣＮＥＲ模型的主要超参数为：ＬＳＴＭ 层大小为４００；ＣＮＮ 层卷积窗口大小为３，卷积核大小为２００；Ｔａｎｈ层大小为２００．与当时评测相同，本任务在测试集上采用微平均精确率（Ｐ）、召回率（Ｒ）以及Ｆ 值（Ｆ）作为评测指标．当识别出的实体和人工标注实体边界和类型完全正确才算实体识别正确．４．２　不同中文字向量性能对比为了探索目前现存的中文字向量在ＣＮＥＲ任务上的效果，我们使用ＣＮＮ－ＣＲＦ模型测试对比了不同维度（包括５０维、１００维、２００维和４００维）不同方法的中文字向量在两个ＣＣＫＳ数据集上的结果．比较结果如图４所示，其中“ｒａｎｄ”表示使用随机初始化字向量；“ｗ２ｖ”表示使用ｗｏｒｄ２ｖｅｃ工具中的１０期 罗　凌等：基于笔画ＥＬＭｏ和多任务学习的中文电子病历命名实体识别研究 １９４９图４　ＣＣＫＳ上不同中文字向量性能对比结果ｓｋｉｐ－ｇｒａｍ模型［２４］训练的字向量；ｊｗｅ表示使用Ｘｉｎ和Ｓｏｎｇ［２９］提出的一种联合嵌入中文词、字和字子成分的方法训练的字向量；ｃｗ２ｖｅｃ表示使用Ｃａｏ等人［３０］提出的基于ｎ元笔画信息方法训练的字向量．从实验结果可以看出，在两个数据集上，所有维度的ｗ２ｖ、ｊｗｅ和ｃｗ２ｖｅｃ预训练字向量的结果都优于随机初始化的中文字向量结果．但是专门为中文设计的ｊｗｅ和ｃｗ２ｖｅｃ方法并没有明显优于传统ｗ２ｖ的效果．可能这些方法是在中文词基础上设计的，而用于训练字向量时，和ｗ２ｖ一样，都无法解决歧义问题；且应用于ＣＮＥＲ任务时，模型训练过程中字向量也会随之微调，所以并没有发挥出其优势．从不同维度上看，除了ｒａｎｄ字向量，其它字向量随着维度的上升，模型性能基本都是呈现先上升后平稳的趋势．而ｒａｎｄ字向量在ＣＣＫＳ１７上从１００维后，更高维度的字向量会带来性能的下降．可能原因是由于ＣＣＫＳ１７数据集规模比较小，高纬度的随机字向量增加了模型参数导致模型更难训练．当在２００维时，ｗ２ｖ字向量的效果最好，在ＣＣＫＳ１７和ＣＣＫＳ１８上Ｆ 值分别为８９．９８％和８５．９６％．后续更高的维度并没有带来明显的性能提升．最后综合性能和效率的考虑，后续实验中的传统字向量都使用２００维的ｗ２ｖ字向量．４．３　中文ＥＬＭｏ字向量对模型性能的影响为了验证本文提出的中文ＥＬＭｏ字向量的性能，我们将ＥＬＭｏ和ｗ２ｖ向量以不同组合方式在ＣＮＮ－ＣＲＦ、ＢｉＬＳＴＭ－ＣＲＦ、ＣＮＮ 和ＢｉＬＳＴＭ 四个模型上都进行了测试（其中ＣＮＮ 和ＢｉＬＳＴＭ 模型即将ＣＮＮ－ＣＲＦ和ＢｉＬＳＴＭ－ＣＲＦ模型的ＣＲＦ层替换成了ｓｏｆｔｍａｘ层直接进行标签分类），ＣＣＫＳ上结果如表２所示．其中，ｗ２ｖ表示仅使用２００维ｗｏｒｄ２ｖｅｃ字向量；ｃｈａｒ－ＥＬＭｏ表示仅使用２５６维的字符ＥＬＭｏ向量；ｓｔｒｏｋｅ－ＥＬＭｏ表示仅使用２５６维的笔画ＥＬＭｏ 向量；ｗ２ｖ＋ｃｈａｒ－ＥＬＭｏ 表示将ｗｏｒｄ２ｖｅｃ向量和字符ＥＬＭｏ向量进行拼接一起使用；ｗ２ｖ＋ｓｔｒｏｋｅ－ＥＬＭｏ表示将ｗｏｒｄ２ｖｅｃ向量和笔画ＥＬＭｏ 向量进行拼接；此外，我们还设计了ｓｔｒｏｋｅ和ｗ２ｖ＋ｓｔｒｏｋｅ来进行对比，其中，ｓｔｒｏｋｅ表示不经过语言模型预训练，直接使用一个ＢｉＬＳＴＭ从笔画序列中学习该字的特征表示向量作为模型输入，ｗ２ｖ＋ｓｔｒｏｋｅ则表示该笔画特征向量和ｗｏｒｄ２ｖｅｃ向量拼接．表２　ＣＣＫＳ上中文ＥＬＭｏ字向量性能结果语料特征ＣＮＮ－ＣＲＦＰ／％ Ｒ／％ Ｆ／％ＢｉＬＳＴＭ－ＣＲＦＰ／％ Ｒ／％ Ｆ／％ＣＮＮＰ／％ Ｒ／％ Ｆ／％ＢｉＬＳＴＭＰ／％ Ｒ／％ Ｆ／％ＣＣＫＳ１７ｗ２ｖ ９１．２４　８８．７５　８９．９８　９０．０１　９０．２６　９０．１３　８３．１７　８４．５７　８３．８７　８８．６５　８８．１１　８８．３８ｓｔｒｏｋｅ　８６．３７　８０．８０　８３．４９　８９．０３　８２．５６　８５．６７　７６．０９　７１．４８　７３．７２　８４．８７　７９．０２　８１．８４ｃｈａｒ－ＥＬＭｏ　９０．２６　９０．０６　９０．１６　８９．５４　９１．４０　９０．４６　８７．７４　８８．２８　８８．０１　８９．８３　９０．５０　９０．１６ｓｔｒｏｋｅ－ＥＬＭｏ　８９．７５　９０．９４　９０．３４　８９．８１　９１．８２　９０．８０　８９．１９　８８．３９　８８．７９　９０．５９　９０．１７　９０．３８ｗ２ｖ＋ｓｔｒｏｋｅ　８９．７７　９０．６１　９０．１９　９０．６８　９０．３７　９０．５２　８７．８８　８３．１０　８５．４３　９０．３０　８９．０３　８９．６６ｗ２ｖ＋ｃｈａｒ－ＥＬＭｏ　８９．４４　９１．０７　９０．２５　９０．４３　９０．６４　９０．５３　８８．７０　８８．６７　８８．６９　９０．３６　９０．４５　９０．４１ｗ２ｖ＋ｓｔｒｏｋｅ－ＥＬＭｏ　９０．２５　９０．８７　９０．５６　９１．６０　９０．１８　９０．８８　８９．５８　８９．２８　８９．４３　９１．１６　９０．１２　９０．６３ＣＣＫＳ１８ｗ２ｖ ８６．２６　８５．６６　８５．９６　８７．０４　８５．８４　８６．４３　７８．１１　７６．２８　７７．１９　８４．９８　８３．７３　８４．３６ｓｔｒｏｋｅ　８０．６７　７８．５４　７９．５９　８１．３３　７９．３５　８０．３３　７０．０７　６５．７５　６７．８４　７２．７０　６６．９０　６９．５７ｃｈａｒ－ＥＬＭｏ　８７．９９　８６．２３　８７．１０　８６．９４　８８．７９　８７．８６　８３．３３　８３．３６　８３．３４　８６．５３　８７．１５　８６．８４ｓｔｒｏｋｅ－ＥＬＭｏ　８７．０１　８８．３７　８７．６９　８７．７４　８８．４５　８８．０９　８４．２７　８３．６９　８３．９８　８６．６１　８７．４４　８７．０２ｗ２ｖ＋ｓｔｒｏｋｅ　８７．０７　８５．５５　８６．３０　８７．１１　８６．２３　８６．６７　７８．６２　７７．３５　７７．９８　８５．３６　８４．９０　８５．１３ｗ２ｖ＋ｃｈａｒ－ＥＬＭｏ　８７．６４　８７．６５　８７．６４　８７．７７　８８．０４　８７．９０　８３．９２　８４．５７　８４．２５　８７．４６　８７．０６　８７．２６ｗ２ｖ＋ｓｔｒｏｋｅ－ＥＬＭｏ　８７．９８　８８．１７　８８．０７　８８．１６　８８．３７　８８．２７　８４．９７　８３．９２　８４．４４　８７．５８　８７．７３　８７．６５１９５０ 计　　算　　机　　学　　报 ２０２０年实验结果表明，在两个数据集上单独使用每种字向量作为模型输入时，字符ＥＬＭｏ和笔画ＥＬＭｏ向量在四个模型上都获得了比传统ｗ２ｖ字向量更好的表现．主要原因是ＥＬＭｏ方法能够学习上下文依赖的字向量表示，这样可以表示相同字的不同语义．相比字符ＥＬＭｏ，笔画ＥＬＭｏ获得了更高的Ｆ值，主要原因是笔画ＥＬＭｏ通过大规模语料预训练，从汉字的笔画序列中能够学习到字与字之间更丰富的内部结构关联信息，并且还能够缓解未登录词问题．对比ｓｔｒｏｋｅ的结果可以看到，不经过预训练，直接用笔画序列作为模型输入也可以进行实体识别，但结果并不理想，在四个模型上Ｆ 值都有明显的下降．这主要原因可能是由于ＣＮＥＲ标注训练语料的规模较小，不经过预训练直接使用笔画序列作为模型的输入很难准确学习到汉字语义，导致实体识别的效果不佳．当ｗ２ｖ和ＥＬＭｏ向量同时使用时，在所有模型上效果都得到了进一步的提升，其中使用ｗ２ｖ＋ｓｔｒｏｋｅ－ＥＬＭｏ特征的ＢｉＬＳＴＭ－ＣＲＦ模型在ＣＣＫＳ１７和ＣＣＫＳ１８上都获得最高Ｆ 值，分别为９０．８８％和８８．２７％．相比传统的ｗ２ｖ字向量，加入笔画ＥＬＭｏ后所有模型平均Ｆ 值在ＣＣＫＳ１７和ＣＣＫＳ１８上分别提升了２．２９％和３．６２％．说明了本文提出的笔画ＥＬＭｏ的有效性．当笔画以特征的形式加入到模型中时（即ｗ２ｖ＋ｓｔｒｏｋｅ），四个模型性能也都获得了轻微提升，这也说明了笔画信息的有效性．但提升效果不如笔画ＥＬＭｏ方法，主要原因是通过大规模数据的语言模型预训练，能够更充分地学习到汉字内部结构信息，而ｗ２ｖ＋ｓｔｒｏｋｅ是以特征形式加入笔画信息，没有预训练过程，且该字向量仍是上下文独立的，无法表示多个语义．此外，从结果上还可以看出具有循环神经网络结构的ＢｉＬＳＴＭ－ＣＲＦ和ＢｉＬＳＴＭ 模型在ＣＮＥＲ上的效果要分别优于卷积神经网络结构的ＣＮＮ－ＣＲＦ和ＣＮＮ模型．主要原因可能是，相比卷积神经网络结构，循环神经网络结构的特点在于更能捕获长距离依赖信息，ＣＮＥＲ任务上大多实体由多个字构成，这需要长距离的依赖信息来正确识别实体的边界．当去掉ＣＲＦ层时，ＢｉＬＳＴＭ 和ＣＮＮ 模型的性能都出现了明显的下降，尤其是ＣＮＮ．为了分析原因，我们观察分析了仅使用ｗ２ｖ字向量的ＣＮＮ 和ＢｉＬＳＭ 在ＣＣＫＳ１７测试集上的ＢＩＯＥＳ预测结果．我们发现预测结果中出现了较多的不合理标签序列，例如标签“Ｏ”后出现“Ｉ－症状体征”、标签“Ｉ－身体部位”后出现“Ｉ－疾病诊断”、“Ｅ－症状体征”后出现“Ｉ－治疗”等．主要原因是在ＣＮＥＲ任务上由于实体类别的种类较多，ＢＩＯＥＳ标签策略总共存在２１种标签，去掉ＣＲＦ层后，ＣＮＮ 和ＢｉＬＳＴＭ 无法学习到这些标签与标签之间的依赖信息，出现大量不合理标签序列，导致模型性能下降．相比ＢｉＬＳＴＭ，ＣＮＮ特点在于学习局部特征，无法捕获长距离依赖上下文，所以ＣＮＮ出现了更明显的性能下降．但是当加入笔画ＥＬＭｏ向量后，ＣＮＮ 和ＢｉＬＳＴＭ 模型在两个数据集上分别平均提升了６．４１％和２．７７％，这说明了笔画ＥＬＭｏ能够提供丰富的上下文信息，这给模型带来了性能的提升．除此之外，我们还在ＢｉＬＳＴＭ－ＣＲＦ模型上将ＥＬＭｏ与ｗ２ｖ拼接作为输入，探索了不同维度以及使用不同领域语料训练的ＥＬＭｏ对模型的性能影响，结果如表３所示．在训练语料领域方面，可以看到当加入使用领域外语料训练的ＥＬＭｏ向量时，模型在ＣＣＫＳ１７ 数据集上有轻微的提升，但在ＣＣＫＳ１８数据上性能反而有所下降，这可能是由于不同领域文本表达不一致，以及用语所有不同导致的．当加入使用领域内语料训练的ＥＬＭｏ时，在两个数据集上模型都能获得更好的表现．在向量维度方面，相比２５６维的ＥＬＭｏ向量，５１２维的ＥＬＭｏ向量获得了更好的结果．可能高维度的ＥＬＭｏ向量包含了更丰富的语义信息．表３　ＣＣＫＳ上不同维度和领域中文ＥＬＭｏ向量性能对比特征维度语料领域ＣＣＫＳ１７－Ｆ／％ ＣＣＫＳ１８－Ｆ／％ｗ２ｖ ２００ 生物医学９０．１３　８６．４３＋ｃｈａｒ－ＥＬＭｏ　２５６ 新闻９０．２０　８５．４７＋ｃｈａｒ－ＥＬＭｏ　２５６ 生物医学９０．５３　８７．９０＋ｓｔｒｏｋｅ－ＥＬＭｏ　２５６ 生物医学９０．８８　８８．２７＋ｃｈａｒ－ＥＬＭｏ　５１２ 生物医学９０．６７　８８．１９＋ｓｔｒｏｋｅ－ＥＬＭｏ　５１２ 生物医学９１．０５　８８．６０４．４　额外特征对模型性能的影响本节实验探索额外特征在ＣＮＥＲ上的效果．我们使用ＢｉＬＳＴＭ－ＣＲＦ模型，根据不同初始输入特征设置了两个基线系统：ｗ２ｖ基线系统表示仅使用ｗｏｒｄ２ｖｅｃ字向量作为输入特征；ｗ２ｖ＋ＥＬＭｏ基线系统表示使用ｗｏｒｄ２ｖｅｃ字向量拼接５１２维的笔画ＥＬＭｏ向量作为输入特征．然后在此基础上加入３．２节中的额外特征进行比较，表４给出了ＣＣＫＳ１７和ＣＣＫＳ１８数据集上不同特征组合的结果．１０期 罗　凌等：基于笔画ＥＬＭｏ和多任务学习的中文电子病历命名实体识别研究 １９５１表４　ＣＣＫＳ上额外特征对ＢｉＬＳＴＭ－ＣＲＦ性能的影响特征ＣＣＫＳ１７ｗ２ｖＰ／％ Ｒ／％ Ｆ／％ｗ２ｖ＋ＥＬＭｏＰ／％ Ｒ／％ Ｆ／％ＣＣＫＳ１８ｗ２ｖＰ／％ Ｒ／％ Ｆ／％ｗ２ｖ＋ＥＬＭｏＰ／％ Ｒ／％ Ｆ／％基线系统９０．０１　９０．２６　９０．１３　９０．６９　９１．４１　９１．０５　８７．０４　８５．８４　８６．４３　８８．３９　８８．８２　８８．６０＋词典特征９１．５０　８９．６２　９０．５５　９１．６２　９１．２７　９１．４４　８７．３１　８７．３８　８７．３４　８８．７０　８９．５１　８９．１０＋部首特征９１．６２　８９．２１　９０．３９　９１．０９　９１．１４　９１．１１　８７．２５　８６．７７　８７．０１　８８．５２　８８．５４　８８．５３＋词向量９０．７２　８９．８８　９０．３０　９０．５５　９１．５２　９１．０４　８７．０５　８６．８４　８６．９５　８７．６４　８９．４２　８８．５２＋词典＋部首特征９１．３４　８９．８２　９０．５７　９１．４０　９１．５７　９１．４８　８７．７５　８７．５６　８７．６６　８８．８３　８９．５２　８９．１７＋词典＋部首＋词向量９０．７８　９０．６１　９０．６９　９１．５２　９１．４９　９１．５１　８７．８４　８８．３１　８８．０８　８８．８４　８９．７３　８９．２８对于不使用ＥＬＭｏ向量的ｗ２ｖ基线模型，单独加入各项额外特征时，两个数据集上实体识别效果都有所提升，其中词典特征效果最好，Ｆ 值平均提升了０．６７％，这表明字典提供的先验实体信息有助于模型提高性能．当加入所有额外特征时，模型获得了最佳性能，相比基线系统在ＣＣＫＳ１７和ＣＣＫＳ１８上Ｆ 值提高了０．５６％和１．６５％．对于使用笔画ＥＬＭｏ向量的基线模型（ｗ２ｖ＋ＥＬＭｏ），在不使用其他额外特征时性能已经超过了加入全部额外特征的ｗ２ｖ模型性能．单独加入各项额外特征时，只有加入词典特征获得了一定性能的提升，在ＣＣＫＳ１７和ＣＣＫＳ１８上Ｆ 值分别提升了０．３９％和０．５０％，达到９１．４４％和８９．１０％，而笔画特征和词特征并没有明显变化．这也说明笔画ＥＬＭｏ通过大规模数据的语言模型预训练，能够自动学习到一定的词信息和汉字内部结构的部首信息，但很难自动学习到词典的先验知识．当加入所有额外特征后模型在ＣＣＫＳ１７和ＣＣＫＳ１８上分别获得最高Ｆ 值为９１．５１％和８９．２８％，相比只加入词典特征，仅提升了０．０７％和０．１８％．这也表明加入笔画ＥＬＭｏ向量后，只需加入词典特征即可获得较好的结果，无需大量特征工程．４．５　多任务学习模型性能对比实验本节实验探索多任务学习模型在ＣＮＥＲ任务上的效果．首先我们对比了３．３节中阐述的单任务模型、全共享多任务模型（ＦＳ）和私有共享多任务模型（ＳＰ）的性能效果．我们分别使用了ｗ２ｖ字向量作为输入特征和使用ｗ２ｖ字向量拼接５１２维的笔画ＥＬＭｏ向量作为模型输入进行对比．实验结果如表５所示．表５　多任务学习模型性能对比模型ｗ２ｖＣＣＫＳ１７－Ｆ／％ ＣＣＫＳ１８－Ｆ／％ｗ２ｖ＋ＥＬＭｏＣＣＫＳ１７－Ｆ／％ ＣＣＫＳ１８－Ｆ／％ＣＮＮ－ＣＲＦ　８９．９８　８５．９６　９０．７８　８８．２４ＣＮＮ－ＣＲＦ－ＦＳ　９０．３６　８６．５０　９１．０１　８８．５１ＣＮＮ－ＣＲＦ－ＳＰ　９０．４７　８６．９８　９１．１９　８８．７２ＢｉＬＳＴＭ－ＣＲＦ　９０．１３　８６．４３　９１．０５　８８．６０ＢｉＬＳＴＭ－ＣＲＦ－ＦＳ　９０．７１　８７．２０　９１．３０　８９．２９ＢｉＬＳＴＭ－ＣＲＦ－ＳＰ　９０．９０　８７．８８　９１．５０　８９．５６从对比结果可以看到，当仅使用ｗ２ｖ字向量作为输入时，在两个数据集上，无论是ＣＮＮ－ＣＲＦ模型还是ＢｉＬＳＴＭ－ＣＲＦ模型，基于多任务学习的模型结果都优于单任务模型的结果．相比全共享模型，私有共享模型能够获得更高的Ｆ 值．主要原因可能是因为私有共享结构使模型能够选择地利用共享和特定于任务的信息，更有效地学习相关信息．当使用ｗ２ｖ字向量和笔画ＥＬＭｏ向量同时作为输入时，在两个数据集上得到了相似的结果．其中ＢｉＬＳＴＭ－ＣＲＦＳＰ模型获得了最好的Ｆ 值，在ＣＣＫＳ１７和ＣＣＫＳ１８上相比单任务的ＢｉＬＳＴＭ－ＣＲＦ模型，Ｆ 值分别提升了０．４５％和０．９６％．这也说明了本文多任务学习模型的在中文ＣＮＥＲ任务上的有效性．为了进一步验证本文提出的笔画ＥＬＭｏ和多任务学习模型在小规模数据上的有效性，我们在不同大小的训练数据集上测试了上述基于ＢｉＬＳＴＭＣＲＦ的单任务和私有共享多任务模型的性能．具体地，我们按照不同的比例分别从原始标注训练集中随机抽取了部分数据作为新的训练集来测试模型的性能，结果如图５所示．在两个数据集上都呈现了相似的结果．首先，相比ＢｉＬＳＴＭ－ＣＲＦ基线系统，在不同规模大小的训练集上，加入本文提出的笔画ＥＬＭｏ后，Ｆ 值都所有提升，ＣＣＫＳ１７和ＣＣＫＳ１８上Ｆ 值分别平均提升了１．３３％和２．３７％．加入ＥＬＭｏ后的私有共享多任务模型能够获得更好的性能，相比基线系统在ＣＣＫＳ１７和ＣＣＫＳ１８上Ｆ 值分别平均提升了１．８１％和３．０９％．并且单任务模型与相应的多任务模型的Ｆ 值的差距也随着数据集的变小而扩大．这说明了在小规模ＣＮＥＲ 数据集上，通过本文提出的笔画ＥＬＭｏ和多任务学习框架可以获得更好的性能．其次，从图中结果也可以看到，在两个数据集上仅使用６０％的训练数据规模训练的私有共享多任务模型就获得了比使用完整数据训练的单任务模型更好的性能．这预示了我们不仅可以使用笔画ＥＬＭｏ和多任１９５２ 计　　算　　机　　学　　报 ２０２０年图５　不同训练集规模对模型性能的影响务学习提高小数据集上模型的性能，还可以表明在构建新的ＣＮＥＲ数据集时可以包含更少的注释，减少人工标注的成本．最后我们还发现，虽然减少训练集的规模会导致模型性能的下降，但是当训练数据集减小到６０％时，即使是单任务的基线系统，模型性能在ＣＣＫＳ１７和ＣＣＫＳ１８上Ｆ 值分别也只下降了０．８８％和１．３８％．直到减少大量数据，在只剩１０％数据量时，模型性能才急剧下降．这可能原因是，电子病历中的文本描述用语句式比较固定，一些类似的文本表达经常出现，模型能够有效利用相对较少的训练数据来获得足够的性能．４．６　与其它方法性能对比实验为了进一步验证本文方法的有效性，我们在ＣＣＫＳ１７和ＣＣＫＳ１８两个数据集上分别和其它现存的先进方法进行了比较，并给出了总体以及每一类实体的Ｆ 值结果，如表６所示．对比方法简介如下：（１）ＨＩＴ－ＣＮＥＲ［３７］．使用字向量作为输入，ＢｉＬＳＴＭＣＲＦ模型识别实体，并使用了无标注数据进行了自训练（Ｓｅｌｆ－ｔｒａｉｎｉｎｇ），该方法当时在ＣＣＫＳ　２０１７评测中获得了第一名．（２）ＢｉＬＳＴＭ－ＣＲＦ－ＤＩＣ［６］．Ｗａｎｇ等人首先利用相关医学资源构建了医学领域词典，然后以词典特征和字向量作为输入，ＢｉＬＳＴＭ－ＣＲＦ模型识别实体，在ＣＣＫＳ２０１７数据集上取得了不错的结果．（３）ＲＤ－ＣＮＮ－ＣＲＦ［５］．以中文字向量、词典特征作为输入，使用残差扩张卷积神经网络结合ＣＲＦ层识别实体，在ＣＣＫＳ１７数据集上取得了比主流ＢｉＬＳＴＭ－ＣＲＦ模型更好的结果．（４）ＣＲＦ（Ｙａｎｇ和Ｈｕａｎｇ）［４］．使用了字向量、部首、词性、拼音、词典和规则特征作为输入，ＣＲＦ模型识别实体，在ＣＣＫＳ　２０１８评测中获得了第一名．（５）Ｅｎｓｅｍｂｌｅ（Ｌｕｏ等人）［３８］．我们之前参加ＣＣＫＳ　２０１８评测的工作，集成了五个神经网络模型的结果，在评测中取得了第三名．（６）ＢｉＬＳＴＭ－ＣＲＦ（Ｊｉ等人）［７］．以字向量为输入，使用ＢｉＬＳＴＭ－ＣＲＦ模型进行实体识别，然后构建了一个药物词典来修正药物实体，最后采用了一系列规则后处理来提升性能．（７）Ｌａｔｔｉｃｅ　ＬＳＴＭ．Ｚｈａｎｇ等人［１７］提出的ＬａｔｔｉｃｅＬＳＴＭ 模型，在基于字的中文ＮＥＲ上充分利用词表６　与其他方法的性能比较（单位：％）方法ＣＣＫＳ１７症状体征检查检验疾病诊断治疗身体部位总体ＣＣＫＳ１８解剖部位症状描述独立症状药物手术总体ＨＩＴ－ＣＮＥＲ［３７］ ９６．００　９４．４３　７８．９７　８１．４７　８７．４８　９１．１４ － － － － － －ＢｉＬＳＴＭ－ＣＲＦ－ＤＩＣ［６］ － － － － － ９１．２４ － － － － － －ＲＤ－ＣＮＮ－ＣＲＦ［５］ － － － － － ９１．３２ － － － － － －ＣＲＦ（Ｙａｎｇ和Ｈｕａｎｇ）［４］ － － － － － － ８７．９７　９０．５９　９２．４５　９４．４９　８５．４３　８９．１３Ｅｎｓｅｍｂｌｅ（Ｌｕｏ等人）［３８］ － － － － － － ８７．５９　９０．７７　９１．７２　９１．５３　８６．４１　８８．６３ＢｉＬＳＴＭ－ＣＲＦ（Ｊｉ等人）［７］ － － － － － － ８６．６５　８９．１３　９０．６９　９１．１５　８５．６１　８７．６８Ｌａｔｔｉｃｅ　ＬＳＴＭ　９６．７２　９３．８７　７８．６９　７７．１６　８６．２０　９０．５１　８７．５８　９０．７６　９１．９９　８４．２１　８６．１４　８８．０９ＢＥＲＴ　９５．５６　９３．１１　７７．８４　８０．１７　８６．０１　８９．９４　８８．１７　８９．０８　９０．５２　８４．３３　８４．６６　８８．００ＣＮＮ－ＣＲＦ　９５．１６　９３．９７　７６．５７　７８．５４　８７．３８　９０．３６　８６．２３　８８．７８　９０．８０　９１．６３　８０．３５　８７．１７ＣＮＮ－ＣＲＦ＋ＥＬＭｏ　９６．２０　９４．３９　７７．８３　８０．７３　８６．３８　９０．７４　８７．９４　８９．２７　９１．２１　９１．９９　８３．２３　８８．５７ＣＮＮ－ＣＲＦ－ＳＰ＋ＥＬＭｏ　９６．３３　９４．５６　８２．０７　８３．３５　８６．６３　９１．２４　８８．８１　９１．６６　９１．０２　９１．５７　８２．１７　８９．０７ＢｉＬＳＴＭ－ＣＲＦ　９５．９４　９３．９９　７６．５５　８１．６３　８７．１９　９０．６９　８７．１７　８９．４６　９１．２０　９１．２９　８５．０４　８８．０８ＢｉＬＳＴＭ－ＣＲＦ＋ＥＬＭｏ　９５．１３　９４．７５　８０．８２　８３．８６　８８．１９　９１．５１　８８．４４　９１．０８　９１．６３　９１．９１　８６．７５　８９．２８ＢｉＬＳＴＭ－ＣＲＦ－ＳＰ＋ＥＬＭｏ　９５．３７　９４．９４　８１．１３　８３．３２　８８．７４　９１．７５　８９．６９　９１．８３　９２．０１　９１．３０　８６．２２　９０．０５１０期 罗　凌等：基于笔画ＥＬＭｏ和多任务学习的中文电子病历命名实体识别研究 １９５３信息，并在通用领域上达到了先进水平．为了进行公平的比较，我们使用他们论文提供的代码，以本文同样的生物医学预训练向量作为输入，在ＣＣＫＳ数据集上重新训练模型进行比较．（８）ＢＥＲＴ．Ｄｅｖｌｉｎ等人［１６］提出的基于Ｔｒａｎｓｆｏｒｍｅｒ模型的预训练方法．为了比较，我们使用官方提供的中文字ＢＥＲＴ模型（ｈｔｔｐｓ：／／ｇｉｔｈｕｂ．ｃｏｍ／ｇｏｏｇｌｅ－ｒｅｓｅａｒｃｈ／ｂｅｒｔ）在ＣＣＫＳ　ＣＮＥＲ数据集上进行微调得到结果．（９）ＣＮＮ－ＣＲＦ．本文使用ｗ２ｖ字向量、词向量、词典和部首特征的ＣＮＮ－ＣＲＦ模型结果．（１０）ＣＮＮ－ＣＲＦ＋ＥＬＭｏ．在上述ＣＮＮ－ＣＲＦ基础上加入５１２维笔画ＥＬＭｏ的结果．（１１）ＣＮＮ－ＣＲＦ－ＳＰ＋ＥＬＭｏ．文本使用ｗ２ｖ字向量、词向量、词典、部首特征和５１２维笔画ＥＬＭｏ作为输入，基于私有共享多任务的ＣＮＮ－ＣＲＦ模型结果．（１２）ＢｉＬＳＴＭ－ＣＲＦ．本文使用ｗ２ｖ字向量、词向量、词典和部首特征的ＢｉＬＳＴＭ－ＣＲＦ模型结果．（１３）ＢｉＬＳＴＭ－ＣＲＦ＋ＥＬＭｏ．在上述ＢｉＬＳＴＭＣＲＦ基础上加入５１２维笔画ＥＬＭｏ的结果．（１４）ＢｉＬＳＴＭ－ＣＲＦ－ＳＰ＋ＥＬＭｏ．文本使用ｗ２ｖ字向量、词向量、词典、部首特征和５１２维笔画ＥＬＭｏ作为输入，基于私有共享多任务的ＢｉＬＳＴＭ－ＣＲＦ模型结果．从结果可以看到，在数据集规模比较小的情况下，通过丰富的人工特征，ＣＲＦ模型同样能够取得先进结果．相比传统的ＢｉＬＳＴＭ，充分利用词信息的Ｌａｔｔｉｃｅ　ＬＳＴＭ 能够获得更好的效果．通过多模型集成也能进一步提升结果．相比其它方法，本文通过加入笔画ＥＬＭｏ在ＢｉＬＳＴＭ－ＣＲＦ单模型下未使用任何后处理就能够获得当前先进结果．从具体每类实体分析，在ＣＣＫＳ１８上Ｙａｎｇ等人的ＣＲＦ方法在药物实体上有明显的优势．主要原因是他们利用了多个药物相关网站来构建了更高质量的药物词典，也说明了我们方法通过更高质量的字典仍有上升空间．相比ＢＥＲＴ预训练方法，本文方法获得了更好的结果．主要原因在于该ＢＥＲＴ 模型使用的是新闻领域语料进行预训练，而本文提出的ＥＬＭｏ则使用同领域生物医学语料进行预训练，且考虑了笔画特征，更能捕获汉字内部结构信息．总体上看，在ＣＮＮ－ＣＲＦ和ＢｉＬＳＴＭ－ＣＲＦ 模型上，加入ＥＬＭｏ后，每类实体都获得了不同程度的提升，说明了本文ＥＬＭｏ向量的有效性．在所有模型中，本文提出的ＢｉＬＳＴＭ－ＣＲＦ－ＳＰ＋ＥＬＭｏ多任务模型在两个数据集上都取得了总体最好的Ｆ 值，相比单任务的ＢｉＬＳＴＭ－ＣＲＦ＋ＥＬＭｏ模型，多任务模型在ＣＣＫＳ１７的身体部位和ＣＣＫＳ１８的解剖部位、症状描述实体上有较为明显的提升．主要原因是因为这几类实体在这两个数据集上相关性较强，通过多任务学习能够有效地学习到任务间的相关信息，提升了模型的性能．４．７　ＥＬＭｏ向量可视化分析为了进一步分析笔画ＥＬＭｏ字向量学习到的表示，我们随机从数据集中抽取了一个句子：“取病理提示胃恶性肿瘤，给予奥沙利铂＋多西他赛方案化疗，近期患者精神可，大便次数多，小便正常，无腹痛、腹胀等不适．”进行传统ｗ２ｖ和笔画ＥＬＭｏ字向量可视化对比．具体地，先获取该句中每个中文汉字的字向量表示，然后使用主成分分析（ＰＣＡ）方法将其字向量降到２维，画出其散点图，如图６所示．图中每个字旁的编号代表句子中的字索引号．图６　不同中文字向量可视化对比从可视化结果可以看出，相比传统的ｗ２ｖ字向量，笔画ＥＬＭｏ可以对同一个字的不同语义进行不同的表示．例如，句子中的“多”字，一个是药名“多西他赛”的“多１９”，一个是“大便次数多”的“多４０”．可以看到传统的字向量对于“多”只能有一个字向量表１９５４ 计　　算　　机　　学　　报 ２０２０年示，而在笔画ＥＬＭｏ中，不同的“多”有不同的向量表示．且“多１９”在向量空间中更接近于“西、他、赛”几个字的向量；“多４０”更接近于“大、便”的字向量．在ｗ２ｖ字向量空间中，我们可以观察到，一些在整个语料库中常出现的词语搭配的距离会比较近，例如“胃６病２”；而“便”字离其它字比较远，可能是因为“便”字语义比较丰富，单独使用一个向量表示时，和本句的其它字较为不相似．而在笔画ＥＬＭｏ向量空间中，则是具体上下文相关的字向量，即根据当前句子索引相近的字距离比较接近，例如“病２”与“理３”比较近，“胃６”和“恶７”比较近．此外，还可以看出在笔画ＥＬＭｏ空间中，一些具有相似内部结构的字，其向量的距离较近．例如，“腹”、“胀”、“胃”、“肿”等几个字都具有“月”字结构，基本都聚集在空间图的右下部．这也说明了笔画ＥＬＭｏ根据笔画序列信息能够在一定程度上自动学习到字的内部结构信息．５　总结与展望本文提出了一种基于笔画ＥＬＭｏ和多任务学习的中文电子病历实体识别方法．通过在大规模数据上语言模型预训练，笔画ＥＬＭｏ能够学习到丰富的汉字内部结构信息，且是上下文相关的字向量，优于传统字向量表示．此外，利用多任务学习框架可以充分学习多个相关任务互补信息，进一步提升模型在各自任务上的性能．在ＣＣＫＳ１７和ＣＣＫＳ１８两个ＣＮＥＲ数据集上实验表明，本文提出的基于笔画ＥＬＭｏ和多任务学习的神经网络模型能够有效地识别中文电子病历实体．此外，在ＣＮＥＲ 任务上，ＢｉＬＳＴＭ－ＣＲＦ模型优于ＣＮＮ、ＢｉＬＳＴＭ 和ＣＮＮＣＲＦ模型．通过加入其它额外特征的比较，其中加入高质量词典特征最为有效．从Ｌａｔｔｉｃｅ　ＬＳＴＭ 模型结果可以看到，在基于字的中文ＮＥＲ模型上充分利用词信息具有很大潜力，如何设计模型更充分地利用字词信息来提升中文ＣＮＥＲ效果，是我们下一步工作重点．此外，本文提出的笔画ＥＬＭｏ是一种通用的中文向量表示方法，在我们未来的工作中，将探索其在更多中文ＮＬＰ任务上的表现．参考文献［１］ Ｂｅｔｈａｒｄ　Ｓ，Ｓａｖｏｖａ　Ｇ，Ｃｈｅｎ　Ｗ－Ｔ，ｅｔ　ａｌ．ＳｅｍＥｖａｌ－２０１６Ｔａｓｋ　１２：Ｃｌｉｎｉｃａｌ　ＴｅｍｐＥｖａｌ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　１０ｔｈ　ＩｎｔｅｒｎａｔｉｏｎａｌＷｏｒｋｓｈｏｐ　ｏｎ　Ｓｅｍａｎｔｉｃ　Ｅｖａｌｕａｔｉｏｎ （ＳｅｍＥｖａｌ－２０１６）．ＳａｎＤｉｅｇｏ，ＵＳＡ，２０１６：１０５２－１０６２［２］ Ｓｕｎ　Ｗ，Ｒｕｍｓｈｉｓｋｙ　Ａ，Ｕｚｕｎｅｒ　Ｏ．Ｅｖａｌｕａｔｉｎｇ　ｔｅｍｐｏｒａｌｒｅｌａｔｉｏｎｓ　ｉｎ　ｃｌｉｎｉｃａｌ　ｔｅｘｔ：２０１２ｉ２ｂ２Ｃｈａｌｌｅｎｇｅ．Ｊｏｕｒｎａｌ　ｏｆ　ｔｈｅＡｍｅｒｉｃａｎ　Ｍｅｄｉｃａｌ　Ｉｎｆｏｒｍａｔｉｃｓ　Ａｓｓｏｃｉａｔｉｏｎ，２０１３，２０（５）：８０６－８１３［３］ Ｕｚｕｎｅｒ，Ｓｏｌｔｉ　Ｉ，Ｃａｄａｇ　Ｅ．Ｅｘｔｒａｃｔｉｎｇ　ｍｅｄｉｃａｔｉｏｎ　ｉｎｆｏｒｍａｔｉｏｎｆｒｏｍ　ｃｌｉｎｉｃａｌ　ｔｅｘｔ．Ｊｏｕｒｎａｌ　ｏｆ　ｔｈｅ　Ａｍｅｒｉｃａｎ　Ｍｅｄｉｃａｌ　ＩｎｆｏｒｍａｔｉｃｓＡｓｓｏｃｉａｔｉｏｎ，２０１０，１７（５）：５１４－５１８［４］ Ｙａｎｇ　Ｘ，Ｈｕａｎｇ　Ｗ．Ａ　ｃｏｎｄｉｔｉｏｎａｌ　ｒａｎｄｏｍ　ｆｉｅｌｄｓ　ａｐｐｒｏａｃｈ　ｔｏｃｌｉｎｉｃａｌ　ｎａｍｅ　ｅｎｔｉｔｙ　ｒｅｃｏｇｎｉｔｉｏｎ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　ＥｖａｌｕａｔｉｏｎＴａｓｋｓ　ａｔ　ｔｈｅ　Ｃｈｉｎａ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｋｎｏｗｌｅｄｇｅ　Ｇｒａｐｈ　ａｎｄＳｅｍａｎｔｉｃ　Ｃｏｍｐｕｔｉｎｇ（ＣＣＫＳ　２０１８）．Ｔｉａｎｊｉｎ，Ｃｈｉｎａ，２０１８：１－６［５］ Ｑｉｕ　Ｊ，Ｚｈｏｕ　Ｙ，Ｗａｎｇ　Ｑ，ｅｔ　ａｌ．Ｃｈｉｎｅｓｅ　ｃｌｉｎｉｃａｌ　ｎａｍｅｄ　ｅｎｔｉｔｙｒｅｃｏｇｎｉｔｉｏｎ　ｕｓｉｎｇ　ｒｅｓｉｄｕａｌ　ｄｉｌａｔｅｄ　ｃｏｎｖｏｌｕｔｉｏｎａｌ　ｎｅｕｒａｌｎｅｔｗｏｒｋ　ｗｉｔｈ　ｃｏｎｄｉｔｉｏｎａｌ　ｒａｎｄｏｍ　ｆｉｅｌｄ．ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓｏｎ　ＮａｎｏＢｉｏｓｃｉｅｎｃｅ，２０１９，１８（３）：３０６－３１５［６］ Ｗａｎｇ　Ｑ，Ｚｈｏｕ　Ｙ，Ｒｕａｎ　Ｔ，ｅｔ　ａｌ．Ｉｎｃｏｒｐｏｒａｔｉｎｇ　ｄｉｃｔｉｏｎａｒｉｅｓｉｎｔｏ　ｄｅｅｐ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋｓ　ｆｏｒ　ｔｈｅ　Ｃｈｉｎｅｓｅ　ｃｌｉｎｉｃａｌ　ｎａｍｅｄｅｎｔｉｔｙ　ｒｅｃｏｇｎｉｔｉｏｎ．Ｊｏｕｒｎａｌ　ｏｆ　Ｂｉｏｍｅｄｉｃａｌ　Ｉｎｆｏｒｍａｔｉｃｓ，２０１９，９２（１０３１３３）：１－９［７］ Ｊｉ　Ｂ，Ｌｉ　Ｓ，Ｙｕ　Ｊ，ｅｔ　ａｌ．Ａ　ＢｉＬＳＴＭ－ＣＲＦ　ｍｅｔｈｏｄ　ｔｏ　Ｃｈｉｎｅｓｅｅｌｅｃｔｒｏｎｉｃ　ｍｅｄｉｃａｌ　ｒｅｃｏｒｄ　ｎａｍｅｄ　ｅｎｔｉｔｙ　ｒｅｃｏｇｎｉｔｉｏｎ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ　ｔｈｅ　２０１８Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ａｌｇｏｒｉｔｈｍｓ，Ｃｏｍｐｕｔｉｎｇａｎｄ　Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ．Ｓａｎｙａ，Ｃｈｉｎａ，２０１８：１－６［８］ Ｐｅｔｅｒｓ　Ｍ，Ｎｅｕｍａｎｎ　Ｍ，Ｉｙｙｅｒ　Ｍ，ｅｔ　ａｌ．Ｄｅｅｐ　ｃｏｎｔｅｘｔｕａｌｉｚｅｄｗｏｒｄ　ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　２０１８Ｃｏｎｆｅｒｅｎｃｅ　ｏｆｔｈｅ　Ｎｏｒｔｈ　Ａｍｅｒｉｃａｎ　Ｃｈａｐｔｅｒ　ｏｆ　ｔｈｅ　Ａｓｓｏｃｉａｔｉｏｎ　ｆｏｒ　Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｌｉｎｇｕｉｓｔｉｃｓ：Ｈｕｍａｎ　Ｌａｎｇｕａｇｅ　Ｔｅｃｈｎｏｌｏｇｉｅｓ，Ｖｏｌｕｍｅ１（Ｌｏｎｇ　Ｐａｐｅｒｓ）．Ｎｅｗ　Ｏｒｌｅａｎｓ，ＵＳＡ，２０１８：２２２７－２２３７［９］ Ｄｅｖｌｉｎ　Ｊ，Ｃｈａｎｇ　Ｍ－Ｗ，Ｌｅｅ　Ｋ，ｅｔ　ａｌ．Ｂｅｒｔ：Ｐｒｅ－ｔｒａｉｎｉｎｇ　ｏｆｄｅｅｐ　ｂｉｄｉｒｅｃｔｉｏｎａｌ　ｔｒａｎｓｆｏｒｍｅｒｓ　ｆｏｒ　ｌａｎｇｕａｇｅ　ｕｎｄｅｒｓｔａｎｄｉｎｇ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　２０１９Ｃｏｎｆｅｒｅｎｃｅ　ｏｆ　ｔｈｅ　Ｎｏｒｔｈ　ＡｍｅｒｉｃａｎＣｈａｐｔｅｒ　ｏｆ　ｔｈｅ　Ａｓｓｏｃｉａｔｉｏｎ　ｆｏｒ　Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｌｉｎｇｕｉｓｔｉｃｓ：Ｈｕｍａｎ　Ｌａｎｇｕａｇｅ　Ｔｅｃｈｎｏｌｏｇｉｅｓ，Ｖｏｌｕｍｅ　１．Ｍｉｎｎｅａｐｏｌｉｓ，ＵＳＡ，２０１９：４１７１－４１８６［１０］ Ｒａｄｆｏｒｄ　Ａ，Ｎａｒａｓｉｍｈａｎ　Ｋ，Ｓａｌｉｍａｎｓ　Ｔ，ｅｔ　ａｌ．Ｉｍｐｒｏｖｉｎｇｌａｎｇｕａｇｅ　ｕｎｄｅｒｓｔａｎｄｉｎｇ　ｂｙ　ｇｅｎｅｒａｔｉｖｅ　ｐｒｅ－ｔｒａｉｎｉｎｇ．ｈｔｔｐｓ：／／ｗｗｗ．ｃｓ．ｕｂｃ．ｃａ／～ａｍｕｈａｍ０１／ＬＩＮＧ５３０／ｐａｐｅｒｓ／ｒａｄｆｏｒｄ２０１８－ｉｍｐｒｏｖｉｎｇ．ｐｄｆ，２０１８［１１］ Ｃｏｌｌｏｂｅｒｔ　Ｒ，Ｗｅｓｔｏｎ　Ｊ，Ｂｏｔｔｏｕ　Ｌ，ｅｔ　ａｌ．Ｎａｔｕｒａｌ　ｌａｎｇｕａｇｅｐｒｏｃｅｓｓｉｎｇ（ａｌｍｏｓｔ）ｆｒｏｍ　ｓｃｒａｔｃｈ．Ｔｈｅ　Ｊｏｕｒｎａｌ　ｏｆ　ＭａｃｈｉｎｅＬｅａｒｎｉｎｇ　Ｒｅｓｅａｒｃｈ，２０１１，１２（７６）：２４９３－２５３７［１２］ Ｓｔｒｕｂｅｌｌ　Ｅ，Ｖｅｒｇａ　Ｐ，Ｂｅｌａｎｇｅｒ　Ｄ，ｅｔ　ａｌ．Ｆａｓｔ　ａｎｄ　ａｃｃｕｒａｔｅｅｎｔｉｔｙ　ｒｅｃｏｇｎｉｔｉｏｎ　ｗｉｔｈ　ｉｔｅｒａｔｅｄ　ｄｉｌａｔｅｄ　ｃｏｎｖｏｌｕｔｉｏｎｓ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　２０１７Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｅｍｐｉｒｉｃａｌ　Ｍｅｔｈｏｄｓ　ｉｎＮａｔｕｒａｌ　Ｌａｎｇｕａｇｅ　Ｐｒｏｃｅｓｓｉｎｇ．Ｃｏｐｅｎｈａｇｅｎ，Ｄｅｎｍａｒｋ，２０１７：２６７０－２６８０［１３］ Ｈｕａｎｇ　Ｚ，Ｘｕ　Ｗ，Ｙｕ　Ｋ．Ｂｉｄｉｒｅｃｔｉｏｎａｌ　ＬＳＴＭ－ＣＲＦ　ｍｏｄｅｌｓｆｏｒ　ｓｅｑｕｅｎｃｅ　ｔａｇｇｉｎｇ．ａｒＸｉｖ　ｐｒｅｐｒｉｎｔ　ａｒＸｉｖ：１５０８０１９９１，２０１５１０期 罗　凌等：基于笔画ＥＬＭｏ和多任务学习的中文电子病历命名实体识别研究 １９５５［１４］ Ｌａｍｐｌｅ　Ｇ，Ｂａｌｌｅｓｔｅｒｏｓ　Ｍ，Ｓｕｂｒａｍａｎｉａｎ　Ｓ，ｅｔ　ａｌ．Ｎｅｕｒａｌａｒｃｈｉｔｅｃｔｕｒｅｓ　ｆｏｒ　ｎａｍｅｄ　ｅｎｔｉｔｙ　ｒｅｃｏｇｎｉｔｉｏｎ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆｔｈｅ　ＮＡＡＣＬ－ＨＬＴ．Ｓａｎ　Ｄｉｅｇｏ，ＵＳＡ，２０１６：２６０－２７０［１５］ Ｍａ　Ｘ，Ｈｏｖｙ　Ｅ．Ｅｎｄ－ｔｏ－ｅｎｄ　ｓｅｑｕｅｎｃｅ　ｌａｂｅｌｉｎｇ　ｖｉａ　ｂｉ－ｄｉｒｅｃｔｉｏｎａｌＬＳＴＭ－ＣＮＮｓ－ＣＲＦ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　５４ｔｈ　Ａｎｎｕａｌ　Ｍｅｅｔｉｎｇｏｆ　ｔｈｅ　Ａｓｓｏｃｉａｔｉｏｎ　ｆｏｒ　Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｌｉｎｇｕｉｓｔｉｃｓ（Ｖｏｌｕｍｅ　１：Ｌｏｎｇ　Ｐａｐｅｒｓ）．Ｂｅｒｌｉｎ，Ｇｅｒｍａｎｙ，２０１６：１０６４－１０７４［１６］ Ｚｈａｎｇ　Ｈａｉ－Ｎａｎ，Ｗｕ　Ｄａ－Ｙｏｎｇ，Ｌｉｕ　Ｙｕｅ，ｅｔ　ａｌ．Ｃｈｉｎｅｓｅｎａｍｅｄ　ｅｎｔｉｔｙ　ｒｅｃｏｇｎｉｔｉｏｎ　ｂａｓｅｄ　ｏｎ　ｄｅｅｐ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ．Ｊｏｕｒｎａｌ　ｏｆ　Ｃｈｉｎｅｓｅ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｐｒｏｃｅｓｓｉｎｇ，２０１７，３１（４）：２８－３５（ｉｎ　Ｃｈｉｎｅｓｅ）（张海楠，伍大勇，刘悦等．基于深度神经网络的中文命名实体识别．中文信息学报，２０１７，３１（４）：２８－３５）［１７］ Ｚｈａｎｇ　Ｙ，Ｙａｎｇ　Ｊ．Ｃｈｉｎｅｓｅ　ＮＥＲ　ｕｓｉｎｇ　ｌａｔｔｉｃｅ　ＬＳＴＭ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　５６ｔｈ　Ａｎｎｕａｌ　Ｍｅｅｔｉｎｇ　ｏｆ　ｔｈｅ　Ａｓｓｏｃｉａｔｉｏｎｆｏｒ　Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｌｉｎｇｕｉｓｔｉｃｓ．Ｍｅｌｂｏｕｒｎｅ，Ａｕｓｔｒａｌｉａ，２０１８：１５５４－１５６４［１８］ Ｚｈａｏ　Ｈ，Ｋｉｔ　Ｃ．Ｕｎｓｕｐｅｒｖｉｓｅｄ　ｓｅｇｍｅｎｔａｔｉｏｎ　ｈｅｌｐｓ　ｓｕｐｅｒｖｉｓｅｄｌｅａｒｎｉｎｇ　ｏｆ　ｃｈａｒａｃｔｅｒ　ｔａｇｇｉｎｇ　ｆｏｒ　ｗｏｒｄ　ｓｅｇｍｅｎｔａｔｉｏｎ　ａｎｄｎａｍｅｄ　ｅｎｔｉｔｙ　ｒｅｃｏｇｎｉｔｉｏｎ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　６ｔｈ　ＳＩＧＨＡＮＷｏｒｋｓｈｏｐ　ｏｎ　Ｃｈｉｎｅｓｅ　Ｌａｎｇｕａｇｅ　Ｐｒｏｃｅｓｓｉｎｇ．Ｈｙｄｅｒａｂａｄ，Ｉｎｄｉａ，２００８：１０６－１１１［１９］ Ｐｅｎｇ　Ｎ，Ｄｒｅｄｚｅ　Ｍ．Ｉｍｐｒｏｖｉｎｇ　ｎａｍｅｄ　ｅｎｔｉｔｙ　ｒｅｃｏｇｎｉｔｉｏｎ　ｆｏｒＣｈｉｎｅｓｅ　ｓｏｃｉａｌ　ｍｅｄｉａ　ｗｉｔｈ　ｗｏｒｄ　ｓｅｇｍｅｎｔａｔｉｏｎ　ｒｅｐｒｅｓｅｎｔａｔｉｏｎｌｅａｒｎｉｎｇ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　５４ｔｈ　Ａｎｎｕａｌ　Ｍｅｅｔｉｎｇ　ｏｆ　ｔｈｅＡｓｓｏｃｉａｔｉｏｎ　ｆｏｒ　Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｌｉｎｇｕｉｓｔｉｃｓ．Ｂｅｒｌｉｎ，Ｇｅｒｍａｎｙ，２０１６：１４９－１５５［２０］ Ｌｉｕ　Ｂｉｎｇ－Ｙａｎｇ，Ｗｕ　Ｄａ－Ｙｏｎｇ，Ｌｉｕ　Ｘｉｎ－Ｒａｎ，ｅｔ　ａｌ．Ｃｈｉｎｅｓｅｎａｍｅｄ　ｅｎｔｉｔｙ　ｒｅｃｏｇｎｉｔｉｏｎ　ｉｎｃｏｒｐｏｒａｔｉｎｇ　ｇｌｏｂａｌ　ｗｏｒｄ　ｂｏｕｎｄａｒｙｆｅａｔｕｒｅｓ．Ｊｏｕｒｎａｌ　ｏｆ　Ｃｈｉｎｅｓｅ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｐｒｏｃｅｓｓｉｎｇ，２０１７，３１（２）：８６－９１（ｉｎ　Ｃｈｉｎｅｓｅ）（刘冰洋，伍大勇，刘欣然等．融合全局词语边界特征的中文命名实体识别方法．中文信息学报，２０１７，３１（２）：８６－９１）［２１］ Ｍｅｎｇ　Ｙ，Ｌｉ　Ｘ，Ｓｕｎ　Ｘ，ｅｔ　ａｌ．Ｉｓ　ｗｏｒｄ　ｓｅｇｍｅｎｔａｔｉｏｎ　ｎｅｃｅｓｓａｒｙｆｏｒ　ｄｅｅｐ　ｌｅａｒｎｉｎｇ　ｏｆ　Ｃｈｉｎｅｓｅ　ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ？／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆｔｈｅ　５７ｔｈ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｆ　ｔｈｅ　Ａｓｓｏｃｉａｔｉｏｎ　ｆｏｒ　ＣｏｍｐｕｔａｔｉｏｎａｌＬｉｎｇｕｉｓｔｉｃｓ．Ｆｌｏｒｅｎｃｅ，Ｉｔａｌｙ，２０１９：３２４２－３２５２［２２］ Ｌｉ　Ｈ，Ｈａｇｉｗａｒａ　Ｍ，Ｌｉ　Ｑ，ｅｔ　ａｌ．Ｃｏｍｐａｒｉｓｏｎ　ｏｆ　ｔｈｅ　ｉｍｐａｃｔ　ｏｆｗｏｒｄ　ｓｅｇｍｅｎｔａｔｉｏｎ　ｏｎ　ｎａｍｅ　ｔａｇｇｉｎｇ　ｆｏｒ　Ｃｈｉｎｅｓｅ　ａｎｄ　Ｊａｐａｎｅｓｅ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　９ｔｈ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　ＬａｎｇｕａｇｅＲｅｓｏｕｒｃｅｓ　ａｎｄ　Ｅｖａｌｕａｔｉｏｎ．Ｒｅｙｋｊａｖｉｋ，Ｉｃｅｌａｎｄ，２０１４：２５３２－２５３６［２３］ Ｈａｒｒｉｓ　Ｚ　Ｓ．Ｄｉｓｔｒｉｂｕｔｉｏｎａｌ　ｓｔｒｕｃｔｕｒｅ．Ｗｏｒｄ，１９５４，１０（２－３）：１４６－１６２［２４］ Ｍｉｋｏｌｏｖ　Ｔ，Ｓｕｔｓｋｅｖｅｒ　Ｉ，Ｃｈｅｎ　Ｋ，ｅｔ　ａｌ．Ｄｉｓｔｒｉｂｕｔｅｄ　ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ　ｏｆ　ｗｏｒｄｓ　ａｎｄ　ｐｈｒａｓｅｓ　ａｎｄ　ｔｈｅｉｒ　ｃｏｍｐｏｓｉｔｉｏｎａｌｉｔｙ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　Ａｄｖａｎｃｅｓ　ｉｎ　Ｎｅｕｒａｌ　Ｉｎｆｏｒｍａｔｉｏｎ　ＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ．Ｓａｎ　Ｄｉｅｇｏ，ＵＳＡ，２０１３：３１１１－３１１９［２５］ Ｐｅｎｎｉｎｇｔｏｎ　Ｊ，Ｓｏｃｈｅｒ　Ｒ， Ｍａｎｎｉｎｇ　Ｃ　Ｄ．ＧｌｏＶｅ：Ｇｌｏｂａｌｖｅｃｔｏｒｓ　ｆｏｒ　ｗｏｒｄ　ｒｅｐｒｅｓｅｎｔａｔｉｏｎ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　ＥｍｐｉｒｉｃａｌＭｅｔｈｏｄｓ　ｉｎ　Ｎａｔｕｒａｌ　Ｌａｎｇｕａｇｅ　Ｐｒｏｃｅｓｓｉｎｇ （ＥＭＮＬＰ　２０１４）．Ｄｏｈａ，Ｑａｔａｒ，２０１４：１５３２－１５４３［２６］ Ｙａｎｇ　Ｌ，Ｓｕｎ　Ｍ．Ｉｍｐｒｏｖｅｄ　ｌｅａｒｎｉｎｇ　ｏｆ　Ｃｈｉｎｅｓｅ　ｗｏｒｄｅｍｂｅｄｄｉｎｇｓ　ｗｉｔｈ　ｓｅｍａｎｔｉｃ　ｋｎｏｗｌｅｄｇｅ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅＣｈｉｎｅｓｅ　Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｌｉｎｇｕｉｓｔｉｃｓ　ａｎｄ　Ｎａｔｕｒａｌ　ＬａｎｇｕａｇｅＰｒｏｃｅｓｓｉｎｇ　Ｂａｓｅｄ　ｏｎ　Ｎａｔｕｒａｌｌｙ　Ａｎｎｏｔａｔｅｄ　Ｂｉｇ　Ｄａｔａ．Ｇｕａｎｇｚｈｏｕ，Ｃｈｉｎａ，２０１５：１５－２５［２７］ Ｘｕ　Ｊ，Ｌｉｕ　Ｊ，Ｚｈａｎｇ　Ｌ，ｅｔ　ａｌ．Ｉｍｐｒｏｖｅ　Ｃｈｉｎｅｓｅ　ｗｏｒｄｅｍｂｅｄｄｉｎｇｓ　ｂｙ　ｅｘｐｌｏｉｔｉｎｇ　ｉｎｔｅｒｎａｌ　ｓｔｒｕｃｔｕｒｅ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆｔｈｅ　２０１６Ｃｏｎｆｅｒｅｎｃｅ　ｏｆ　ｔｈｅ　Ｎｏｒｔｈ　Ａｍｅｒｉｃａｎ　Ｃｈａｐｔｅｒ　ｏｆ　ｔｈｅＡｓｓｏｃｉａｔｉｏｎ　ｆｏｒ　Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｌｉｎｇｕｉｓｔｉｃｓ：Ｈｕｍａｎ　ＬａｎｇｕａｇｅＴｅｃｈｎｏｌｏｇｉｅｓ．Ｓａｎ　Ｄｉｅｇｏ，ＵＳＡ，２０１６：１０４１－１０５０［２８］ Ｃｈｅｎ　Ｘ，Ｘｕ　Ｌ，Ｌｉｕ　Ｚ，ｅｔ　ａｌ．Ｊｏｉｎｔ　ｌｅａｒｎｉｎｇ　ｏｆ　ｃｈａｒａｃｔｅｒ　ａｎｄｗｏｒｄ　ｅｍｂｅｄｄｉｎｇｓ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　２４ｔｈ　ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｉｎｔ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ．Ｂｕｅｎｏｓ　Ａｉｒｅｓ，Ａｒｇｅｎｔｉｎａ，２０１５：１２３６－１２４２［２９］ Ｙｕ　Ｊ，Ｊｉａｎ　Ｘ，Ｘｉｎ　Ｈ，ｅｔ　ａｌ．Ｊｏｉｎｔ　ｅｍｂｅｄｄｉｎｇｓ　ｏｆ　Ｃｈｉｎｅｓｅｗｏｒｄｓ，ｃｈａｒａｃｔｅｒｓ，ａｎｄ　ｆｉｎｅ－ｇｒａｉｎｅｄ　ｓｕｂｃｈａｒａｃｔｅｒ　ｃｏｍｐｏｎｅｎｔｓ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　２０１７Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｅｍｐｉｒｉｃａｌ　Ｍｅｔｈｏｄｓｉｎ　Ｎａｔｕｒａｌ　Ｌａｎｇｕａｇｅ　Ｐｒｏｃｅｓｓｉｎｇ．Ｃｏｐｅｎｈａｇｅｎ，Ｄｅｎｍａｒｋ，２０１７：２８６－２９１［３０］ Ｃａｏ　Ｓ，Ｌｕ　Ｗ，Ｚｈｏｕ　Ｊ，ｅｔ　ａｌ．ｃｗ２ｖｅｃ：Ｌｅａｒｎｉｎｇ　Ｃｈｉｎｅｓｅ　ｗｏｒｄｅｍｂｅｄｄｉｎｇｓ　ｗｉｔｈ　ｓｔｒｏｋｅ　ｎ－ｇｒａｍ　ｉｎｆｏｒｍａｔｉｏｎ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆｔｈｅ　３２ｎｄ　ＡＡＡＩ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ．ＮｅｗＯｒｌｅａｎｓ，ＵＳＡ，２０１８：５０５３－５０６１［３１］ Ｌｉｕ　Ｐ，Ｑｉｕ　Ｘ，Ｈｕａｎｇ　Ｘ．Ａｄｖｅｒｓａｒｉａｌ　ｍｕｌｔｉ－ｔａｓｋ　ｌｅａｒｎｉｎｇ　ｆｏｒｔｅｘｔ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　５５ｔｈ　Ａｎｎｕａｌ　Ｍｅｅｔｉｎｇｏｆ　ｔｈｅ　Ａｓｓｏｃｉａｔｉｏｎ　ｆｏｒ　Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｌｉｎｇｕｉｓｔｉｃｓ（Ｖｏｌｕｍｅ　１：Ｌｏｎｇ　Ｐａｐｅｒｓ）．Ｖａｎｃｏｕｖｅｒ，Ｃａｎａｄａ，２０１７：１－１０［３２］ Ｚｈａｏ　Ｓ，Ｌｉｕ　Ｔ，Ｚｈａｏ　Ｓ，ｅｔ　ａｌ．Ａ　ｎｅｕｒａｌ　ｍｕｌｔｉ－ｔａｓｋ　ｌｅａｒｎｉｎｇｆｒａｍｅｗｏｒｋ　ｔｏ　ｊｏｉｎｔｌｙ　ｍｏｄｅｌ　ｍｅｄｉｃａｌ　ｎａｍｅｄ　ｅｎｔｉｔｙ　ｒｅｃｏｇｎｉｔｉｏｎａｎｄ　ｎｏｒｍａｌｉｚａｔｉｏｎ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　ＡＡＡＩ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎＡｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ．Ｈｏｎｏｌｕｌｕ，ＵＳＡ，２０１９：８１７－８２４［３３］ Ｃｒｉｃｈｔｏｎ　Ｇ，Ｐｙｙｓａｌｏ　Ｓ，Ｃｈｉｕ　Ｂ，ｅｔ　ａｌ．Ａ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋｍｕｌｔｉ－ｔａｓｋ　ｌｅａｒｎｉｎｇ　ａｐｐｒｏａｃｈ　ｔｏ　ｂｉｏｍｅｄｉｃａｌ　ｎａｍｅｄ　ｅｎｔｉｔｙｒｅｃｏｇｎｉｔｉｏｎ．ＢＭＣ　Ｂｉｏｉｎｆｏｒｍａｔｉｃｓ，２０１７，１８（１）：３６８［３４］ Ｃｈｅ　Ｗ，Ｌｉｕ　Ｙ，Ｗａｎｇ　Ｙ，ｅｔ　ａｌ．Ｔｏｗａｒｄｓ　ｂｅｔｔｅｒ　ＵＤ　ｐａｒｓｉｎｇ：Ｄｅｅｐ　ｃｏｎｔｅｘｔｕａｌｉｚｅｄ　ｗｏｒｄ　ｅｍｂｅｄｄｉｎｇｓ，ｅｎｓｅｍｂｌｅ，ａｎｄ　Ｔｒｅｅｂａｎｋｃｏｎｃａｔｅｎａｔｉｏｎ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　ＣｏＮＬＬ　２０１８Ｓｈａｒｅｄ　Ｔａｓｋ：Ｍｕｌｔｉｌｉｎｇｕａｌ　Ｐａｒｓｉｎｇ　ｆｒｏｍ　Ｒａｗ　Ｔｅｘｔ　ｔｏ　Ｕｎｉｖｅｒｓａｌ　Ｄｅｐｅｎｄｅｎｃｉｅｓ．Ｂｒｕｓｓｅｌｓ，Ｂｅｌｇｉｕｍ，２０１８：５５－６４［３５］ Ｂｅｒｇｓｔｒａ　Ｊ，Ｂｅｎｇｉｏ　Ｙ．Ｒａｎｄｏｍ　ｓｅａｒｃｈ　ｆｏｒ　ｈｙｐｅｒ－ｐａｒａｍｅｔｅｒｏｐｔｉｍｉｚａｔｉｏｎ．Ｊｏｕｒｎａｌ　ｏｆ　Ｍａｃｈｉｎｅ　Ｌｅａｒｎｉｎｇ　Ｒｅｓｅａｒｃｈ，２０１２，１３（２）：２８１－３０５［３６］ Ｐｒｅｃｈｅｌｔ　Ｌ．Ａｕｔｏｍａｔｉｃ　ｅａｒｌｙ　ｓｔｏｐｐｉｎｇ　ｕｓｉｎｇ　ｃｒｏｓｓ　ｖａｌｉｄａｔｉｏｎ：ｑｕａｎｔｉｆｙｉｎｇ　ｔｈｅ　ｃｒｉｔｅｒｉａ．Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ，１９９８，１１（４）：７６１－７６７［３７］ Ｈｕ　Ｊ，Ｓｈｉ　Ｘ，Ｌｉｕ　Ｚ，ｅｔ　ａｌ．ＨＩＴＳＺ＿ＣＮＥＲ：Ａ　ｈｙｂｒｉｄ　ｓｙｓｔｅｍｆｏｒ　ｅｎｔｉｔｙ　ｒｅｃｏｇｎｉｔｉｏｎ　ｆｒｏｍ　Ｃｈｉｎｅｓｅ　ｃｌｉｎｉｃａｌ　ｔｅｘｔ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ　ｔｈｅ　Ｅｖａｌｕａｔｉｏｎ　Ｔａｓｋｓ　ａｔ　ｔｈｅ　Ｃｈｉｎａ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　ＫｎｏｗｌｅｄｇｅＧｒａｐｈ　ａｎｄ　Ｓｅｍａｎｔｉｃ　Ｃｏｍｐｕｔｉｎｇ（ＣＣＫＳ　２０１７）．Ｃｈｅｎｇｄｕ，Ｃｈｉｎａ，２０１７：１－６［３８］ Ｌｕｏ　Ｌ，Ｌｉ　Ｎ，Ｌｉ　Ｓ，ｅｔ　ａｌ．ＤＵＴＩＲ　ａｔ　ｔｈｅ　ＣＣＫＳ－２０１８Ｔａｓｋ１：Ａ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　ｅｎｓｅｍｂｌｅ　ａｐｐｒｏａｃｈ　ｆｏｒ　Ｃｈｉｎｅｓｅ　ｃｌｉｎｉｃａｌｎａｍｅｄ　ｅｎｔｉｔｙ　ｒｅｃｏｇｎｉｔｉｏｎ／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　ＥｖａｌｕａｔｉｏｎＴａｓｋｓ　ａｔ　ｔｈｅ　Ｃｈｉｎａ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｋｎｏｗｌｅｄｇｅ　Ｇｒａｐｈ　ａｎｄＳｅｍａｎｔｉｃ　Ｃｏｍｐｕｔｉｎｇ（ＣＣＫＳ　２０１８）．Ｔｉａｎｊｉｎ，Ｃｈｉｎａ，２０１８：１－６１９５６ 计　　算　　机　　学　　报 ２０２０年ＬＵＯ　Ｌｉｎｇ，Ｐｈ．Ｄ．ｃａｎｄｉｄａｔｅ．Ｈｉｓｍａｉｎ　ｒｅｓｅａｒｃｈ　ｉｎｔｅｒｅｓｔｓ　ｉｎｃｌｕｄｅ　ｂｉｏｍｅｄｉｃａｌｔｅｘｔ　ｍｉｎｉｎｇ，ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ　ａｎｄ　ｎａｔｕｒａｌｌａｎｇｕａｇｅ　ｐｒｏｃｅｓｓｉｎｇ．ＹＡＮＧ　Ｚｈｉ－Ｈａｏ，Ｐｈ．Ｄ．，ｐｒｏｆｅｓｓｏｒ．Ｈｉｓ　ｍａｉｎ　ｒｅｓｅａｒｃｈｉｎｔｅｒｅｓｔｓ　ｉｎｃｌｕｄｅ　ｔｅｘｔ　ｍｉｎｉｎｇ，ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ　ａｎｄ　ｎａｔｕｒａｌｌａｎｇｕａｇｅ　ｐｒｏｃｅｓｓｉｎｇ．ＳＯＮＧ　Ｙａ－Ｗｅｎ，Ｍ．Ｓ．ｃａｎｄｉｄａｔｅ．Ｈｅｒ　ｍａｉｎ　ｒｅｓｅａｒｃｈｉｎｔｅｒｅｓｔ　ｉｓ　ｂｉｏｍｅｄｉｃａｌ　ｔｅｘｔ　ｍｉｎｉｎｇ．ＬＩ　Ｎａｎ，Ｐｈ．Ｄ．ｃａｎｄｉｄａｔｅ．Ｈｅｒ　ｍａｉｎ　ｒｅｓｅａｒｃｈ　ｉｎｔｅｒｅｓｔｓｉｎｃｌｕｄｅ　ｂｉｏｍｅｄｉｃａｌ　ｔｅｘｔ　ｍｉｎｉｎｇ　ａｎｄ　ｋｎｏｗｌｅｄｇｅ　ｇｒａｐｈ．ＬＩＮ　Ｈｏｎｇ－Ｆｅｉ，Ｐｈ．Ｄ．，ｐｒｏｆｅｓｓｏｒ．Ｈｉｓ　ｍａｉｎ　ｒｅｓｅａｒｃｈｉｎｔｅｒｅｓｔｓ　ｉｎｃｌｕｄｅ　ｓｅａｒｃｈ　ｅｎｇｉｎｅ，ｔｅｘｔ　ｍｉｎｉｎｇ，ｓｅｎｔｉｍｅｎｔａｎａｌｙｓｉｓ　ａｎｄ　ｎａｔｕｒａｌ　ｌａｎｇｕａｇｅ　ｐｒｏｃｅｓｓｉｎｇ．ＢａｃｋｇｒｏｕｎｄＴｈｅ　ｔａｓｋ　ｗｅ　ｈａｖｅ　ｓｔｕｄｉｅｄ　ｉｎ　ｔｈｉｓ　ｐａｐｅｒ　ｉｓ　Ｃｈｉｎｅｓｅ　ｃｌｉｎｉｃａｌｎａｍｅｄ　ｅｎｔｉｔｙ　ｒｅｃｏｇｎｉｔｉｏｎ （ＣＮＥＲ）ｗｈｉｃｈ　ｉｓ　ｉｎ　ｔｈｅ　ａｒｅａ　ｏｆｂｉｏｍｅｄｉｃａｌ　ｔｅｘｔ　ｍｉｎｉｎｇ．Ｔｈｅ　Ｃｈｉｎｅｓｅ　ＣＮＥＲ　ｔａｓｋ　ａｉｍｓ　ｔｏｉｄｅｎｔｉｆｙ　ａｎｄ　ｅｘｔｒａｃｔ　ｔｈｅ　ｒｅｌａｔｅｄ　ｍｅｄｉｃａｌ　ｃｌｉｎｉｃａｌ　ｅｎｔｉｔｉｅｓ（ｅ．ｇ．，ａｎａｔｏｍｙ，ｓｙｍｐｔｏｍ，ｉｎｄｅｐｅｎｄｅｎｔ　ｓｙｍｐｔｏｍ，ｄｒｕｇ　ａｎｄ　ｏｐｅｒａｔｉｏｎ）ｆｒｏｍ　Ｃｈｉｎｅｓｅ　ｃｌｉｎｉｃａｌ　ｔｅｘｔ．Ｍｏｓｔ　ｏｆ　ｔｈｅｓｅ　ｅｘｉｓｔｉｎｇ　ＣｈｉｎｅｓｅＮＥＲ　ｗｏｒｋｓ　ｏｆｔｅｎ　ｆｏｌｌｏｗ　ｔｈｅ　Ｅｎｇｌｉｓｈ　ｐｒｏｃｅｓｓｉｎｇ　ｍｅｔｈｏｄｓ．Ｉｎａｄｄｉｔｉｏｎ，ｔｈｅ　ｅｘｉｓｔｉｎｇ　Ｃｈｉｎｅｓｅ　ＣＮＥＲ　ｄａｔａｓｅｔ　ｓｉｚｅ　ｉｓ　ｓｍａｌｌ，ａｎｄ　ｍｅｄｉｃａｌ　ｅｎｔｉｔｙ　ａｎｎｏｔａｔｉｏｎ　ｒｅｑｕｉｒｅｓ　ｍｅｄｉｃａｌ　ｂａｃｋｇｒｏｕｎｄｋｎｏｗｌｅｄｇｅ，ｗｈｉｃｈ　ｉｓ　ｔｉｍｅ－ｃｏｎｓｕｍｉｎｇ　ａｎｄ　ｌａｂｏｒ－ｉｎｔｅｎｓｉｖｅ．Ｉｎｔｈｉｓ　ｐａｐｅｒ，ｗｅ　ｐｒｏｐｏｓｅ　ａ　Ｃｈｉｎｅｓｅ　ＣＮＥＲ　ｍｅｔｈｏｄ　ｂａｓｅｄ　ｏｎｓｔｒｏｋｅ　ＥＬＭｏ　ａｎｄ　ｍｕｌｔｉ－ｔａｓｋ　ｌｅａｒｎｉｎｇ．Ｍｏｒｅｏｖｅｒ，ｔｈｅ　ｅｆｆｅｃｔｓｏｆ　ｃｏｍｍｏｎ　ＮＥＲ　ｆｅａｔｕｒｅｓ　ａｎｄ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　ｍｏｄｅｌｓ　ｗｅｒｅｉｎｖｅｓｔｉｇａｔｅｄ　ｆｏｒ　ｔｈｅ　Ｃｈｉｎｅｓｅ　ｃｌｉｎｉｃａｌ　ｅｎｔｉｔｙ　ｒｅｃｏｇｎｉｔｉｏｎ　ｔａｓｋ．Ｔｈｅ　ｅｘｐｅｒｉｍｅｎｔａｌ　ｒｅｓｕｌｔｓ　ｓｈｏｗ　ｔｈａｔ　ｔｈｅ　ＢｉＬＳＴＭ－ＣＲＦ　ｍｏｄｅｌｏｕｔｐｅｒｆｏｒｍｓ　ｔｈｅ　ＣＮＮ－ＣＲＦ　ｍｏｄｅｌ．Ｗｈｅｎ　ｏｕｒ　ｓｔｒｏｋｅ　ＥＬＭｏｉｓ　ａｄｄｅｄ，ｔｈｅ　ＢｉＬＳＴＭ－ＣＲＦ　ｍｏｄｅｌ　ｃａｎ　ａｃｈｉｅｖｅ　ａｎ　ａｖｅｒａｇｅｉｍｐｒｏｖｅｍｅｎｔ　ｏｆ　１．０１％ ｉｎ　Ｆ－ｓｃｏｒｅ　ｏｎ　ｂｏｔｈ　ｄａｔａｓｅｔｓ．Ｍｏｒｅｏｖｅｒ，ｔｈｅ　ａｄｄｉｔｉｏｎａｌ　ＮＥＲ　ｆｅａｔｕｒｅｓ　ｃａｎ　ｆｕｒｔｈｅｒ　ｉｍｐｒｏｖｅｔｈｅ　ｐｅｒｆｏｒｍａｎｃｅ．Ｏｕｒ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　ｍｏｄｅｌ　ｂａｓｅｄ　ｏｎ　ｓｔｒｏｋｅＥＬＭｏ　ａｎｄ　ｍｕｌｔｉ－ｔａｓｋ　ｌｅａｒｎｉｎｇ　ａｃｈｉｅｖｅｓ　ｔｈｅ　ｓｔａｔｅ－ｏｆ－ｔｈｅ－ａｒｔｒｅｓｕｌｔｓ　ｏｎ　ｔｈｅ　ＣＣＫＳ１７ａｎｄ　ＣＣＫＳ１８ＣＮＥＲ　ｄａｔａｓｅｔｓ （ｔｈｅＦ－ｓｃｏｒｅｓ　ｏｆ　９１．７５％ａｎｄ　９０．０５％，ｒｅｓｐｅｃｔｉｖｅｌｙ）．Ｔｈｉｓ　ｗｏｒｋ　ｉｓ　ｓｕｐｐｏｒｔｅｄ　ｂｙ　ｔｈｅ　Ｎａｔｉｏｎａｌ　Ｋｅｙ　Ｒｅｓｅａｒｃｈａｎｄ　Ｄｅｖｅｌｏｐｍｅｎｔ　Ｐｒｏｇｒａｍ　ｏｆ　Ｃｈｉｎａ（Ｎｏ．２０１６ＹＦＣ０９０１９００）．Ｉｔ　ｆｏｃｕｓｅｓ　ｏｎ　Ｃｈｉｎｅｓｅ　ＣＮＥＲ，ｗｈｉｃｈ　ｉｓ　ａ　ｐａｒｔ　ｏｆ　ｋｅｙ　ｔｅｃｈｎｏｌｏｇｉｅｓａｎｄ　ｓｙｓｔｅｍｓ　ｆｏｒ　ｍｅｄｉｃａｌ　ｉｎｆｏｒｍａｔｉｏｎ　ｅｘｔｒａｃｔｉｏｎ．Ｔｈｉｓ　ｒｅｓｅａｒｃｈｐｒｏｊｅｃｔ　ａｉｍｓ　ａｔ　ｂｕｉｌｄｉｎｇ　ａｐｒｅｃｉｓｉｏｎ　ｍｅｄｉｃｉｎｅ　ｋｎｏｗｌｅｄｇｅｂａｓｅａｐｐｌｉｃａｔｉｏｎ　ｐｌａｔｆｏｒｍ，ｗｈｉｃｈ　ｉｎｃｌｕｄｅｓ　ｔｈｅ　ｉｎｆｏｒｍａｔｉｏｎ　ｆｒｏｍｂｉｏｌｏｇｉｃａｌ　ｍｏｌｅｃｕｌａｒ，ｈｕｍａｎ　ｄｉｓｅａｓｅ，ｐｈｅｎｏｔｙｐｅ，ｄｒｕｇｓ，ｅｔｃ．Ａｎｄ　ｉｔ　ｗｉｌｌ　ｓｕｐｐｏｒｔ　ｆｕｎｃｔｉｏｎｓ　ｏｆ　ｒｅｔｒｉｅｖａｌ　ｂｙ　ｖａｒｉｏｕｓｂｉｏｍｅｄｉｃａｌ　ｔｅｒｍｓ，ｗｏｒｋｆｌｏｗ　ａｎａｌｙｓｅｓ　ｆｏｒ　ｏｍｉｃｓ　ｄａｔａｓｅｔｓ　ａｎｄｔｈｅ　ｉｎｔｅｌｌｉｇｅｎｔ　ｋｎｏｗｌｅｄｇｅ　ｄｉｓｃｏｖｅｒｙ．１０期 罗　凌等：基于笔画ＥＬＭｏ和多任务学习的中文电子病历命名实体识别研究 １９５７