计算机研究与发展ＤＯＩ：１０．７５４４?ｉｓｓｎ１０００－１２３９．２０１５．２０１４０６８３Ｊｏｕｒｎａｌ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｒｅｓｅａｒｃｈ　ａｎｄ　Ｄｅｖｅｌｏｐｍｅｎｔ　５２（９）：２１３５－２１４４，２０１５　收稿日期：２０１４－０７－２５；修回日期：２０１４－１２－１６　基金项目：国家自然科学基金项目（８１３７３８８３）；广东省自然科学基金项目（Ｓ２０１３０４００１２８９８）；广东省省级科技计划基金项目（２０１３Ｂ０１０４０４０１９）一种病理图像自动标注的机器学习方法张　钢　钟　灵　黄永慧（广东工业大学自动化学院　广州　５１０００６）（ｉｐｘ＠ｇｄｕｔ．ｅｄｕ．ｃｎ）Ａ　Ｍａｃｈｉｎｅ　Ｌｅａｒｎｉｎｇ　Ｍｅｔｈｏｄ　ｆｏｒ　Ｈｉｓｔｏｐａｔｈｏｌｏｇｉｃａｌ　Ｉｍａｇｅ　Ａｕｔｏｍａｔｉｃ　ＡｎｎｏｔａｔｉｏｎＺｈａｎｇ　Ｇａｎｇ，Ｚｈｏｎｇ　Ｌｉｎｇ，ａｎｄ　Ｈｕａｎｇ　Ｙｏｎｇｈｕｉ（Ｓｃｈｏｏｌ　ｏｆ　Ａｕｔｏｍａｔｉｏｎ，Ｇｕａｎｇｄｏｎｇ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｔｅｃｈｎｏｌｏｇｙ，Ｇｕａｎｇｚｈｏｕ５１０００６）Ａｂｓｔｒａｃｔ　Ｈｉｓｔｏｐａｔｈｏｌｏｇｉｃａｌ　ｉｍａｇｅ　ｃａｎ　ｒｅｖｅａｌ　ｔｈｅ　ｒｅａｓｏｎ　ａｎｄ　ｓｅｖｅｒｉｔｙ　ｏｆ　ｄｉｓｅａｓｅｓ，ｗｈｉｃｈ　ｉｓ　ｉｍｐｏｒｔａｎｔｆｏｒ　ｃｌｉｎｉｃａｌ　ｄｉａｇｎｏｓｉｓ．Ａｕｔｏｍａｔｉｃ　ａｎａｌｙｓｉｓ　ｏｆ　ｈｉｓｔｏｐａｔｈｏｌｏｇｉｃａｌ　ｉｍａｇｅ　ｍａｙ　ｒｅｌｅａｓｅ　ｄｏｃｔｏｒｓ　ｂｕｒｄｅｎ　ｆｏｒｍａｎｕａｌ　ａｎｎｏｔａｔｉｏｎ　ｗｈｉｃｈ　ｃａｎ　ｐｒｅｓｅｒｖｅ　ｍｏｒｅ　ｔｉｍｅ　ｆｏｒ　ｄｏｃｔｏｒｓ　ｔｏ　ｆｏｃｕｓ　ｏｎ　ｓｐｅｃｉａｌ　ａｎｄ　ｄｉｆｆｉｃｕｌｔ　ｃａｓｅｓ．Ｈｏｗｅｖｅｒ，ｔｈｅ　ａｍｂｉｇｕｏｕｓ　ｒｅｌａｔｉｏｎｓｈｉｐ　ｂｅｔｗｅｅｎ　ｌｏｃａｌ　ｒｅｇｉｏｎｓ　ｉｎ　ａ　ｈｉｓｔｏｐａｔｈｏｌｏｇｉｃａｌ　ｉｍａｇｅ　ａｎｄｈｉｓｔｏｐａｔｈｏｌｏｇｉｃａｌ　ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ　ｍａｋｅｓ　ｉｔ　ｄｉｆｆｉｃｕｌｔ　ｔｏ　ｃｏｎｓｔｒｕｃｔ　ａ　ｃｏｍｐｕｔｅｒ－ａｉｄ　ｍｏｄｅｌ．Ａｎ　ａｕｔｏｍａｔｉｃａｎｎｏｔａｔｉｏｎ　ｍｅｔｈｏｄ　ｆｏｒ　ｈｉｓｔｏｐａｔｈｏｌｏｇｉｃａｌ　ｉｍａｇｅｓ　ｂａｓｅｄ　ｏｎ　ｍｕｌｔｉｐｌｅ－ｉｎｓｔａｎｃｅ　ｍｕｌｔｉｐｌｅ－ｌａｂｅｌ（ＭＩＭＬ）ｌｅａｒｎｉｎｇ　ｉｓ　ｐｒｏｐｏｓｅｄ，ａｉｍｉｎｇ　ａｔ　ｄｉｒｅｃｔｌｙ　ｍｏｄｅｌｉｎｇ　ｔｈｅ　ｍｅｄｉｃａｌ　ｅｘｐｅｒｉｅｎｃｅ　ｏｆ　ｄｏｃｔｏｒｓ，ｗｈｉｃｈ　ｓｕｇｇｅｓｔｓｔｈａｔ　ｅａｃｈ　ａｎｎｏｔａｔｅｄ　ｔｅｒｍ　ａｓｓｏｃｉａｔｅｄ　ｗｉｔｈ　ａｎ　ｉｍａｇｅ　ｃｏｒｒｅｓｐｏｎｄｓ　ｔｏ　ａ　ｌｏｃａｌ　ｖｉｓｕａｌｌｙ　ｒｅｃｏｇｎｉｚｅｄ　ｒｅｇｉｏｎ．Ｗｅ　ｐｒｏｐｏｓｅ　ａ　ｓｅｌｆ－ａｄａｐｔｉｖｅ　ｒｅｇｉｏｎ　ｃｕｔｔｉｎｇ　ｍｅｔｈｏｄ　ｗｉｔｈ　ｃｏｎｓｔｒａｉｎｔｓ，ｔｏ　ｓｅｇｍｅｎｔ　ｅａｃｈ　ｉｍａｇｅ　ｉｎｔｏ　ｓｅｖｅｒａｌｖｉｓｕａｌｌｙ　ｄｉｓｊｏｉｎｔ　ｒｅｇｉｏｎｓ，ａｎｄ　ｔｈｅｎ　ｐｅｒｆｏｒｍ　ａ　ｆｅａｔｕｒｅ　ｅｘｔｒａｃｔｉｏｎ　ｆｏｒ　ｅａｃｈ　ｇｅｎｅｒａｔｅｄ　ｒｅｇｉｏｎ　ｂａｓｅｄ　ｏｎｔｅｘｔｕｒｅ　ａｎｄ　ｉｎｎｅｒ　ｓｔｒｕｃｔｕｒｅｓ．Ｔｈｅ　ｗｈｏｌｅ　ｉｍａｇｅ　ｉｓ　ｒｅｇａｒｄｅｄ　ａｓ　ａ　ｂａｇ　ａｎｄ　ｒｅｇｉｏｎｓ　ａｓ　ｉｎｓｔａｎｃｅｓ，ｔｈｕｓ　ａｎｉｍａｇｅ　ｉｓ　ｅｘｐｒｅｓｓｅｄ　ａｓ　ａ　ｍｕｌｔｉｐｌｅ－ｉｎｓｔａｎｃｅ　ｓａｍｐｌｅ．Ｔｈｅｎ　ｗｅ　ｐｒｏｐｏｓｅ　ａ　ｓｐａｒｓｅ　ｅｎｓｅｍｂｌｅ　ｍｕｌｔｉｐｌｅｉｎｓｔａｎｃｅ　ｍｕｌｔｉｐｌｅ－ｌａｂｅｌ　ｌｅａｒｎｉｎｇ　ａｌｇｏｒｉｔｈｍ，Ｓ－ＭＩＭＬＧＰ，ｂａｓｅｄ　ｏｎ　Ｂａｙｅｓｉａｎ　ｌｅａｒｎｉｎｇ，ａｎｄ　ｃｏｍｐａｒｅ　ｉｔｗｉｔｈ　ｃｕｒｒｅｎｔ　ｍｕｌｔｉｐｌｅ－ｉｎｓｔａｎｃｅ　ｓｉｎｇｌｅ　ｌａｂｅｌ　ａｎｄ　ｍｕｌｔｉｐｌｅ－ｉｎｓｔａｎｃｅ　ｍｕｌｔｉｐｌｅ－ｌａｂｅｌ　ａｌｇｏｒｉｔｈｍｓ．Ｔｈｅｅｖａｌｕａｔｉｏｎ　ｏｎ　ａ　ｃｌｉｎｉｃａｌ　ｄａｔａｓｅｔ　ｆｒｏｍ　ｔｈｅ　ｄｅｒｍａｔｏｌｏｇｙ　ｏｆ　ａ　ｌａｒｇｅ　ｌｏｃａｌ　ｈｏｓｐｉｔａｌ　ｓｈｏｗｓ　ｔｈａｔ　ｔｈｅ　ｐｒｏｐｏｓｅｄｍｅｔｈｏｄ　ｃａｎ　ｙｉｅｌｄ　ｍｅｄｉｃａｌｌｙ　ａｃｃｅｐｔａｂｌｅ　ａｎｎｏｔａｔｉｏｎ　ａｃｃｕｒａｃｙ，ｈｅｎｃｅ　ｉｎｄｉｃａｔｅｓ　ｉｔｓ　ｅｆｆｅｃｔｉｖｅｎｅｓｓ．Ｋｅｙ　ｗｏｒｄｓ　ｈｉｓｔｏｐａｔｈｏｌｏｇｉｃａｌ　ｉｍａｇｅ　ａｎｎｏｔａｔｉｏｎ；ｈｉｓｔｏｐａｔｈｏｌｏｇｉｃａｌ　ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ　ｒｅｃｏｇｎｉｔｉｏｎ；ｍｕｌｔｉｐｌｅｉｎｓｔａｎｃｅ　ｍｕｌｔｉｐｌｅ－ｌａｂｅｌ　ｌｅａｒｎｉｎｇ；ｎｏｒｍａｌｉｚｅｄ　ｃｕｔ；ｉｍａｇｅ　ｆｅａｔｕｒｅ　ｅｘｔｒａｃｔｉｏｎ摘　要　病理图像能够揭示疾病的原因及严重程度，在临床诊断中有重要应用．病理图像中局部区域与病理特性之间不明确的对应关系为建立计算机辅助诊断模型带来了困难．基于全局图像特征表达和等分小块等方法难以有效表达病理特性的局部性．提出一种基于多示例多标签学习的活检病理图像自动标注框架，对病理特性的局部性进行表达．通过带区域约束条件的分割算法把病理图像划分为若干视觉上不连续的区域，对区域进行基于纹理和内部结构的特征提取，把病理图像转化为多示例样本，在此基础上提出一种基于贝叶斯学习的多示例多标签稀疏集成算法．在本地大型三甲医院的皮肤科活检样本数据集上进行方法有效性评估，结果表明该方法能得到医学上可接受的标注准确率，从而说明其有效性．关键词　病理图像标注；病理特性识别；多示例多标签学习；标准分割；图像特征提取中图法分类号　ＴＰ３９１．４１　　病理图像是对患者病变部位的组织进行切片，在显微镜下进行放大成像得到的图像［１］．由于病理图像直接反映出组织内部所发生的病变，是医生进行疾病诊断的重要依据，甚至是进行某些疾病诊断的最终依据．例如在癌症的诊断中，通过对病灶的放射影像学图像进行观察，包括观察是否有阴影、斑块、血管的扩张情况等以及运用血液化验手段可以得出初步的诊断，但要最后确诊必须进行活检，即提取病灶的活体组织进行显微镜下观察以确定其病理特性［２］．随着病人数量的日益增加和对疾病准确诊断率的更高要求，病理检查特别是对其显微图像的分析数量成倍增加，导致了病理实验室专家的工作量增加，需要增加更多人员、设备来应对更大量的组织病理学分析需求；大量的一般性病理图像特性识别和诊断花费医生大量精力，使其难以对一些特殊病例花更多精力进行判断；此外，分析病理学图像需要相当专业的知识及丰富的经验，受到读片者当时状态的影响，导致诊断结果不稳定、不能重现甚至在日后转诊时出现相反诊断的情况，对于病人来说具有巨大的风险［３］．若能利用计算机辅助系统分担部分病理图像分析工作，在当前医疗资源如此紧张的情况下具有重要意义［４］．本文提出一个基于机器学习理论的病理图像自动特性标注的方法，其可行性基于以下２点分析：１）对病理实验室医生的诊断经验分析发现，活检图像的标注有一定的规律性．这种规律对不同的病理特性在活检图像的特定部位上表现出相似的图像特征，包括颜色、纹理、内部结构等．这种规律性结合医生的临床诊断经验，使其能对活检图像进行正确的特性标注．２）对病理特性进行描述的标注词（述语）是统一的，可以使用编程的手段在医生对以往活检图像的镜下诊断文本描述中准确提取出与该活检图像对应的特性描述词．基于第１点，使用恰当的图像特征提取方式，选择适当的机器学习模型，就可以在历史数据中学习到病理学专家这种很难直观表达出来的标注规律．由于在医生的诊断记录中，文本表述的镜下诊断是和活检图像相关联的，基于第２点，通过程序的方式可以从镜下诊断中得到病理特性的标注项，可以直接建立训练数据集．图１展示了一个皮肤病理图像及其镜下诊断的例子，其中标准的病理特性描述词用下划线并加粗标出．Ｆｉｇ．１　Ｓｋｉｎ　ｂｉｏｐｓｙ　ｉｍａｇｅｓ　ａｎｄ　ｔｈｅｉｒ　ｄｉａｇｎｏｓｉｓ　ｔｈｒｏｕｇｈｍｉｃｒｏｓｃｏｐｉｃ．图１　皮肤活检图像及其镜下诊断同时也注意到，自动标注病理图像至少有以下２个挑战：１）医生的镜下诊断是一段文本描述，根据医学经验，每个标注词实际上描述了病理图像中某个局部的特性，但医生会根据看到的整幅图像的情况直接写出镜下诊断，不会给出标注词与某个局部区域之间的对应关系．图２展示了一幅后期手工标出了区域和标注词之间对应关系的活检图像．图２中：Ａ代表“角囊肿”；Ｂ 代表“角化过度”；Ｃ 代表“淋巴细胞浸润”；Ｄ 代表“乳头瘤样增生”．　Ｆｉｇ．２　Ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ　ｂｅｔｗｅｅｎ　ｌｏｃａｌ　ｒｅｇｉｏｎｓ　ａｎｄａｎｎｏｔａｔｉｏｎ　ｔｅｒｍｓ．图２　局部区域与标注词之间的对应关系２）即使多幅图像均被标注了同一个标注词，它们之间也可能有极大的差异，这种差异可能反映在颜色、区域大小、形状等方面，对构建学习器是极大的挑战．对于第１个挑战，解决的关键在于理解医生对于活检图像进行标注时的思维活动过程，我们认为医生对图像的标注实质上是对图像的可辨区域进行２１３６ 计算机研究与发展　２０１５，５２（９）识别后根据经验对某些区域标注上特性，其中可辨区域是指有显著边界且连续的图像局部．对一幅病理图像的标注，可以先进行视觉上可辨的连续区域的划分，对每个区域进行标注，所有区域的标注结果就是整个图像的标注结果．在这种思路下，病理图像就转化为局部连续可辨区域的集合，而反映病理特性的标注词与整幅图像的局部区域相关．图３展示了对图２所示的活检图像进行可辨区域后，其与标注词之间的对应关系．Ｆｉｇ．３　Ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ　ｂｅｔｗｅｅｎ　ｖｉｓｕａｌ　ｄｉｓｊｏｉｎｔ　ｒｅｇｉｏｎｓａｎｄ　ａｎｎｏｔａｔｉｏｎ　ｔｅｒｍｓ．图３　可辨区域与标注词之间的对应关系图３中的可辨区域是通过标准分割（ｎｏｒｍａｌｉｚｅｄｃｕｔ）［５］所产生的，然后再人工标记出每个区域所包含的标注词（其中的字母含义同图２，Ｄｕｍｍｙ表示该区域不与任何的标注词相关联）．从图３可以看出，病理图像中的某些区域与一个标注词关联，某些区域不与任何的标注词关联，在另外一些情况下有的区域与多个标注词关联，本文提出在多示例学习的框架中解决这个问题．多示例学习是一种特殊的机器学习框架，最早是在分子活性的研究中被提出来的［６］．在多示例学习中，学习样本包含一个或一个以上的示例，而概念标记仅与样本而不是示例相关联．这种关系同样能在病理图像与其局部区域之间反映出来，在多示例学习框架中解决病理特性标注问题是适合的．对于第２个挑战，若能寻找一个最能表达病理特性的图像特征表达方式，就可以很好解决，但这是很困难的．根据我们对医生诊断过程的观察，认为医生在对图像进行标注时考虑了图像纹理、像素密度及其一些特殊的内部结构，因此选择一个对这些特征有良好表达的图像特征表示就能尽可能贴近医生的标注思路．图４展示了本文方法的主要流程．使用标准分割对病理图像进行可辨区域划分；对可辨区域进行提取，表示为一个能覆盖它的最小矩形；对每一个由矩形表示的可辨区域进行特征提取，进而把每幅活检图像表示为一个多示例学习样本；训练学习器模型，把对病理特性的标注问题转化为多示例学习问题求解．Ｆｉｇ．４　Ｍａｉｎ　ｓｔｅｐｓ　ｏｆ　ｔｈｅ　ｐｒｏｐｏｓｅｄ　ｍｅｔｈｏｄ．图４　本文方法的主要步骤１　相关工作在医学图像识别研究中，国内外研究者对医学成像的计算机自动识别进行了大量的研究工作．Ｂｕｎｔｅ等人［７］提出了一种对皮肤表面图像分类的机器学习方法，考虑到皮肤表面图像大多采用基于颜色的特征表示，不同的颜色空间对不同皮肤病的自动识别有不同效果，而不同颜色空间可以通过一个线性变换得到．他们提出对８种不同的颜色空间进行加权，用度量学习的方法学习该权重，使其对当前的训练样本有最好的分类效果，通过加权可以找到一个对当前训练样本集最优的颜色空间表示．但该方法并不适用于一般的病理图像，其原因是病理图像通常被染色，不能单纯通过颜色特征来判断其中的病理特性，而且，病理图像的众多特征之间并不能以线性变换加以联系，这使得难以通过度量学习得到最优的特征表示．张　钢等：一种病理图像自动标注的机器学习方法２１３７在组织病理图像分析领域，出现了一些与本文相关的工作．Ｇｕｒｃａｎ等人［４］对当时组织病理学图像分析的研究状况进行了回顾，认为对组织病理学图像分析应该包含图像的分块、特征提取、模型训练和识别４个步骤，这与本文的处理思路基本一致．但在这篇综述中，并没有包括区域的视觉边界对图像进行分块的思想方法，也没有包括医生对图像识别的思维过程，仅从数字化图像处理的角度进行回顾，本文认为这可能是不够全面的．Ａｎｇｅｌ等人［８］提出一种使用核学习器进行皮肤癌病理图像分类的方法，他们使用了特征袋集（ｂａｇ　ｏｆ　ｆｅａｔｕｒｅｓ）的图像特征表示方法．简单来说，即建立字典（ｃｏｄｅｂｏｏｋ），其中的元素是小块的图像（４×４像素），在元素上记录该元素来源图像的类别．当给出一个测试图像时，先把图像分块，然后查字典，得出该图像中每一小块所属的类别，从而得到一个类别直方图，这样可以直接得到图像的分类结果．这种方法把图像划分为等面积方块，没有考虑病理图像复杂的内部结构，而且直方图的方式表示特征与区域面积相关，这与皮肤病理诊断的寻找特殊结构、纹理的思想方法不完全一致，因此不能解决本研究中复杂的病理图像镜下所见特性的标注问题．Ｌｉ等人［９］提出使用多示例多标签学习模型对果蝇基因模式图像进行自动标注．由于从基因模式图像数据库中得到的图像组与标注词相关联（由基因研究人员标注出），但标注词实质上描述的是某个图像的某个局部．因此在该工作中把一个图像组看作一个多示例样本，把组中每个图像进行分块，所有小块看作示例，标注词看作概念标记，使用多示例多标签学习框架解决此问题．基因模式图像比较简单，且是灰度图像，因此采用分格的示例划分方法是有效的．在该工作中，采用ＳＩＦＴ特征点［１０］的选取作为图像特征表达．这对比较简单的图像较为有效，但活检图像具有丰富的色彩、纹理、内部结构和明显的局部区域边界，不能简单地通过分格方法得到示例表示．２　病理图像区域划分和特征提取２．１　可辨区域划分可辨区域划分是本文工作的一个核心，通过区域划分把图像转化为多示例样本，从而进行多示例学习．如第１节所述，本文通过使用一种对局部区域边界敏感的划分方法得到区域，从而把图像表达为多示例样本，是对医生诊断的思考过程的一个模拟．本文采用带有区域约束条件的标准分割［５］方法把图像划分成连续的局部可辨区域．标准分割是一个图像分割算法，把图像中的每一个像素点看作图的顶点，相邻的像素点所对应的顶点之间有边相连，边的权重是相邻像素点的相似度．形式上，假设图像被表示为图Ｇ＝（Ｖ，Ｅ），标准分割的每一轮寻找当前图的２个顶点集Ｓ，Ｔ，使Ｓ∩Ｔ＝，Ｓ∪Ｔ＝Ｖ，且满足：ｍｉｎ Ｓ，ＴΣ ｕ∈Ｓ，ｖ∈Ｔｗ（ｕ，ｖ）Σ ｕ∈Ｓ，ｒ∈Ｖｗ（ｕ，ｒ）＋Σ ｕ∈Ｓ，ｖ∈Ｔｗ（ｕ，ｖ）Σ ｖ∈Ｔ，ｒ∈Ｖｗ（ｖ，ｒ烄烆烌烎）， （１）其中ｗ（ｕ，ｖ）为边（ｕ，ｖ）的权值，使式（１）值最小的Ｓ，Ｔ 就是一个对当前顶点集的最优划分．求解式（１）所示的优化问题，可转化为求解一个标准的Ｒａｙｌｅｉｇｈ方程［１１］，其求解的时间复杂度是Ｏ（Ｐ×ｋ），其中Ｐ 为图像的像素点个数，ｋ为划分的区域的个数．标准分割算法每次分割的实质是寻找当前待分割区域中最显著的分界线，与本文对局部区域概念的界定相一致，医生通过识别病理图像中的显著边界来确定局部区域，这是本文工作采用标准分割的最主要动机．另外，算法上，标准分割每次对一个区域进行二分分割，通过不断地迭代产生更多更小的区域，使医学经验规则可以很容易加入到分割过程，对分割的区域大小和分割的优先程度进行控制，方便设计结合先验知识的自适应的分割算法．原始的标准分割划分区域的个数ｋ需要事先指定，关于ｋ值的设定，有２种可能出现的情况：１）若ｋ 值较小，产生的区域数较少，可能出现某些区域包含多个标注词的情况；２）若ｋ 值较大，产生的区域数较多，可能会出现把原来对应一个标注词的区域细分为若干个．第１种情况有可能产生过于复杂的可辨区域（包含不同的特征或由多个细小的区域组合而成），这会影响区域特征提取的效果．而对于第２种情况，当区域数比较大时，会把某些只对应一个标注词的区域分为多个小区域，也即所谓的示例碎片化问题，粒度过小的示例不能完整表达某个标注词的内在含义．考虑到ｋ值的确定对多示例样本的生成有重要影响，提出采用区域约束的方法来产生自适应区域，不需要预先设置区域个数．引入２个约束条件：１）区域个数的上限ｋｍａｘ；２）区域所包含像素数量ｔ．在算法中要求：若区域数目达到上限ｋｍａｘ，则不再进行分割；２１３８ 计算机研究与发展　２０１５，５２（９）若一个区域包含的像素数量小于２×ｔ，则该区域不会再被考虑分割．以上参数的设置由医学经验值给出，具体值在实验部分给出．标准分割每次进行二分割，即把一个输入区域按式（１）的指标分为２个子区域，由于每次分割会使区域数增加１，一个必须解决的问题是如何选择区域进行分割．考虑到这个区域的选择指标计算在每次分割时都需要进行，且不需要太精确估计，多示例学习模型能够适应一定示例粒度变化，这从以往基于分块多示例图像标注的研究工作中可看出．基于此，提出一种简单的区域选择策略，计算其区域像素颜色值的方差，优先选择方差大的区域进行划分．像素颜色值方差大在一定程度上表明区域的像素结构复杂，可能包含不同的可辨区域，因此可以作为一种区域划分的启发式线索．２．２　特征提取本文采用基于纹理特征和像素密度的图像特征提取方法．由于标准分割得到的可辨区域是不规则的，我们先寻找一个包含不规则区域的平行轴最小矩形，并用黑色像素填充，然后执行特征提取算法．图５展示了不规则区域的平行轴最小矩形表示．　　Ｆｉｇ．５　Ｍｉｎｉｍａｌ　ｒｅｃｔａｎｇｌｅ　ｗｉｔｈ　ｐａｒａｌｌｅｌｅｄ　ａｘｉｓｒｅｐｒｅｓｅｎｔａｔｉｏｎ　ｆｏｒ　ｉｒｒｅｇｕｌａｒ　ｒｅｇｉｏｎｓ．图５　不规则区域的平行轴最小矩形表示特征提取算法的主要思想描述如下：对区域进行颜色空间变换，从ＲＧＢ转换到ＬＵＶ 颜色空间；然后对区域进行小块划分，去掉像素为全黑的小块；然后对每一剩下的小块执行离散小波变换，由整个区域的平均ＬＵＶ值及每个分块的小波系数计算出区域特征，该特征提取算法的详细流程参见文献［１２］．需要指出的是，ＬＵＶ颜色空间强调对人眼的颜色和纹理视觉特征的描述，具有视觉统一性，适用于本研究中视觉可辨区域的特征表达．ｆ１，ｆ２，ｆ３分别是区域的平均Ｌ，Ｕ，Ｖ 值，该组特征衡量区域的整体颜色组成；特征ｆ４，ｆ５，ｆ６分别是每个小块的小波变换系数ＬＨ，ＨＬ，ＨＨ 的整个区域平均值，该组特征反映出区域的纹理特征和特殊结构；ｆ７，ｆ８，ｆ９分别是１，２，３阶标准形状系数，该组特征反映的是区域的拓扑形状，即与区域大小无关的形状特征．这样提取出的图像特征是一个９维的实值向量．该方法的时间复杂度与图像划分小块个数有关系，每个小块执行一次离散小波变换，然后取平均，总体的时间复杂度为Ｏ（ｐ），其中ｐ 为该区域所包含的方块个数，其他属性的计算都可以在常数时间内完成．这些特征已被成功应用于图像理解和图像检索等领域．这３组图像特征充分反映了区域的可视化特征，我们认为其有足够的表达能力，能表示出本文分割方法得出的区域主要特征．２．３　多示例多标签样本表达在对病理图像进行区域划分和针对区域进行特征提取后，图像被转化为多示例样本，其中的示例为区域，由于划分算法为自适应，最后得到的每个样本中的示例个数可能会不同．对于多标签的生成，我们对每幅病理图像的病理诊断描述文本进行关键词匹配，生成一个布尔向量，其中的每一位指示该病理图像是否包含对应的病理特性．３　病理特性标注模型需要指出的是，病理特性标注的问题不适合用单示例学习算法解决．首先第２节所述局部可辨区域与病理特性标注词之间的关系显示了该问题可以很自然地放在多示例学习框架中进行解决．其次，即使建立一个以局部可辨区域作为输入、以标注词作为输出的单示例学习模型也不现实，这是因为在临床数据集中并没有局部可辨区域与标注词之间的直接对应关系．在临床诊断中，医生对整个病理图像进行分析后给出标注，但绝大多数情况下不会在诊断报告中明确指出哪个区域具有何种病理特性．我们通过观察和调研发现，医生更愿意认为是他们通过对图像整体分析而得出整图的病理特性标注，然后这些标注项由局部可辨区域的“征象”得到印证．我们相信深入分析医生的这种诊断思维将有助于建立更有效的特性标注模型，但显然已经超出了本文所讨论的范围．而本研究关注的是，标注词与局部区域之间的对应关系在诊断数据里面是被隐含的，正是由于这种隐含的关系，使得以区域作为训练和测试样本的单示例学习模型不适用于此问题．张　钢等：一种病理图像自动标注的机器学习方法２１３９基于以上分析，我们提出使用２种多示例学习模型作为病理特性标注模型，分别是多示例学习模型和多示例多标签学习模型［１３］．多示例学习模型适用于对单一标签二类分类的问题，而多示例多标签学习能同时判断样本是否含有多个标签．选择这２个模型构建病理特性标注模型的动机在于对医生标注活检图像过程的观察．在研究过程中注意到，病理实验室的医生倾向于认为标注是在综合分析了整图后再作出的最终判断．但在标注过程中我们观察到对于大部分的标注词，医生通过对局部可辨区域的分析就可以进行标注，与前述的假设基本一致．经过深入了解后发现，有经验的医生检查了病理图像后，在脑海中会对该病人所患疾病有个初步假设，根据该假设认为活检图像上应该会有哪些病理特性，然后在活检图像上寻找这些病理特性的“征象”．我们对这个过程中所蕴含的因果关系并不十分清晰，但可以知道在某些情况下标注词与特定的皮肤病关联，因而对一幅病理活检图像而言，其上面的标注词有可能不是完全独立，这正是本文采用多示例多标签学习的动机．对于普通的多示例单标签学习模型也进行评估，其目的是与多示例多标签学习模型进行比较，以验证上述对于医生诊断思维及标注词之间隐含关系假设的合理性．采用Ｃｉｔａｔｉｏｎ－ＫＮＮ［１４］作为多示例学习模型，而对于多示例多标签学习，提出Ｓ－ＭＩＭＬＧＰ算法（ｓｐａｒｓｅ－ｍｕｌｔｉ　ｉｎｓｔａｎｃｅ　ｍｕｌｔｉ　ｌａｂｅｌ　ｌｅａｒｎｉｎｇ　ｗｉｔｈＧａｕｓｓｉａｎ　ｐｒｏｃｅｓｓ　ｐｒｉｏｒ）．Ｃｉｔａｔｉｏｎ－ＫＮＮ是一个经典的多示例学习模型，基于类似Ｋ 近邻的思想进行测试样本的类别识别．在Ｃｉｔａｔｉｏｎ－ＫＮＮ 模型中，确定一个测试样本的概念标记不仅通过它的Ｋ 个相邻的训练样本，同时也考虑把该样本看作近邻的训练样本的概念标记．在Ｃｉｔａｔｉｏｎ－ＫＮＮ 算法中，包的相邻关系并不是由欧氏距离所衡量，而是采用平均Ｈａｕｓｄｏｒｆｆ距离．Ｃｉｔａｔｉｏｎ－ＫＮＮ算法并不需要训练，但在测试时需要对整个训练数据集进行存储．形式上，设Ａ 和Ｂ 是２个多示例样本，则它们之间的平均Ｈａｕｓｄｏｒｆｆ距离Ｈ 定义为Ｈ（Ａ，Ｂ）＝Σａ∈Ａｍｉｎ ｂ∈Ｂｄ（ａ，ｂ）＋Σｂ∈Ｂｍｉｎ ａ∈Ａｄ（ｂ，ａ）｜Ａ｜＋｜Ｂ｜ ．（２）　　给定一个测试样本，找出与它距离最近的ｐ 个训练样本，同时找出ｑ 个以测试样本为近邻的训练样本，以这ｐ＋ｑ 个样本的训练样本标记的多数作为测试样本的标记．Ｃｉｔａｔｉｏｎ－ＫＮＮ是一个简单但有效的多示例学习算法，其训练时间复杂度是Ｏ（１），每测试一个样本需要计算它与所有训练样本之间的Ｈ 距离，需要Ｏ（｜Ｄｔｒａｉｎ｜）次计算．Ｓ－ＭＩＭＬＧＰ算法是对Ｈｅ等人［１５］提出的基于高斯先验分布的ＭＩＭＬ（ｍｕｌｔｉｐｌｅ－ｉｎｓｔａｎｃｅ　ｍｕｌｔｉｐｌｅｌａｂｅｌ）算法的一个ＳＢＬ（ｓｐａｒｓｅ　Ｂａｙｅｓｉａｎ　ｌｅａｒｎｉｎｇ）［１６］扩展，简要描述如下．利用基于高斯先验分布的ＭＩＭＬ算法构建一组基学习器Ｇ ＝｛ｇ１，ｇ２，…，ｇｍ｝，该组学习器为ＭＩＭＬ学习器，能够给出一个测试样本的每种标签的预测概率分布．在构建Ｇ 中每个学习器时需要给出基于高斯过程的先验分布矩阵ＫＧＰ，而在Ｈｅ等人［１５］的工作中该先验分布矩阵需要通过最大化边缘分布得到，并且仅是对最大化下界的估计．必须指出，ＫＧＰ根据已有数据通过贝叶斯方法确定，其中并不包含关于目标问题的先验知识．我们提出用加权集成学习的方式解决ＧＰ－ＭＩＭＬ学习器的先验分布的确定问题［１７］，即随机生成ｑ份ＫＧＰ先验分布矩阵，对应于ｑ 个ＭＩＭＬ学习器，由于这些学习器是贝叶斯学习器，输出每个标签的预测分布，因而能够使用ＳＢＬ的方法确定其最优的权值组合．式（３）给出了组合学习器的表达形式：ｆｅｎｓ（Ｘ）＝Σｑｉ＝１ｗｉｆｉ（Ｘ）． （３）　　为每一个要权重ｗｉ加上一个ＡＲＤ先验分布，有：ｗｉ～Ｎ（ｗｉ｜０，α－１ｉ ）．通过最大化边缘分布的方法，在给定训练数据集Ｄ 的情况下确定αｉ，就可以得到对ｗｉ的有效估计，从而得到ｆｅｎｓ．由Ｔｉｐｐｉｎｇ［１８］给出的对上述问题的求解过程可知：一部分αｉ趋于无穷大，由于均值为０，使其对应的ｗｉ为０，从而得到了稀疏的集成学习模型．算法１展示了Ｓ－ＭＩＭＬＧＰ算法的主要步骤．算法１．Ｓ－ＭＩＭＬＧＰ算法．输入：基学习器数量ｑ、训练数据集Ｄ；输出：加权组合权重ｗ．① Ｆｏｒ　ｉ＝１ｔｏ　ｑ　ｄｏ② 　随机产生ＫＧＰ；③ 　ｇｉ＝ｔｒａｉｎＧＰＭＩＭＬ（Ｄ，ＫＧＰ）；④ 　把ｇｉ加到Ｇ 上；⑤ Ｅｎｄ　Ｆｏｒ⑥ 初始化ｗ；⑦Ｋ＝｛Ｋｉ｜Ｋｉ＝ｇｉ（Ｄ），ｉ＝１，２，…，ｑ｝；⑧ｗ＝ＳＢＬ（Ｋ，ｑ）；⑨ 返回Ｇ，ｗ．２１４０ 计算机研究与发展　２０１５，５２（９）在算法１中，行①～⑤随机生成ｑ份ＫＧＰ，并训练ｑ个ＭＩＭＬ学习器；行⑥随机初始化ｗ；行⑦计算Ｇ 中所有学习器在Ｄ 上的输出值并记录；行⑧使用标准的ＳＢＬ算法迭代求解ｗ．根据ＳＢＬ和ＲＶＭ理论，行⑧会使大部分ｗ 趋向于０，可以得到一个稀疏的集成学习器．由于ｆｉ的输出为图像具有各个标签的预测概率，ｗ 是一个标准的权重组合，因此ｆｅｎｓ的输出可以看作一个预测概率．根据ｆｅｎｓ的输出进行标注，对于某一标注词，若其对应的预测概率大于０．５，则进行标注，反之不进行标注．提出Ｓ－ＭＩＭＬＧＰ算法的动机主要有２个：１）对先验分布ＫＧＰ的计算考虑，通过最大化边缘分布的方法进行计算需要较大的计算代价，且仅能得到一个接近下界的估计，直接对其进行计算并不现实；２）学习器构成的可扩展性考虑，本文希望把最终的学习器建立在集成学习的基础上，使有新的图像特征或其他诊断信息加入时可以使用集成学习的方式直接利用已有的结果．Ｓ－ＭＩＭＬＧＰ算法的时间复杂性与单独训练ｑ个基学习器的阶数相同，这是由于ＳＢＬ算法的时间复杂度低于训练单个ＭＩＭＬ学习器的时间复杂度．行⑧的ＳＢＬ在已有数值矩阵集合Ｋ 以及值不太大时可以较快收敛．具体的参数设置参见实验部分．４　实　　验在一个由本地大型三甲医院皮肤科提供的病理图像数据集上对本文提出方法的有效性进行测试，同时实现文献［８］中的ＢＯＦ方法和文献［１５］中的基于高斯过程的多示例多标签学习方法（记为ＧＰＭＩＭＬ）作为基准方法进行性能比较．ＢＯＦ方法是一种基于全图特征提取表达的单示例学习样本构建方法．选择ＢＯＦ方法作为基准方法之一的动机在于该方法被广泛用于病理图像分析研究中，且该文中的实验评估图像数据集的复杂程度与本文所用的图像类似，ＢＯＦ方法采用标准的二分类ＳＶＭ 作为学习器．选用ＧＰ－ＭＩＭＬ作为基准方法之一的动机在于它与本文的Ｓ－ＭＩＭＬＧＰ算法均是基于贝叶斯学习的概率模型，而本文算法采用稀疏加权的方式降低对先验分布矩阵估计的计算复杂性，对两者进行标注准确率和运行时间上的比较，能够反映本文方法的有效程度．实验数据集中包含了从２０１０—２０１２年的２　３１５个病人的６　９７２幅皮肤患病部位活检图像，平均每个病人３幅．图像的放大倍数是４０倍，大小为１５３６×２　０４８，２４位真彩色．每个病人的图像都与一段由电子病历系统导出的文本形式的镜下诊断相关联，其中以标注词的形式标出了该病人图像所展现的病理特性．考虑１５个标注词的标注：１－角化过度、２－角化不全、３－颗粒层消失、４－棘层肥厚、５－Ｍｕｎｒｏ微脓肿、６－痣细胞巢、７－基底层色素增加、８－淋巴细胞浸润、９－棘层变薄、１０－基底细胞液化变性、１１－角囊肿、１２－颗粒层增厚、１３－毛囊角栓、１４－乳头瘤样增生、１５－收缩间隙．通过对镜下诊断的文本匹配，对每一个病人生成一个１５维的布尔向量，表示该病人的每一幅图像是否包含上述１５个标注词．对于每幅图像，调用自适应的标准分割划分可辨区域，之后进行图像特征提取，其中离散小波变换的方块大小为８×８．对于ＢＯＦ方法，采用调整大小后的图像作为算法输入，其他参数使用与文献［８］中同样的值．标准分割的区域大小像素限制和区域数目的上限分别设置为１５００像素和１５个，这２个参数是根据医学经验和区域的肉眼可辨程度得出的．由于标准分割的运算量比较大，且其分割区域与图像的像素精细度没有太大关系，因此把图像先缩小到１５０×２００像素，然后进行标准分割，上述参数是对缩小后图像的限制．若每个划分的区域刚好达到像素下限，则缩小后的图像可以分割出２０个区域，实际上这是不可能的，因为根据分割策略在一个区域有小于２×１５００像素时就不会再被考虑分割，实际分割产生的区域平均数为１２个．包含１５００像素区域的平均大小为３０×５０，一般具有明显医学特征的区域不会小于这个尺寸，得到分割区域后把分割结果按比例放大到原图再进行特征提取．考虑到数据集规模较大，把２　３１５个病人以３∶７的比例划分为训练组和测试组，训练组病人的图像用于模型训练，测试组病人的所有图像用于评估模型的有效性，共进行１０次随机划分，对于每次划分，重复运行１０次模型的训练和预测，取这１０次运行的平均值作为本次划分的结果，最后以１０次划分的平均值和方差作为实验结果进行记录，以说明结果的显著性．对于Ｃｉｔａｔｉｏｎ－ＫＮＮ算法和ＢＯＦ方法，分别为每一个标注词训练一个二分类的学习器，即学习器给出图像是否应该被标注对应的项．对于ＳＭＩＭＬＧＰ算法，它输出的是每个标注词被标注的概率，为了转化为布尔类型的结果，输出概率大于０．５则标注该词，反之则不标注该词．３个模型的有效性张　钢等：一种病理图像自动标注的机器学习方法２１４１分别用单一标注词的正确率（见表１）和ＨａｍｍｉｎｇＬｏｓｓ［１３，１９］（见表２）进行评估，Ｈａｍｍｉｎｇ　Ｌｏｓｓ指标的计算如式（４）所示：ＬＨＬ（ｈ，Ｄ）＝１ ｎΣ ｎｉ＝１１Ｌ｜ｈ（Ｘｉ）∩Ｙｉ｜， （４）其中，Ｄ 为测试数据集，Ｘｉ为其中的第ｉ 个多示例样本，Ｙｉ为其对应的标签集合，Ｌ 为标签个数，ｈ（Ｘｉ）为学习器ｈ输出的标签集合．表１中列出了３个模型对所有病理特性词标注的正确率．对于Ｃｉｔａｔｉｏｎ－ＫＮＮ算法和ＢＯＦ方法，每个病理特性词的标注都需要单独训练一个模型，因此其标注正确率由标注正确的图像数目除以总的测试样本个数得到；Ｓ－ＭＩＭＬＧＰ算法对于每一幅测试图像的输出是一个１５维向量，通过对应分量的统计得到每一个标注词的标注正确率．在表１中加粗显示了每一个病理特性标注的最高正确率，可以看出，在大多数情况下，基于多示例学习的模型（Ｃｉｔａｔｉｏｎ－ＫＮＮ算法和Ｓ－ＭＩＭＬＧＰ算法）比ＢＯＦ方法的正确率高，说明了多示例学习框架在病理图像标注问题上的有效性；Ｃｉｔａｔｉｏｎ－ＫＮＮ 算法与Ｓ－ＭＩＭＬＧＰ算法的模型对于不同的标注词的有效性并不完全相同，在较多的情况下Ｓ－ＭＩＭＬＧＰ 算法表现优于Ｃｉｔａｔｉｏｎ－ＫＮＮ算法，说明在多数情况下，考虑标注词之间的联系对学习器的有效性有正面作用，多示例多标签学习模型可以有效利用这种关联．另一方面，对于某些标注词（如１，４，１２），多示例单标记学习模型（Ｃｉｔａｔｉｏｎ－ＫＮＮ）的正确率比较高，即把这些标注词单独进行标注比与其他标注词在一个模型里面进行标注得到的正确率更高．我们认为这可能是由于这些标注词比较独立，与其他标注词的关联性不强引起的，可以通过医学经验把一些独立性较强的标注词放在多示例单标签模型中进行标注．Ｔａｂｌｅ　１　Ｃｏｍｐａｒｉｓｏｎ　ｏｆ　Ｐｅｒ　Ａｎｎｏｔａｔｉｏｎ　Ｔｅｒｍ　Ａｃｃｕｒａｃｙ　ａｎｄ　Ｉｔｓ　Ｖａｒｉａｎｃｅ表１　单一标注词标注正确率和方差的比较Ｎｏ．Ｃｉｔａｔｉｏｎ－ＫＮＮ　ＢＯＦ　Ｓ－ＭＩＭＬＧＰ　ＧＰ－ＭＩＭＬＡｃｃｕｒａｃｙ?％ Ｖａｒｉａｎｃｅ　Ａｃｃｕｒａｃｙ?％ Ｖａｒｉａｎｃｅ　Ａｃｃｕｒａｃｙ?％ Ｖａｒｉａｎｃｅ　Ａｃｃｕｒａｃｙ?％ Ｖａｒｉａｎｃｅ１　７６．２　０．０１１　７１．５　０．０１４　７４．３　０．０２１　７５．４　０．０２２２　７９．７　０．０２１　７６．９　０．０１６　８３．５　０．０２０　８２．１　０．０２３３　７３．４　０．０４２　７５．１　０．０２１　７６．１　０．０３９　７６．２　０．０４２４　７１．３　０．０２１　６６．８　０．０１４　７０．５　０．０１９　７０．９　０．０２２５　７４．９　０．０１７　７２．６　０．０１７　７８．２　０．０２４　７６．５　０．０１９６　７８．３　０．０２６　７５．３　０．０１９　７９．９　０．０２６　７７．０　０．０２９７　７５．１　０．０３１　７３．７　０．０３０　７５．８　０．０３４　７４．２　０．０４１８　６９．６　０．０３２　６７．０　０．０２９　７２．５　０．０２９　７１．６　０．０３０９　８０．４　０．０１６　７５．１　０．０１１　８２．４　０．０１２　８０．５　０．０１６１０　７４．２　０．００９　７３．４　０．００８　７６．５　０．０１１　７２．３　０．０１７１１　７０．３　０．０１７　６８．２　０．００８　７３．１　０．０１４　６９．９　０．０１８１２　７０．２　０．００６　７０．０　０．００９　７０．０　０．０１０　７１．２　０．０１１１３　６９．９　０．０１５　６７．７　０．０１０　７１．７　０．０１４　７１．６　０．０２０１４　７０．３　０．０１３　７１．２　０．０１７　７４．０ ０．０１２　７１．０　０．０１９１５　７８．１　０．０１１　７３．５　０．０１８　７５．９　０．０２０　７８．９　０．０２３　　表２中的Ｈａｍｍｉｎｇ　Ｌｏｓｓ是一种多标签学习中常使用的正确性度量，它衡量学习器的输出标签与真实标签之间的Ｈａｍｍｉｎｇ距离，给出对整个标注词集的标注正确率．从表２可以看出，Ｓ－ＭＩＭＬＧＰＴａｂｌｅ　２　Ｃｏｍｐａｒｉｓｏｎ　ｏｆ　Ｈａｍｍｉｎｇ　Ｌｏｓｓ　ａｎｄ　Ｖａｒｉａｎｃｅ　ｂｅｔｗｅｅｎ　Ｍｏｄｅｌｓ表２　模型的Ｈａｍｍｉｎｇ　Ｌｏｓｓ和方差比较Ｃｉｔａｔｉｏｎ－ＫＮＮ　ＢＯＦ　Ｓ－ＭＩＭＬＧＰ　ＧＰ－ＭＩＭＬＡｃｃｕｒａｃｙ?％ Ｖａｒｉａｎｃｅ　Ａｃｃｕｒａｃｙ?％ Ｖａｒｉａｎｃｅ　Ａｃｃｕｒａｃｙ?％ Ｖａｒｉａｎｃｅ　Ａｃｃｕｒａｃｙ?％ Ｖａｒｉａｎｃｅ７３．４　０．０１８　７０．５　０．０１５　７９．９　０．０２４　７８．２　０．０２７２１４２ 计算机研究与发展　２０１５，５２（９）算法的表现较优．需要说明的是，由于Ｃｉｔａｔｉｏｎ－ＫＮＮ算法以及ＢＯＦ方法所采用的学习器并不是一种多标签学习器，我们以它们分别在每一个标注词上的输出作为一个多标签输出向量，从而可以在同一个指标（Ｈａｍｍｉｎｇ　Ｌｏｓｓ）下比较４种方法对多标签分类的正确率．从表１和表２可以看出，ＧＰ－ＭＩＭＬ与Ｓ－ＭＩＭＬＧＰ算法的表现比较接近，这是由于４种算法均基于贝叶斯学习且引入了基于高斯过程的先验分布；但ＧＰ－ＭＩＭＬ学习器需要计算一个优化问题，寻找使边缘分布最大化的先验分布矩阵，计算复杂度较高，对于一些大型的数据集甚至是不能计算的．ＳＭＩＭＬＧＰ算法通过稀疏加权的方式避免了对先验分布矩阵的直接计算．下面给出在同一台测试计算机上２个算法各个步骤的运行时间．对于Ｓ－ＭＩＭＬＧＰ算法，５０个基学习器，随机生成先验分布矩阵用时０．０５ｓ，训练基学习器（已提取图像特征）用时３５．２ｓ，用ＲＶＭ 寻找稀疏加权用时２３．５ｓ，最终平均得到１０个学习器被加权，测试一个样本用时１．１ｓ；对于ＧＰ－ＭＩＭＬ学习器，求最优先验分布矩阵用时２５５．８ｓ，训练学习器用时１．９ｓ，测试一个样本用时０．３ｓ．可以看出，ＳＭＩＭＬＧＰ算法避免对先验分布矩阵的直接计算，可以提高算法运行的效率．为了进一步说明本文的区域划分方法的有效性，下面比较本文提出的病理图像可辨区域划分方法与另外两种划分方法的效果．本部分的评估进行如下的设置，根据划分及其相应的特征提取方法的不同设置３个数据集Ｄ１，Ｄ２，Ｄ３．其中数据集Ｄ１采用本文所提出的分割和特征提取方法；Ｄ２为把图像分为大小相等的方格，把方格作为示例．为了对比方便，在数据集Ｄ２上采用文献［９］的方法，每一个方格用ＳＩＦＴ特征提取方法，使用ＭＩＭＬＳＶＭ 算法构建多示例多标签学习器模型．Ｄ３为基于聚类的区域划分方法，最早是由Ｃｈｅｎ等人［２０］在解决图像分类的问题时提出的．由这３种划分方法得到区域的含义有显著区别．Ｄ１的示例是连续的可辨区域；Ｄ２完全不考虑视觉特征，其示例为等大小的方格；Ｄ３中的示例是对全图像素特征向量进行聚类后得到的簇，但簇中像素并非是连续的，也就是说这里的区域与人眼看到的局部区域的含义是不同的，Ｄ３中的区域应该是相似像素的集合．我们在这些不同分割方法产生的数据集上评估Ｓ－ＭＩＭＬＧＰ算法有效性并以ＭＩＭＬＳＶＭ 算法进行对比，其中ＭＩＭＬＳＶＭ 算法为一个多示例多标签学习算法，在文献［９］中使用了ＭＩＭＬＳＶＭ 算法的一个改进版本以及数据集Ｄ２的生成算法进行测试．Ｄ２的生成参数同文献［９］，Ｄ３的生成参数同文献［２０］，其他实验参数同之前的实验相一致．图６给出了不同分割方式下２个算法的正确率（以Ｈａｍｍｉｎｇ　Ｌｏｓｓ为评估指标）．　Ｆｉｇ．６　Ｍｏｄｅｌ　ｅｆｆｅｃｔｉｖｅｎｅｓｓ　ｃｏｍｐａｒｉｓｏｎ　ｂｅｔｗｅｅｎｄｉｆｆｅｒｅｎｔ　ｒｅｇｉｏｎ　ｓｅｇｍｅｎｔａｔｉｏｎ　ｍｅｔｈｏｄｓ．图６　不同区域划分方法下的算法有效性比较图６中的横轴为数据集的标号，纵轴是ＨａｍｍｉｎｇＬｏｓｓ的评价指标，数值越大代表算法对所有标注词的标注效果越好，与表２一致．从图６可以看出２点：１）２个ＭＩＭＬ算法在数据集Ｄ１的效果比在其他２个数据集上好，说明本文的分割方法在ＭＩＭＬ框架中较以往的有效；２）在３个数据集中Ｓ－ＭＩＭＬＧＰ算法的效果都比ＭＩＭＬＳＶＭ 算法要好，我们把这种效果的提升归结于概率模型及先验知识的有效表达．５　结　　论本文提出了在多示例学习框架中对皮肤病理图像进行自动标注的方法框架，对医生的诊断思维进行直接建模，采用标准分割划分视觉可辨区域，把病理图像转化为多示例样本．在区域特征提取上，本文从医生的诊断经验出发，使用基于纹理和内部可辨结构的特征提取方法．在多示例单标签与多示例多标签学习框架中进行建模，实验结果表明，与医生诊断过程较为一致的方法比以往组织病理学中常用的方法更有效，考虑标签间关联的多示例多标签学习器在大多数情况下有更好的性能．本文的工作可以推广到病理图像医学分析的其他领域，同时也可以发展为组织病理学的图像分析和图像理解的一个新方法．张　钢等：一种病理图像自动标注的机器学习方法２１４３参考文献［１］ Ｂａｓｒａ　Ｍ　Ｋ，Ｓｈａｈｒｕｋｈ　Ｍ．Ｂｕｒｄｅｎ　ｏｆ　ｓｋｉｎ　ｄｉｓｅａｓｅｓ ［Ｊ］．Ｅｘｐｅｒｔ　Ｒｅｖｉｅｗ　ｏｆ　Ｐｈａｒｍａｃｏｅｃｏｎｏｍｉｃｓ　Ｏｕｔｃｏｍｅｓ　Ｒｅｓｅａｒｃｈ，２００９，９（３）：２７１－２８３［２］ Ｃｅｒｒｏｎｉ　Ｌ，Ａｒｇｅｎｙｉ　Ｚ，Ｃｅｒｉｏ　Ｒ，ｅｔ　ａｌ．Ｉｎｆｌｕｅｎｃｅ　ｏｆ　ｅｖａｌｕａｔｉｏｎｏｆ　ｃｌｉｎｉｃａｌ　ｐｉｃｔｕｒｅｓ　ｏｎ　ｔｈｅ　ｈｉｓｔｏｐａｔｈｏｌｏｇｉｃ　ｄｉａｇｎｏｓｉｓ　ｏｆｉｎｆｌａｍｍａｔｏｒｙ　ｓｋｉｎ　ｄｉｓｏｒｄｅｒｓ［Ｊ］．Ｊｏｕｒｎａｌ　ｏｆ　ｔｈｅ　ＡｍｅｒｉｃａｎＡｃａｄｅｍｙ　ｏｆ　Ｄｅｒｍａｔｏｌｏｇｙ，２０１０，６３（４）：６４７－６５２［３］ Ｆｏｇｅｌｂｅｒｇ　Ａ，Ｉｏｆｆｒｅｄａ　Ｍ，Ｈｅｌｍ　Ｋ　Ｆ．Ｔｈｅ　ｕｔｉｌｉｔｙ　ｏｆ　ｄｉｇｉｔａｌｃｌｉｎｉｃａｌ　ｐｈｏｔｏｇｒａｐｈｓ　ｉｎ　ｄｅｒｍａｔｏｐａｔｈｏｌｏｇｙ ［Ｊ］．Ｊｏｕｒｎａｌ　ｏｆＣｕｔａｎｅｏｕｓ　Ｍｅｄｉｃｉｎｅ　ａｎｄ　Ｓｕｒｇｅｒｙ，２００４，８（２）：１１６－１２１［４］ Ｇｕｒｃａｎ　Ｍ　Ｎ， Ｂｏｕｃｈｅｒｏｎ　Ｌ　Ｅ， Ｃａｎ　Ａ， ｅｔ　ａｌ．Ｈｉｓｔｏｐａｔｈｏｌｏｇｉｃａｌ　ｉｍａｇｅ　ａｎａｌｙｓｉｓ： Ａ　ｒｅｖｉｅｗ ［Ｊ］．ＩＥＥＥＲｅｖｉｅｗｓ　ｉｎ　Ｂｉｏｍｅｄｉｃａｌ　Ｅｎｇｉｎｅｅｒｉｎｇ，２００９，２：１４７－１７１［５］ Ｓｈｉ　Ｊ，Ｍａｌｉｋ　Ｊ．Ｎｏｒｍａｌｉｚｅｄ　ｃｕｔｓ　ａｎｄ　ｉｍａｇｅ　ｓｅｇｍｅｎｔａｔｉｏｎ［Ｊ］．ＩＥＥＥ　Ｔｒａｎｓ　ｏｎ　Ｐａｔｔｅｒｎ　Ａｎａｌｙｓｉｓ　ａｎｄ　Ｍａｃｈｉｎｅ　Ｉｎｔｅｌｌｉｇｅｎｃｅ，２０００，２２（８）：８８８－９０５［６］ Ｄｉｅｔｔｅｒｉｃｈ　Ｔ　Ｇ，Ｌａｔｈｒｏｐ　Ｒ　Ｈ，Ｌｏｚａｎｏ－Ｐ＇ｅｒｅｚ　Ｔ．Ｓｏｌｖｉｎｇ　ｔｈｅｍｕｌｔｉｐｌｅ－ｉｎｓｔａｎｃｅ　ｐｒｏｂｌｅｍ　ｗｉｔｈ　ａｘｉｓ－ｐａｒａｌｌｅｌ　ｒｅｃｔａｎｇｌｅｓ［Ｊ］．Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ，１９９７，８９（１?２）：３１－７１［７］ Ｂｕｎｔｅ　Ｋ，Ｂｉｅｈｌ　Ｍ，Ｊｏｎｋｍａｎ　Ｍ　Ｆ，ｅｔ　ａｌ．Ｌｅａｒｎｉｎｇ　ｅｆｆｅｃｔｉｖｅｃｏｌｏｒ　ｆｅａｔｕｒｅｓ　ｆｏｒ　ｃｏｎｔｅｎｔ　ｂａｓｅｄ　ｉｍａｇｅ　ｒｅｔｒｉｅｖａｌ　ｉｎｄｅｒｍａｔｏｌｏｇｙ［Ｊ］．Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ，２０１１，４４（９）：１８９２－１９０２［８］ Ａｎｇｅｌ　Ｃ，Ｊｕａｎ　Ｃ　Ｃ，Ｆａｂｉｏ　Ａ　Ｇ．Ｖｉｓｕａｌ　ｐａｔｔｅｒｎ　ｍｉｎｉｎｇ　ｉｎｈｉｓｔｏｌｏｇｙ　ｉｍａｇｅ　ｃｏｌｌｅｃｔｉｏｎｓ　ｕｓｉｎｇ　ｂａｇ　ｏｆ　ｆｅａｔｕｒｅｓ［Ｊ］．ＪｏｕｒｎａｌＡｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ　ｉｎ　Ｍｅｄｉｃｉｎｅ，２０１１，５２（２）：９１－１０６［９］ Ｌｉ　Ｙｉｎｇｘｉｎ，Ｊｉ　Ｓｈｕｉｗａｎｇ，Ｋｕｍａｒ　Ｓ，ｅｔ　ａｌ．Ｄｒｏｓｏｐｈｉｌａ　ｇｅｎｅｅｘｐｒｅｓｓｉｏｎ　ｐａｔｔｅｒｎ　ａｎｎｏｔａｔｉｏｎ　ｔｈｒｏｕｇｈ　ｍｕｌｔｉ－ｉｎｓｔａｎｃｅ　ｍｕｌｔｉｌａｂｅｌ　ｌｅａｒｎｉｎｇ ［Ｊ］．ＩＥＥＥ?ＡＣＭ　Ｔｒａｎｓ　ｏｎ　ＣｏｍｐｕｔａｔｉｏｎａｌＢｉｏｌｏｇｙ　ａｎｄ　Ｂｉｏｉｎｆｏｒｍａｔｉｃｓ，２０１２，９（１）：９８－１１２［１０］ Ｌｏｗｅ　Ｄ　Ｇ．Ｄｉｓｔｉｎｃｔｉｖｅ　ｉｍａｇｅ　ｆｅａｔｕｒｅｓ　ｆｒｏｍ　ｓｃａｌｅ－ｉｎｖａｒｉａｎｔｋｅｙｐｏｉｎｔｓ［Ｊ］．Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｊｏｕｒｎａｌ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ，２００４，６０（２）：９１－１１０［１１］ Ｇｏｌｕｂ　Ｇ　Ｈ，Ｖａｎ　Ｌ　Ｃ　Ｆ． Ｍａｔｒｉｘ　Ｃｏｍｐｕｔａｔｉｏｎｓ ［Ｍ］．Ｂａｌｔｉｍｏｒｅ，ＭＤ：Ｊｏｈｎｓ　Ｈｏｐｋｉｎｓ　Ｕｎｉｖｅｒｓｉｔｙ　Ｐｒｅｓｓ，１９８９：６０１－６３４［１２］ Ｚｈａｎｇ　Ｇａｎｇ，Ｓｈｕ　Ｘｉａｎｇｙａｎｇ，Ｌｉａｎｇ　Ｚｈａｏｈｕｉ，ｅｔ　ａｌ．Ｍｕｌｔｉｉｎｓｔａｎｃｅ　ｌｅａｒｎｉｎｇ　ｆｏｒ　ｓｋｉｎ　ｂｉｏｐｓｙ　ｉｍａｇｅ　ｆｅａｔｕｒｅｓ　ｒｅｃｏｇｎｉｔｉｏｎ［Ｃ］??Ｐｒｏｃ　ｏｆ　ｔｈｅ　２０１２ＩＥＥＥ　Ｉｎｔ　Ｃｏｎｆ　ｏｎ　Ｂｉｏｉｎｆｏｒｍａｔｉｃｓ　ａｎｄＢｉｏｍｅｄｉｃｉｎｅ．Ｌｏｓ　Ａｌａｍｉｔｏｓ，ＣＡ：ＩＥＥＥ　Ｃｏｍｐｕｔｅｒ　Ｓｏｃｉｅｔｙ，２０１２：８３－８８［１３］ Ｚｈｏｕ　Ｚｈｉｈｕａ，Ｚｈａｎｇ　Ｍｉｎｌｉｎｇ，Ｈｕａｎｇ　Ｓｈｅｎｇｊｕｎ，ｅｔ　ａｌ．Ｍｕｌｔｉｉｎｓｔａｎｃｅ　ｍｕｌｔｉ－ｌａｂｅｌ　ｌｅａｒｎｉｎｇ ［Ｊ］． Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ，２０１２，１７６（１）：２２９１－２３２０［１４］ Ｗａｎｇ　Ｊｕｎ，Ｚｕｃｋｅｒ　Ｊ　Ｄ．Ｓｏｌｖｉｎｇ　ｔｈｅ　ｍｕｌｔｉｐｌｅ－ｉｎｓｔａｎｃｅｐｒｏｂｌｅｍ：Ａ　ｌａｚｙ　ｌｅａｒｎｉｎｇ　ａｐｐｒｏａｃｈ［Ｃ］??Ｐｒｏｃ　ｔｈｅ　１７ｔｈ　ＩｎｔＣｏｎｆ　ｏｎ　Ｍａｃｈｉｎｅ　Ｌｅａｒｎｉｎｇ．Ｓａｎ　Ｆｒａｎｃｉｓｃｏ，ＣＡ：ＭｏｒｇａｎＫａｕｆｍａｎｎ，２０００：１１１９－１１２６［１５］ Ｈｅ　Ｊｉａｎｊｕｎ，Ｇｕ　Ｈｏｎｇ， Ｗａｎｇ　Ｚｈｅｌｏｎｇ．Ｂａｙｅｓｉａｎ　ｍｕｌｔｉｉｎｓｔａｎｃｅ　ｍｕｌｔｉ－ｌａｂｅｌ　ｌｅａｒｎｉｎｇ　ｕｓｉｎｇ　Ｇａｕｓｓｉａｎ　ｐｒｏｃｅｓｓ　ｐｒｉｏｒ［Ｊ］．Ｍａｃｈｉｎｅ　Ｌｅａｒｎｉｎｇ，２０１２，８８（２）：２７３－２９５［１６］ Ｂｉｓｈｏｐ　Ｃ　Ｍ．Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ　ａｎｄ　Ｍａｃｈｉｎｅ　Ｌｅａｒｎｉｎｇ［Ｍ］．Ｂｅｒｌｉｎ：Ｓｐｒｉｎｇｅｒ，２００６：２５６－３１０［１７］ Ｚｈａｎｇ　Ｇａｎｇ，Ｓｕ　Ｘｉａｎｇｙａｎｇ，Ｈｕａｎｇ　Ｙｏｎｇｊｉｎｇ，ｅｔ　ａｌ．Ａｓｐａｒｓｅ　Ｂａｙｅｓｉａｎ　ｍｕｌｔｉ－ｉｎｓｔａｎｃｅ　ｍｕｌｔｉ－ｌａｂｅｌ　ｍｏｄｅｌ　ｆｏｒ　ｓｋｉｎｂｉｏｐｓｙ　ｉｍａｇｅ　ａｎａｌｙｓｉｓ［Ｃ］??Ｐｒｏｃ　ｏｆ　ｔｈｅ　５ｔｈ　ＩＥＥＥ　Ｉｎｔ　Ｃｏｎｆ　ｏｎＢｉｏｉｎｆｏｒｍａｔｉｃｓ　ａｎｄ　Ｂｉｏｍｅｄｉｃｉｎｅ．Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥ，２０１３：２６１－２６６［１８］ Ｔｉｐｐｉｎｇ　Ｍ　Ｅ．Ｓｐａｒｓｅ　Ｂａｙｅｓｉａｎ　ｌｅａｒｎｉｎｇ　ａｎｄ　ｔｈｅ　ｒｅｌｅｖａｎｃｅｖｅｃｔｏｒ　ｍａｃｈｉｎｅ［Ｊ］．Ｊｏｕｒｎａｌ　ｏｆ　Ｍａｃｈｉｎｅ　Ｌｅａｒｎｉｎｇ　Ｒｅｓｅａｒｃｈ，２００１，１（Ｊｕｎ）：２１１－２４４［１９］ Ｚｈａｎｇ　Ｍｉｎｌｉｎｇ． Ａｎ　Ｉｍｐｒｏｖｅｄ　ｍｕｌｔｉ－ｌａｂｅｌ　ｌａｚｙ　ｌｅａｒｎｉｎｇａｐｐｒｏａｃｈ ［Ｊ］． Ｊｏｕｒｎａｌ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｒｅｓｅａｒｃｈ　ａｎｄＤｅｖｅｌｏｐｍｅｎｔ，２０１２，４９（１１）：２２７１－２２８２（ｉｎ　Ｃｈｉｎｅｓｅ）（张敏灵．一种新型多标记懒惰学习算法［Ｊ］．计算机研究与发展，２０１２，４９（１１）：２２７１－２２８２）［２０］ Ｃｈｅｎ　Ｙｉｘｉｎ，Ｗａｎｇ　Ｊ　Ｚ．Ｉｍａｇｅ　ｃａｔｅｇｏｒｉｚａｔｉｏｎ　ｂｙ　ｌｅａｒｎｉｎｇ　ａｎｄｒｅａｓｏｎｉｎｇ　ｗｉｔｈ　ｒｅｇｉｏｎｓ ［Ｊ］．Ｊｏｕｒｎａｌ　ｏｆ　Ｍａｃｈｉｎｅ　ＬｅａｒｎｉｎｇＲｅｓｅａｒｃｈ，２００４，５（Ａｕｇ）：９１３－９３９Ｚｈａｎｇ　Ｇａｎｇ，ｂｏｒｎ　ｉｎ　１９７９．ＰｈＤ　ａｎｄｌｅｃｔｕｒｅｒ　ｉｎ　ｔｈｅ　Ｇｕａｎｇｄｏｎｇ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆＴｅｃｈｎｏｌｏｇｙ．Ｍｅｍｂｅｒ　ｏｆ　Ｃｈｉｎａ　ＣｏｍｐｕｔｅｒＦｅｄｅｒａｔｉｏｎ．Ｈｉｓ　ｍａｉｎ　ｒｅｓｅａｒｃｈ　ｉｎｔｅｒｅｓｔｓｉｎｃｌｕｄｅ　ｄａｔａ　ｍｉｎｉｎｇ，ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ　ａｎｄｂｉｏｉｎｆｏｒｍａｔｉｃｓ．Ｚｈｏｎｇ　Ｌｉｎｇ，ｂｏｒｎ　ｉｎ　１９７８．ＰｈＤ　ａｎｄｌｅｃｔｕｒｅｒ　ｉｎ　ｔｈｅ　Ｇｕａｎｇｄｏｎｇ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆＴｅｃｈｎｏｌｏｇｙ．Ｈｉｓ　ｒｅｓｅａｒｃｈ　ｉｎｔｅｒｅｓｔｓ　ｉｎｃｌｕｄｅｎｏｎｌｉｎｅａｒ　ｉｍａｇｅ　ａｎｄ　ｖｉｄｅｏ　ｐｒｏｃｅｓｓｉｎｇ，ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ　ａｎｄ　ｃｏｍｐｕｔｅｒ　ｖｉｓｉｏｎ．Ｈｕａｎｇ　Ｙｏｎｇｈｕｉ，ｂｏｒｎ　ｉｎ　１９７５．ＰｈＤ　ａｎｄｌｅｃｔｕｒｅｒ　ｉｎ　ｔｈｅ　Ｇｕａｎｇｄｏｎｇ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆＴｅｃｈｎｏｌｏｇｙ．Ｈｅｒ　ｍａｉｎ　ｒｅｓｅａｒｃｈ　ｉｎｔｅｒｅｓｔｓｉｎｃｌｕｄｅ　ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ，ｉｍａｇｅ　ｐｒｏｃｅｓｓｉｎｇａｎｄ　ｐａｔｔｅｒｎ　ｒｅｃｏｇｎｉｔｉｏｎ．２１４４ 计算机研究与发展　２０１５，５２（９）