欢迎访问一起赢论文辅导网
本站动态
联系我们
 
 
 
 
 
 
 
 
 
 
 
QQ:3949358033

工作时间:9:00-24:00
博士论文
当前位置:首页 > 博士论文
基于Polygon_Refine_省略_et的违禁品X线图像自动标注方法_马博文
来源:一起赢论文网     日期:2021-07-26     浏览数:1324     【 字体:

第4 卷第2 2 0 2 1 年2 月计算机学报C H I N E S EJ O UR N A LO FC OM P UT ER SVo l .4 4No .2F e b. 2 0 2 1基于P o l y g o n- R e fi ne Ne t 的违禁品X 线图像自动标注方法马博文贾同刘益辄滑心语( 东北大学信息科学与工程学院沈阳1 1 0 8 1 9 )摘要近年来, 随着深度学习的快速发展, 其在智慧安检领域的应用已经成为了当下的研究热点. 众所周知, 深度学习方法是以海量训练数据为基础的, 然而手工标注真值( g ro u n d t ru t h ) 是一项十分繁琐的工作. 为此, 本文提出一种基于Po l ygo n Re f i n e Ne t 的违禁品X 线图像自动标注方法, 该方法在用户设定的包含感兴趣区域的初始边框( b o un di ng bo x ) 内自动预测出目标的多边形轮廓, 旨在生成可用真值的情况下最大限度地减少标注时间. 由于违禁品X 线图像存在大量的重叠现象, 导致图像背景十分杂乱、违禁品轮廓模糊不清, 因此本文首先引人多路径优化机制, 通过有效利用深度网络下采样过程中提取的底层空间信息和高层语义信息来优化多边形轮廓的边缘细节,从而提高标注精度; 其次, 本文设计一种混合损失函数用于优化多边形轮廓的整体形状和位置, 并同时消除真值本身存在的主观性误差使模型具有强大的泛化能力. 最后, 为了验证所提出方法的有效性, 本文建立了一个违禁品X线数据集, 该数据集包含2 6 2 3 张经过手工标注的X 线图像, 共1 0 类7 2 5 7 个违禁品带有像素级真值. 实验表明, 本文提出的方法在标注违禁品时达到了9 3 . 1 % 的准确率, 且速度约是手工标注的3 . 7 倍. 本文进一步证明了该方法在C i t y s ca p e s 数据集、MSC OC O 数据集等其它域外数据集上的有效性.关键词深度学习; 自动标注; X 线数据集; 多路径优化; 混合损失函数中图法分类号T P3 9 1DOI 号1 0 . 1 1 8 9 7 / SP . J . 1 0 1 6 .  2 0 2 1 . 0 0 3 9 5A ut om at i cA n no ta t i onA p pr o achfo r Pr o hi b i tedI tem i nX- Ra yImag eB a s edo nP ol yg on - Re fi n eN e tMA Bo We nJ I AT o n gL I UY i Z h eH UA Xi n Y u(. Co l l eg e o f Info rma t i on S c i e n c e  an dEn g in e e r in g ?N or Lh e a s Le rn Un i v e r s i t y ? Sh e n y a n g1 1 08 1 9 )Abs t ra ctI nr e c e nt ye a r s, w it ht h er a p i dd ev e l o p me nt o fd e e p l e ar ni n g ,it sa p p l i c a t i o ni nt h efi e l do f s ma r t s e cur i t y i n s p e c t i on ha s b e com e ar e s e a r chh o t s p o t. H ow e v e r, un f o r t un a t e l y , t h e r ei s no X r a ys egm e nt a t io nda t a s e ts o fa r f o r r e s e a r ch in r e l e v an t fi e l d ss u ch a sp r o h i bi t ed it e mi n s t an c e s e gm en ta t i o na n dTh r e a tI ma g eP r o j e c t i o n( T IP ) .A t th em e a n t im e ,i ti s uni v e r s a l l ya ck n ow l ed g e dt h a td e ep l e a r n i n ga p p r o a ch e sa r eda t a h un g r yan dt h e ir p e r f o rm an c ei s c l o s e l yr e l at edt o t h ea mo un to ft r a in i n gd a ta ,t h o ug h ,b utma n ua l l ya nn o t a ti n g g r o un dt r ut hi ns t a nc ema s k s i s a ne xt r e me l y ti m e co n s umi n g ta s k , e s p e c i a l l y in X r a yi ma g e s . F o r t h e s e r e a s o n s , t h i sp a p e r p r o p o s e s a n e f fi c i en t ap p r o a ch ba s ed o nP o l yg o n R e f i ne N e t( P RN )f o r  a ut oma t i c a nn o t a ti o no fp r o h i bi t e di t em s i nX r a yi ma g e s ,ai m in g a t mi ni m i z i ng th e an n o t at i o n t im ea n dyi e l dh i ghqua l it yan no t at io n s . I np ar t i cul ar ,w e  co ns tr uc t a“f ul l yco n v o l ut io n a l”n e t w o r kt o a da p tp r o h i b it e di t em s in di f fe r e nt s c a l e s a nds ty l e s ,w h i ch ta k e sa s i n p u ta na r bi t r a r y s i z ein i t ia l bo un di n g bo x收稿日期:20 1 9 0 8 2 9; 在线发布日期:20 20 0 5 1 3. 本课题得到国家自然科学基金( U1 6 1 3 2 1 4 ) 、国家重点研发计划( 2 0 1 8 Y F B 1 4 0 4 1 ) 资助. 马博文, 硕士研究生, 主要研究方向为机器学习、计算机视觉.E ma il :2 0 1 0 2 8 5@ S t u.n e u.e d u.c n. 贾同( 通信作者) , 博士, 教授,博士生导师, 中国计算机学会( CCF ) 会员, 主要研究领域为机器学习、模式识别、计算机视觉. E m ail :ji a t〇ng @ i S e .n eu . ed u .c n . 刘益辄,硕士研究生, 主要研究方向为机器学习、计算机视觉. 滑心语, 硕士研究生, 主要研究方向为机器学习、计算机视觉.3 9 6 计算机学报 2 0 2 1年g i v enb ya u s e r co n ta in in g r e g io n o fin t e r e s ta nda ut oma ti c a l ly p r o du c e s  as e r i e s o f co r r e s p o nd in g l ys i z edc o nt i n uo us v e r t i c e s o ft h ep o l yg o no ut li ni n g t he p r o hi b it e di t emb ye f f i c i e nt l e a r n i ng  an di nf e r en c e . A n do ur m o de l a l l ow s t h eu s e r t o co r r e c t v e r t ex at t h ee ndt o p r o d u c e as ac c ur a t ea nn o t a t io n r e s u l t s a s de s i r e d. B e c a u s eo fa l a r g e am o u nt o f o v e r l a p p i ng ph e nom en o n i nX r a yi ma g e s , t h eb a ck g r o un do f t h ei ma g e s i sco mp l ex a nd th e bo un da r y o ft h ep r o h i b it e di t em i sb l ur r e d.T o s o l v e t h i sp r o b l em , w ef i r s ti n t r o d uc ea m ul t i p a th r e f in eme nt m e c ha n i smt o r e f i n et h ee dg ed e t a i l so ft h ep o l yg o nbyma k i ng f u l lus eo f th el ow l ev e ls p a ti a li nf o rma t i o nan dh i gh l ev e ls em a nt i c  i nf o rm at i o nt h a ta r e e xt r a c t e dd ur i n g t h edo w n s a m p l i n gp r o c e s s .Th e n , w ed e s ig nami x e dl o s s f un c ti o nbyi n t r o d uc in g t h ee v a l ua t i o nm e t r i ci nt ot h el o s s f un c t i o nf o rmo di fy in gt h eo v e r a l l s ha p e  an d p o s i ti o no f th e p o ly g o na ndm e an w hil e e lim i na t i ng t h e s u bj e c t i v i t ye r r o r o na c co u nt o f t h eg r o un dtr ut hi t s e l f, w hi c hma k e s t h e n e t w o r k ha v e s t r o n g g e ne r a l i z a ti o na bili t y .Fi n a l l y , t o e v a l ua t e  t h ep r o p o s e da p p r o a ch , w ep r e s e n ta h i ghq ua li t yX r a y s egm e nt a ti o nda t a s e tn a me dPr o hi b i t edI t emX r a y( P IX r a y ) . Th eda t a s e tc o n s i s t s o f2 6 2 3X r ayi m ag e s b yma n ua l l yl a b e l in g , inw hi c h 1 0c l a s s e so f 7 2 5 7 p r o hi b i t edi t e ms h a v e p i x e l l e v e lg r o un dt r ut h . F o ra f ai r com p a r i s o n ,w ev a li da t eo ur ap p r o ac ho no ur P IX r a yd at a s e ta nd t h ep ub li cC i ty s c a p e si n s t an c e s e gm en ta t i o nd at a s e t , r e s p e c ti v e l y .E xp e r i m en ta l r e s ul t s de mo n s t r a t e t h at o ur a p p r o ac ha c c e l e r a t e st h ea n no t a t io np r o c e s s b y af a c t o r o f3 . 7i na l lc la s s e s o fP I Xr a y ,wh i l e a ch i ev i n g9 3 .  1 %ag r e em en t a ft e rm an ua lf i n e t un in g  i n Io U ( I n te r s e c t io no v e r Un i o n )w i t ho r i g i n al g r o un dt r u th , m a tc hi n g t h et yp ic a la g r e e me ntb e t w e enh um a na n n o t at o r s .B e s i de s , w eo ut p e r f o rm t h eba s e lin e s in 8o u to f1 0 c a t e g o r i e s ,p a r t i cu l a r l yw e l l int h ew r en c h ,p li e r s ,b ata n dr az o r . O ura p p r o a ch a l s o  o bt a i n s a nI oUo f 6 7 .  9 3 % o n Ci t ys c a p e s  da ta s e t w i t ho utu s i n ga nyf i n e t u ni n g .Wef ur t h e rp r o v e th e e f f e c t iv en e s s o f o u r a p p r o a c ho nA e r ia lR o o f t o p da ta s e t ,MS C O C Oda t as e t an dPA SC A L V O Cda t a s e t .T h er e s u l t ss ho wt h att h eu s e r sc an us eo ur a p p r o ac ht o ac hi ev ear e l at i v e l yh i g hr ed uc ti o ni nt i m e f o r a n no t a t i ng an ew s eg me nt a ti o n da t as e t .K eyw o rdsd e e p l e ar ni n g ;a ut oma t i ca nn o t a t io n ;l o s s fu n c t i o ni 引言公共安全检查一直以来都在保障国民安全方面起着至关重要的作用. 在各种检查手段中, 低成本、非接触、可成像的X 射线安检机的应用最为普遍.随着深度学习[1], 尤其是卷积神经网络的快速发展,目前可基于一些深度网络模型自动地从X 线图像中识别出违禁品[ 2 4 ], 例如手枪和刀等. 随着对该领域研究的深人, 许多问题被重新提出并尝试用深度学习方法加以解决, 例如违禁品的分割[ 5  ] 和图像注人. 但深度学习方法是以大量数据为基础的, 并且模型的表现与可获得的训练数据量以及标签质量密切相关[6], 这就需要手工标注大规模的数据集, 最好是带有像素级( p i xe l l ev e l ) 标注的分割数据集, 由于其包含了标注物体的全部信息.X r a y da t a s e t;m ul t i p at h r e f i n em en t;m i xe d然而大多数分割数据集都是通过标注人员手工勾勒出目标的多边形轮廓来制作的[7 ?], 平均每个目标耗时2 0?3 0 s[ 1 1 ], 十分费时费力. 因此, 不少研究旨在减少对像素级标注的依赖[1 2  ̄], 例如M i ao等人[1 5] 利用弱监督学习方法定位违禁品的位置,但该方法的表现还达不到在实际中应用的标准.其它研究, 比如Ch en 等人[ 1 6 ] 利用更容易获得的真值, 如边界框( b o un din gb o x ) 真值, 并利用类似〇?0^世[1 7] 类型的方法在每个边界框内生成带有噪音的标签, 但经研究表明, 这种标签由于其内部固有的不精确性, 只能用作辅助数据, 不能作为官方的标准数据集#1 9 ]. 为此, 针对具有复杂背景的X 线图像, 本文提出一种基于P o l yg o n R e fi n e N e t( 简称P RN ) 的违禁品X 线图像自动标注方法, 旨在加快标注违禁品的速度, 生成精准、可用的真值( g r o un dt r ut h ) , 功能示意图如图1 所示.马>爾3?等: 基于M喪扯Refi ttNe t  61 趙齡品X 2: _庫# 自翁棒_^操 3 9 7 期一种基于Po lyg o n-Re fi neNet 的违禁品X线图像自动标注方法图1 :#食龙法具体功簾示意图( 首先用卢在修辑猶菌襻#嫌歲:一?包含感德敏K 域齒ft塞挺寸:的初1_形边. v接着攥灘# 自动预测迅—系到勾勒嫌攀品轮廓的多gi 雅顶点,屬嚴愈许用户爭齊鎩顧爾测的多S靡M鑛細I ,可用漏債:)为了验怔所提出方法的有效性, 本文建立了一个违書品X 线数播集, 屬叫Pr oMbite d It em X, ra y数据集f 简称P IXr a y 数据集, 该数据集包含2 6 2 3 张经过手工标注的X 线图像, 共1 0 类7 2 57 个违禁品带有像素级标签. X 线扫描图像不同宁普通彩色图像咖], 虽.然行李箱( 背包满者手握箱等.) 中的物品一鑛都随机、翁乱的堆美霍一起大量_ 麻携现象, 但当行李箱通过X 射线安裣机的时候, 由于X射线的透射性能, 使得安检人負可以_ 时在扫播W像申:看到前寅的物品和后面被: 遮葡:住的物I; 这种现象被称为重叠现象X 线匣像的这种特性对于计算机视觉领域来说既犛优势也是挑战: 优势是可以通过重羲现象标注齿整个违禁品的轮肆, 包括被遮裆的部分, 得到违禁品的全部倉息; 挑战是X 线围像背#本身就十分复杂* 加之违禁品通常在尺.食形状和样式上.具有相当大的变化, 而且每个违禁品都有可能与任意数量和类型的安全物品或其它违禁品:混合、重叠. 这些J E因都会导致违禁品的轮廓模糊不清.为了在x 线图像中f示注出准确、可用的真值.本文处理背景复杂间题的主襄方法是:( r? 高敎地利用深度网络下采样过程中提取的各个层次的特征燈息, 特别是底层空间信息, 其可以帮助在复杂场景下生成猜■晰, 准确的边界K 2) 提出了一种混合掼失函数用于优化多边形、的整体形状和位蹙*苹文的主要贡献有两个针对上述的x 线_像特点, 本文提出一种基于P ol y go n- Ref i n elfe t的违禁品X 线睛像g 动标法方怯, 用于对X 线图像迸行像素级标注. 读模画的特点是可'以在复杂背景下生成精准的边界, 并且可以适it尺度、样式变化很大的违禁品■, 示意S 如圈1 所示: ( 2 ) 本文建& 了一个高质量的违禁品X 线数据集fP I Xmy 数据,集;用于违禁品的高效标注研究. 并为未.来替釐安检领.域的其它任务提供一个标准数据集. 在H Xray 数据棠上的实验结杲表明, 本文提出的方法在标注违禁品时达到1"既1% 的准确率,. 并且連度约最辣手工标注的3 . 7 倍^ 此外, 本文进一步证明了该方法在Gtys eapes 数据集、MSCO C O 数据集等其它域外数据集上的有敏性,2 相关工作2. 1 像素级标注手尤对西像进行像素级标注是一件十分费时费力的X 作?一直以傘参交直式禄注方法被提出:傘来加快该过程. 例如Boyk o v 等人[ 2 1 ] 通过用户手动标记某些像素为“目标” 或奮“背景” 所提供的硬约束, 再结合包含边缘信息和区域信息的软约東来完成分割. S h an ka r 等人[ 2 ? 逋过在标■ '和‘增景” 上使用多个雜鸦, 并利用运动提示来#注视频中的目标. 文献&3] 同样使用徐鸦来分割, 标>’和“ 背#'不同的是、L hi 等人之后使用卷积神絝网络来进行图像语黑分割?截是: Gra phC u: t sM倉:法的改进, 包括将基于灰度分布的模型替换为高斯混合模型以玄持彩色图片, 将一次性得到结果的算法改成强大的迭代过輕,该算法利用了图像的R G B色彩债息和边界倩息, 只鼕少1 的交互操作即可#到比ft 好的分割敏某? 基于这个思路, R4cW 辱人D 4] 将G ra b Cu t 算法和卷积神经闱络结含在一起来分割B IT面像; C hm 等人[ 1 6 ] 利用3 D 边界框和点云来协同标柱, 雩等. 大多数这些方法将目标分割视为像素叛分类间题, 这就导致很难对标洤结果进行修改, 并且在由明影、图像饱和度或对象的低分辨率造成的模糊区域中表现不佳, 相对虛地. 文献D25 ] 和文献£2? 旨在寻找勾勒出目标的最优边界. 文献[ 2 7 ]中, D uair等人通域在小的多通形中生或超像窣, 并将这些超像素合并为对。象区域来标注航拍H 像. 文献[1 1 ] 和文敵[2? ] 采用了另一种新的处理像素锲标注的思路. 即通过预测勾勒出目标多边形轮廓的一系到顶点来实现分割, 这样做更符含手工标注的行为用少量的多边龙顶屬标注出的目标便于真改, 仅需修改预测错误的顶* 即可? 与文献& 1 ] 和文献[2 8 ] 相同, 本文也通过? 测目示的多边形轮廓来实现分割. 不疴的是, 本文通过在模:型中加人多路径优化机制和混合损失菌数来优化预测的多边形顶点39 8 计導机攀报 :_1苹以在复杂场景下莸得精推的标结果.2. 2X 线数据集x 线S 像是通过x 射线照射物体并根据它们的光谱吸收率用伪餐色徨染它们得到的.. 例如, 康属材质一般为蓝色r# 机物一般为檀色*混合物一般为绿色. X 线图像最大的特点就是存莅大量的重叠'现象, 而这种特点也为计算机视觉领域带来了全新的挑战. 随着目标检测领域的飞速发展, 许多研繁人员钟对这些困难做了很多工作并取得了一些。成巣但本幸的是,: 用于研究目的的公开x 线数磨集却少之又少, 虽然近期发布了两个标准数据集sGD Xr a y 数据集| ?4 ] 和S IXr a y[ 1 5]数据集但其启身都存在:着一定的爲限性. GDX r ay 数据集中主婆包含3 类( 手枪、手里剑和斜须万片)约1 〇〇〇张带有违禁品的X 线扫描图, 但菌像背#十分商单且是灰度图, 不能模拟寘实场景, 因此应用受SJ了限制. 与GD Xr a y 数据集不同,SI X my 数据集提供了大量从地铁姑收集的真实世箅的X 线扫描图像, 其中8 9 2 9 张图像带有违禁物品, 违禁品种类包含6 种,分别是手枪、刀、扳手、钳子、剪刀和锤子, 但作者仅为其中的大约1 4 00 张图像进行了边界框标注, 其余的标注?为图像级( i ma g e -l e v e玖真值, 背景简单. 、数据匮乏、标签弱等两题都为智蓄安检在实际中的应甩带乘了圈难?3Po l y go n- R e fi neN e t模型_ 于x 籍13 描面像本身存_的由重齒规象造成的背景杂乱、违禁品轮廓模糊不清等间题导致现有的厨像标注_ 型弁不适用线菌像? 为此, 本戈提出Pe> l yg 〇ii"R ef i n.eSet携:型, 筒称PRH養Sf鲁在ft:康输难v讀用的真檀( grou ndt r u th 时,加快标:注违禁品的速度? 该。模型仿照手工标注数据集的过程, 通过预测目标的多边形轮廓(封戽:) 来卖现标■注. 特别地s 本文#多边形轮奪参数化为一承列连续的2 D 顶启^ 其中两个连续的顼点顧成一条边.值得注#的是, 由于封闭的多边形是由顶点构成的循环序列. 西此通过选择不同的起点和不同的方向就可以得到多个等救的参数化形式, 本文固定生成多边琅的方向为顺时针方向, 但起点位奮,是任意的,由隹型‘自动选择.本文假设用户在:每次标注时都会事设定— 个包含鑛兴趣区域的任意大小的初始矩豫边框s PRN模型会自动栽翦出边框所包含的图像内容作为输入. 模型的总体结构.采用编码器+ 解码器+ 优化器?如画2 所示. 其中编码器用于?取图像特征, 包.括底島视觉特征和高层语义特征s 解码器用于每一个时刻解码( 预测)一个顶4位鸶, 优化器用T 优化解码器输出的顶点. 位S 以在复杂曹景下#5 1! 精准、细致的:高箱度结果. 输出的顶点位置表示齿与输人图像反寸相同的网格( 大小为H X W , 其中H 表示输人图像的齊度, W 表示输人图像的寘度) 中的位置.PRN 模感允许用户在暈后手劾微调预测费舆的灰点以获得准确、有用的寘値?P頭模■ 的具体结构如图3 所示. 接下来将详细地介绍PR N 樓型.貫:tPKN 獨複总体緒构圈:3 . 1 模型结构在前人的工作中[ 1 1 ?, 作者将每一时刻模型预测出的多边形顶点位鸯处理为多分类问題, 引人全连接层, 导致模型的输人只能是固定尺寸的* 进而造成许多长宽比差别很大的违禁品在缩放图像时边缘细节就_已经丢失. 为3* 更好地适应不同违^禁品在尺度上的義异性. 减小由于缩放图像尺寸而造成的糖盧损失, 本文建立了一个全卷积网络. 接下来将分别痒细地介缉構型的各个部分, 编码器、解码器以及由多路径优化机制构成的优化器.3 . 1 . 1 编码器大多数模型通过执行重复的下采样操作来莸得高眞谞义倩息, 进商实现分割任务. 但这样做不仅牺牲了输出的分辨'攀[3 5 3 6]? 而且忽略了大薰的空间视觉:信息? 为了缓解这种情况. 本文在模塑中充分利用下采样过程中提取的各个层次的特征信息, 包括底层_ 间倩息? 例如边倩息和角倩息, 和高层语义倩息? 整个编码器的主干卷积神轻阚络的选择是任靠.的, 本文采用V GG - 1 6 结构t3 7 ], 首先舍弃了全隹接績_最后. :最:大池化层,: P?a l 5 _ _着分别取VGG- 1 6错构中第二个、.第三个和第四个墩太池化层( P 〇〇l 2 、p〇? 1 3 和poo l!) 的输出作为本'同层次f:本同舞#率)的特征信息, 并表示為1 心, iV PWs 猶时为了节省内存空间,本文同样不采用第一个最■ 太池化层的输出, 编码器績构如_3 所示马博文等: 基于Po ly go n-R efin eNe t 的违禁品X 线图像自动标注方法 3 9 9H X WX 3po o l3H2X W2X 2 5 6poo l4H3XW3X 5 12、?编码器ConvLSTM-2Light-Weight|,Re £ineNet-2H2X W2X 32ILight-Weigh t Re fineNet-1Co nvLSTM-3 !-?H2XW2X 32Fusio n-LW CRP-LW解码器H3X W3X 32 ? H3XW3X 3 2优化器图5樣糜结梅8# 图( 在'每一个对间# ;3 4#碍■黎( C em‘ST M 1J 、3>分刻接收;( 1:> 编興器i s jf提取翁不同艤炊(不同分幽的特钲信怠; (2 ) 前爾个时崗_ 讀应蠢fl 嚣讀出飭琉盘位置信息; ( ! ) 该分縣率下的起点& 置信麗二麵梅凝龙#*本文儀用由多路径优制梅成的优化镲乘澤步敵合、细化当前:緣爾藤妈靡的KJl像置信息以鲁雜一个淮Ifcli分醇攀卞If 顶点位置,蘼麗姐ASIB 空间横‘Si :養规看娜端:餘观橘》3 . 1 . 2 解码器循环神:激网讓(R跋u r r en t jfcura l Jfc twojk , 霄称KN N 1綦一种十分强大的可以处理时序數据的神经网络, 其通过采用线性和非线性S 数来传递历史詹息? 但本文不仅希遒RNN 可以对勾勒出目标轮廓的多边形顶点进行连续的预测, 而且希望RN N能够识别物体的形状? 因此, 率立采用卷积长短时记忆网.络'(CQii v &l ut i o n a lL S TM 釋et S¥〇r k,: 筒称Con vLS TMD s]〉作为解码器, 于其可以同时处理时间信遺和空间信息.》弁耳相比于全连接RN N ,Con vLS TM 由于其来用畚积操作从而减少了需赛学巧的参数.一个简单形式的单层C on v LST M 的公式定义如下:= WX* Xt +Wh^H. ^ + bCi =f0 dj  1+ ( T( {,:3-<>t an h(g-t) C i )H i= a ( 0,)sta n h C C ,)_中, 馬表零输人:, 比<和HV身挪表:攀前一■ 时刻的输出和当前时刻的输出, c : _a分剔表示首一肘刻的细胞状态■当前财刻的细胞拔态rU响分别表示输人n 、遗忘门和输出门, ^ 和分别表示输人层到当前状态的权童矩阵和隐_貢到当前状态的棂重:矩: 阵U ( T 表示§ i g ln 〇i d 遽数。” 表示元憲'親,表示卷积操作.在:同一隊刻,本文藥:用3 个奪积核:大小为3X S ,卷积核个数为3 2 的单導的C o nv LSTO 来分姐解码不词# 辨寧下的2D 顶点■量》& 和_v 3 ,, 每一时刻每个CmwLSTM 接受4 种信息作为输人, 分别是对麗的不同蠢钦前图像# 征債麗, 对麗GfHwL S Til#ir两个时_ 谏测的疏jc 位:置2 i 和,以及为了确定何时绪束预测而需襄的起点俭蒼債息义, 每一时刻每个CoiwLSTM 的输出表葫为/ W, / 诏维的#征傖臬, 其中前XW, 维表示不同分辨率下对唛的顶点可能存在的2 D 俊置,編一纖_道数? 其中卜1, # 細_3 个単层:的CSo n vLS TTM , ? 个Co nv LS T TM 输出的分羅率分姻:是:输人縛像太4、的l /4 X l /4 , l / i Z: . I /B 和1 / 1 6 X 1/M*懈码器结抅如图3ff示?在P RN 模型‘中,铪定两个達. 的多边形顶点,下一今顶点退被唯一确定: 的M 2 S ], 但.初始顶点( 起桌除外. 为此 <本文提出一神高效的初始顶点选取方法,利用两个虚拟顶点来自动选择初始顶点的位po ol22 期bllooA- - -4 0 0 计算机学报 2 0 2 1 年C P^fw )图5Pii s tet^ LW 单:元:结构示意图图#CRP LWIjg黎霄示鵞舞如揭3 所示, 整个优化过程开始乎藥兰个解码_器(Coii v L STM- 幻的输出为” 首先逶过C RP- L W单元用于提取洳中最显著的特怔(顶点巔可能眷隹的隹蠻) , 猶■得薄拿_ 是^ 如舉R ef iaeTteirLW模块只有一个输人, 比如屬3 中的第一个优化樓块,Re fin:eItetL W l 稿块, 则该输人鱗葺廣逋过F us ionLW 单元, 不发生任何变化? C RP- L W 单元是一条由#个池化块组成的餘式:_ 构, 每个池化块由一-个池化窗口为5 / 5 的最大池化层和一个卷积核大小为卷积孩个数为3 2 的卷积层邀成, 每个池化块都利用最太池化层来撵取输入池化块数摒中的显奢特征, 之后进行遂元素相加来保证每次提取的显濟特征都被保售, 重复3 次直到将大区域中故显著特征提取出来? 之后, 经-过C RP L W 单元提取的大K域M 蓍特征和第二个解码器( C tm vL S TM- 2 } 的输出%—通被逢人到Fti s! o : n- L W 单元届宁:融不同层次的特征信息- 在F us i o-n LW 单元内部,每条路径都首先经过卷积核大小为I X 1 , 卷积核个数为32 的卷轵层用于償祀输人数据, 生成相同通道数的特征图,之后小分辨率的输人经:过上采样层上采释到该路径的最大分辨率后与大分辨率的输人逋过遂元素相加方式融合? 然B , 苒将融合Q 的特征詹息送. 入到CR P L W 块中掛乎提取融合信息中的太K 蜴显著特怔, 重复此过箱熏到迖到所需的分辫率, 优化器优化过裎热力图如图7 所示. 最?后将优化结粟链过4 倍上采禅后输人到一个卷积核大小为3/ 3、卷..积核斗数为1 的翁积fi: 歌乘产生穩分图0<?#m a p )V鲁一时置, 模仿人类的视觉特点, 取输人圈像中相邻的两个待征点作为两个虚拟预点, 比如角点:或边荠, 为此,本文首先将h 送人到一个卷积核大小为1 / 1 , 卷积梭个数为1 的卷积茛中用宁提取输人数据中的特征点t 并将输m表示为K , 接着取朽中最大值的位置作为该分誉率下的第一个虚拟顶点>表示为凡2 1 , 之建在_V u 质点附近的S 像震内取次大償的位置作为第二个虚拟顶点, 表示.为;Vm . 梟后分另! J 取, i 2 >,_v u 1 > 坐标的1 /2 , 1/4 作为八, 1^ 分.辨率卞雜虡拟; 表示为外2 > 、為r >知n *麗拟顶,备选取过程如圏‘ 所示.貫i 庳:麟.顶离翁取猶奪藏騖圏:3 * 1 . 3 优化赛现有的一些图像标注模塑K? S ] 虽然采用1普通加和方式融合了底M视觉倍息和裔层语义信息,-但其在融合信息的过裎中或融合后逸人到解'码器的过程中又重复使用:f 下采样操作, 导致底屋视觉債息的作甩大大降低. 为解决这个问题,? 实现模型在曹景复杂的X 线图像中既快速文猜准地标注违禁品的目标,本文提进一种基于多路径优化机制的.网絡模型设计方怯, 如图3 所示, 由多路径优化机制构成的优化器是由三个Li gh t W e ig h tR e f i n姻e t 优化模块组成的三缓优化:域賴, Li gh t-W ei gh tR e f in e N e t 优化模块, 筒称Re&siN et- LW 模块_,是利用多层柚象特征来遂步■细化预测的顶点倥置以得到精准的高分辨舉结果I 其中高:层涪义特征用于把握对象或类别倩息,底层视觉特征用宁生成精准细致的边界, 每个R e f in e N e t -LW 模块由两部分组件纟旦成, 分别是融合块( 简称F us i on L W 〕单元和链式残差池化块(C h ai n edS e s i dua lPoo l i n g- LW ,CR P- L W)l|元? F tt s i on- LW 单元和CRP L W 舉元的律細爾构脅别如图| 、通S 所示.3jd日BsdDzx马>爾3?等: 基于M喪扯Refi ttNe t  61 趙齡品X 2: _庫# 自翁棒_^操 40 1 期刻得分面的输出维度为H X W 维; 表示当前时刻顶点. :R可能存在的2 D 位置. 整体得分图的输出表示为w X H X W 维s 其中w 表示预测时顶点数. 整个模霞可以实现端M 端的训练,M要的是, 优化器的设计可以实现细粒度底层视觉信息和粗粒度高层语义信息的合理融合, 使预测出的顶点,僮置得以细化.@ :Re f i neNet-LW优化模块图7 优牝#优化过輕義力图3 . 2 混合损失函数本文设计一种混合掘失函数用来评估模型的预测植与真实值时不一致程.度? 读损失國数分为两个部分: 分类损失函数和多边形回归溃失函数. 其中分类损失函数用fit 摟蠢' ? 学工标注时标注方式和标注特点j- 多边形回归损失函数用于修M预测多边形整:体的形状和位置, 并同时消除真值本身存在的主观性误義, 防止过拟合现象的发生, 使模型具有强太的泛化能力. 盩个模_ 的损失函数定义如下:L —L. eb + AL^gC 2 )其中, 表示分类损失函数,Ug 表恭多边形回归损失涵数, A 表示乎衡参数, 用于乎衡分类损失涵数和回归损失函数的数量级, 使模遭. 在训练时均匀考虑两种损失函数? 接下i来将详细介络混含_ 失函数的每一■ 部分.( 1 ) 分类摄失函数. 由于本文将每一財刻预测的顶点位蠢处理为与输入图像尺寸相词的网格中每个格乎的二元分类问:题, 所以对每个格子采用二元分类的交1熵损失_ 数. 定义如下:L^g—(Yit la giTi ,  !l + ( 1  Y^s)  ls g C l  1 j  ( 2)其中表麻灣前时刻一个格子的顶点美值(0 或1 5 ,兄,表示当前时刻对应格子的预测值< 概率值> , 1y. e co . i ) ,( 2 ) 多边形回归损失通数; 对宁任意一个多边形, 其每一条连续的边都可以离散成无数个顶点,. 西此, 就可以通过无数种组■合來句勒出一个多边形. 但由于手工标注训练数据集时存在的主观性(训练集:翁fi点继标真偉'( gr puMi tru t h》臺魔:定的) 而导致不能客观反映现实中选择多边形顶点的多样性? 即如果单纯使用分类损失函数作为整个模型的损失函数; 就会遣成只.有当顶点茧标预测值与顶点坐标暮值完全重□合时损失植才会下降的情况, , 这就违背了现实中多边形顶点具有多样《^ 的条件. 示:意图如图8 所示% 当顶点,坐标预测植为第一种情况时* 只使用'分类损失函数作为模型的总损失函数是没有问題的, 但当顶点虽:标预测值为第二种情况时( 现实中还有根多类:似情况, ? 中只举一例), 虽然顶点玺标不完全重合, 但预测结菜准确率却揍近1 〇0( , 如果此时模型只使用分类损失画数作为总损失函數, 就会造成严重的过拟合班象. 为锾解这种情况.. 本文亏丨人Gl a lJ损鸯菌数 C Gene r ali z ed I nterggc t i cm ev erUn io n)[ 4 ° ] 作为多边形回归损失函数, 将评价指标引入到掼失函数_ 中, 用于消除真值本身存在的主观性误差, 并同时优化预测多边形整体的形状和位:蠻.顶点坐标真值(GT)顶点坐标预测值第一种情况(顶点坐标完全重合)第二种情况( 顶点坐标不重合)损失值分类损失函数 很小 非常大分类损失函数+回归损失函数很小 较小准确度( I oU)1 0 0 % ^1 0 0%_ 8 主:赚猶::德歲續擁_JWS :檩讓时产逾韵鬱响G I oU 损失函数主要雜决. 了当I oU 作为撗失函数时. 预测樞与寘值樞不重会, 损失值.为〇无法优化的问題. G I oU 損央函数的公式定义如下:/ |A n g| jC VA U B )I V'|A U B|\c\/C 4)其中,A 、B 分爾_示预猶多边形和真瘡多边丧, C_示包围A 、B 的最小凸多边形( 为了方便, 本文梁用姖獻4P IX ray 数据集为了菌SEP〇l fg加Rfefi ne N e t 输型的有斂性,.本文建立了一个违禁晶X 线数据.集,P lX r a y 数摒集, 该数磨集共有2 位3 张X 线圈像,包含1 0 神类型共7 3 5 7 个违禁品, 违禁品种类包括手枪( Gu n ) 、40 2 计導机攀报 :_1苹刀( Kn i fe d 扳手( WM n ch ) 、钳子C P li e找) 、剪刃(:&丨3领功) 、打火机(1^1 1 彳游1 》、电池【15?魅6 1^ 》、_ 球棍( Bat ) , 剃癒刀弁'( Ra zo: r ) 觀压: 力脊器C Pr ess tt reVe ss e l? 简称P V 1  ?P I Xray 数据集的详细统计嶺息如表1 所示. P lX r ay 数据集由两部分构成》第一部分, 本文从SlX r ay 数据集[1 5] 中随机选取了'其中较清楚的5 涊张带.有违禁品的图像作为PlXr ay 数据集的一部分,这一部分包含了手枪、刀、扳手、钳子和剪刀这5 类违禁品.肩于SIX m y 数据集. 中锤f的样本太少■ 所以本文没有采用. 第二部分? 其余的2 0 70 张X 线图像綦由实验室人员模拟真实场景采集的s 包括刀、打火机、电池、棒球棍、刹须方片和压力容器这6 类十分常见但却容易被忽视的违禁品. 每涨图像都由型号为UN X5 〇_? E 的X 射线安检机扫描得到, 所?有? 傳均保存成J PG 格式. 之后使用开源软件La b elM e[ 4 1 ]来手工标注全部的X 线H 像, 效果图如图9 所示,表1PI Xray 数据集的种类分布表种类 数量/ 个手枪 4 5 7刀 9 7 4扳手 1 7 5钳子 1 3 6P I Xr a y 数据集 剪刀 4 8(共2 62 3 张X 线图像) 打火机 8 4 0电池 1 4 2 3棒球棍 6 9 2剃须刀片 1 1 3 5压力容器 1 3 7 7图S'P I 5fea,徽:擬|| 手工餘衝#果圈其中每个违禁品的募值都由?勾勒出该违禁品轮廓的多边赉的顶点坐标愈成, 每张图像都有一个用名字对应的J S 0 N 文件用于保#真值憤息,5 实验结果与分析本文的隻验环翁为'? TX 1 0#〇uGP U , 深度攀习框藥为Pytordi , 編藏潘言为P yt hon . 举,将分为两个部分来展示实骖结桌, 域内结果和域外结果.域内结皋* 即PR N 模谨在P I Xfa y 数据集:上的各项指标测试结某? 另1卜, 为了蕙直观地展示PK N 模型的优点并同时证明P lX wy 数据集的合:?性, 本文分别在H Xr a y 数据集上测试了其它现有的主流标|Ss犧M ?例如 Efee plyfes k權:虚[ 4 23、S h: ar pMas k 模:_& 3 ]、P cd ygan-RN K携型[ 1 1 ] 以政Polygon-1P4N+ +檬型[ 2 8^ 域外结果, 为了进一步分析PR N 樓型的各项性能. 本文同祥展示模型在其它域外数据集上的表现括pt psc a pes 数据集[1 0]、Ae ari a l R?Qft〇p数舉掌l 2 6 ]、MSCO CO数据藥?3和PASCA LV QC: 歡据集[7 ] ? 值轉往翕的‘是, 以下实验结果中&到的'自动顧注结巣均指模型6 动预测的结某, 即不經过任何手工微调.接下来, 本文将主要从以下三个方面来评价PRN 模.型( 1 ) 评价模越寿i 动预测多边形轮廓的质量* 即计算'每一个预测多边形和对应的寫值多边形的拟合輊度: , :襄用t示推I〇U<I ntor SBet kmoverUn i〇n >值来度量f 以*W 分数形式表示) , 并求其平均値K 2 ) 评价模型标注违禁品轮廓的速度^ 即计算平均标注一个违禁品所需的时间K3 ) 评价甩户最后手工微调顶测多边形的人工操作量, 以修改次数銜量,即对f一个模適自动标定的多边形, 统计几次的.鼠标点击修改才能使多边形达=SJ P期的准确率...5. 1 域内实验S .1 .  1P IX r ay 数据葉如上所述, P I Xmy 数据集共包含.2 6 2 3 张带有违禁品的X _ 图像, 本文随机逸取了其中的2 1 0 0 张围像作为训练集, 1 7 3 张图像作为验证集, 剩余的3 5 0 张图像作齿测试集>表2 展示了将P IX r ay 数据集拆分后每种违禁品对璲的个数.表2P lXr ay 数据集拆分结果表拆分手枪/ 个刀/个扳手/个钳子/ 个剪刀/ 个打火机/ 个电他/ 个樣球棍/ 个剃须刀片/ 个压力容器/ 个违禁品总数/ 个图像总数7¥训练集 ̄3 ¥77 & 6HiI I2 26 3 5l lli54 29 9 91 1 7 65 s l i2 1 0 0SISS3*82:1?IfS5 93 3mI S*S9 11 7 3测■集5 51 1 64头3 6I S1 412i7 6j 〇31 1 81 3 ¥1 0| S3 5 | :马>爾3?等: 基于M喪扯Refi ttNe t  61 趙齡品X 2: _庫# 自翁棒_^操 40 3 期g ‘ 1 . 2 质量评估表S 璩示了不同擦型在P IXr a y 数据集上的测试鐘果v包括Ete雄Mas k 模屬t4 2]、S*h a r pMas k;模讓^ 3 ]、Po l ygor^ R_權葉P 1 ]、P ol y g Qn R N萬十+權:爾》] 以及本文提出的P〇ly g〇n R e£i n兩et 模虜. 为了保证公平, 本文均展:示没有经过任何手工散调的错果. 从表3 可知, 现有的标注模型在违禁薪X 线图像上的表现并不理想,De e pM as Ic 模葉谢于R 采用深度卷积神经.网絡中的高层语义信息进行分割,导致之后利用双线往上采样搡作将分餐结某放大到与愿围像相同尺度后. 物体边缘十分粗糙_ S h ar pMa sk: 檩讓,Po ljfg crt i KN S 撬型和:P o: lygon RNN + -|-模型虽然融合了底层空间信息与高层裔义信息来实现边缘细节的优化, 但这些摸:型并没有考虑底层视觉信息的利用率而且在损失函数的设计上仅考虑了顶点的预测俊置, 并没有关:注生成多边形的整体僮置和形状. 相比而言, 本文提出的P RN 模型在PIX r a y 数据集上的表现十分优秀, 1 0 种违禁品类别中有8 种类别的准_ 率超过了其它模型; 平均准确率也趨过了蒙雜进的樣型( P〇iy g 〇n Ri#? + +模領.)约5 . 6 % ! 特规是在扳手、钳子、棒球棍以及剃须刀片这四类存在严重M现象或尺度差异较大的违禁品上. PRN 模型标注的准确率更是大幅度领先其它檬型., 圈"10 展示了使用PR N 摸型自动标法; 违禁品乂线_像的结果. 同时为了吏直观地突出PR N 樓型的优|| , 本文義_ 1 1 中进一步:屬:示了使用Pol ygonRNN + +模型自动标法图1 Q 中Cd)组图■像的结果, 从对比结巣_知.湘比于P〇l y g〇n RKlN + +_ , :PRN_D ee pMa s kS ha r pMa s kP o l y g o n-R NNP o l y g o n-R NN+ +P o l y go n-R efi neNe t表3 在P IXr ay 数据集上的表现结果( IoU 值/ % ) ( 不经过任何手工微调)手枪刀扳手5 6.  926 3 . 5 74 9. 3 25 9. 936 8 , 6 35 2 . 8 46 1 . 3 77 1 . 0 15 4 . 7 97 1 . 4 57 7 . 2 862 . 9 57 8 . 3 47 9 .4 47 6 .4 3钳子3 8 . 6 04 4 . 3 76 6 6 4剪刀打火机 电池"5 3"4 5剃须刀片压力容器6 1 .  1 46 4 . 1 864 . 456 7 . 3 86 6.  526 9 . 7 37 9. 078 0 . 1 18 6 . 2 18 6 . 0 9平均值8 1 . 0 7groundtruth基于PRN模型的自动标注结果( a ) ( b)(c ) (d)图1 0 在P lXra y 数据集上的标注结果图( 每一组图像( ( a ) ( b ) ( c ) ( d ) ) 中上方的图像为真值图( g ro un d t ru th ) ,下方的图像为自动标注结果图( 没有经过任何手工微调) )基自型果的 m标 注细节圓11 分规使用: PRN 模邀和'Pel f iSn-. BKN + + 攥:型f攀i R — 张X與腾歡的结果Sf 比:顧場型能够在图像曹量十分杂乱的情况下更精准地把握违禁品的边缘轮廓细节t 并且可以重好地标注长宽比差别很大的违禁品, 例如图U 中的兀但P RN模型本身也存在一定的不足, 比如绎菌个童;叠物品颜色f 分栢近时,P RN 模_ 的表现并不理想, 如图1 1 中的两个fi■枪?5 .1 . 3 初始边榧鲁棒性分析A 于用户在设定包含感兴趣区域的初始边框时赛在极大的主观因素,'因此本文逃一步分析给模型输人不同尺寸的初始边框时樓型的准确率变化情:况, 即以初始边框宽度和? 度的百:分比随机扩展初基于Pol ygon-RNN++模型的自动标注结果6 5600369121 5点击次数m:修破jfc觳与对倉勝i拿壶化曲:緣虚5 . 2 域外实验为了金面分析PRN 模型的性能, 本文进一#在冥它域外数据集上做T一系猶实验., 包括Ci t yS?ip'#: g数繫_C l 。]、A eri alR oo ft o p数据_I 2 6]、M SDQ CO数据集w 以及PA SC ALV O C 数摒集ra_ 嘗先在Gitys ca pes 数据集上童新训练了P RN 模遵, 并详细地雇示了美聽结果. 之验证I4 在 Ci ty&c Apes 鐵屬集上f 丨练过的模型对其它未知数据集的泛化能力,包括A ex i a l Rooft o p 数据集、MSCOG O 数据集和PA S CA LVOC 数据集sS* ; 2 .  1 域外数:据痛Cit yscapes 数据集晶目前最全面的图像分割标准数据集之一亥数据集的图' 像取自2 ? 个德画城市40 4计轉机学报3M1 竿始边框;本文分别取〇扩展(无扩展) 、〇?5 % 扩展、5 % ? 1 0 % 扩展以及1 0% ? 1 5% 扩展这四个阶段的初始边框进行实验, 结果如表4 所示. 从实验结果可'知, 本文提出的PRN 模型对于0 ? 5% 扩展的初始边枢t者良if 的眷_ _ , 即悚对于5 % ̄ 1 〇% 和1 0 讳? 1 5 % 扩展的初始边框, 模型也能够较为准确地预测出S 标的多边形轮廓*表4P RN 模型对初始边框的鲁棒性统计初始边框扩展量 准确率( I 〇U 值/ K )0 8 1 . 0 70 ?5 8 0 . 4 35?1 0 7 8 . 2 41 0 ?1 5 7 4 . 6 21 . 4 速度评估P RN 模型的另一休势就晕允许用户在最后手工徽调预测的' 多边形以获得准确、可用的' 真值栝签? 为此, 本文在P IX r a y 数摒集中随机选取了3 〇张X 线图像, 并分别统计通过纯手工禄注s 模11 自动标注( 给定包含感兴趣K 域的初始边框)以及模型半自动标模塑自动标注+ 苧工微调,给.定包含感兴趣区域的初始边框) 的准确率和时间v并求其平均值结果展示在表L 从表5 可知,裝过简車的' 手工徽调廣fRN 瘼_ 标注的准确率可以达到9S . 1 % , 且标ft;速度约是纯手工标注的3 . ? 带,表5 平均标注一个违禁品所需的时间和对应的如I ? 值数据集 模型 标注方式 时间/ s i 〇u值# K纯手工标注 2 8 . 8 1 0 0 . 0P ol y go n-RNN ++ 模型自动标注 0 . 4 7 5 . 5PKr ay 数据集半自动标注( 自动标注+ 手工微调)9 . 3 9 2 . 4P R N 模型自动标注 0 . 3 8 1 . 1半自动标注( 自动标注+ 手工微调)7. 8 9 3 . 15 . 1 . 5 手工微调分析本文迸一步分析手工徽调每类违禁品使其达到9 0M 以上准确率潘需駿平均点击次数, 实酸图像依旧采用上述的3 0 张X 线图像, 实验结果展示在表6中? 从, 表6 可知, 使用P RW 模_ 启动标疰的违禁品在最后― 工徽调財'仅鑛平均I.  6 欲鼠标点击修政就可K 达到膝1:M 的准補率. 爵中, 打火机、电池和剃献刃片这》_蒗状筒韋的违■ 品仅慮1 ? 名食点击就可以达到很高的准确率; 而钳子< 剪刀这2 类形状为复杂“XM谨的违禁路, 则瓣要相对较多的京击次数来修正多边形的轮廓. 每类违禁品在微调过程中点審次数与所达到准确率的变化情况如扁'1 2所示?表6 手工微调每类违禁品平均所需的点击次数和对应达到的R? U 值违禁品种类 平均点击次数/ 次 所达到的I 〇U 值武氣手枪 8 . 4 9 2 . 4刀 5 . 1 9 3 . 8扳手 9 . 6 9 1 . 4钳子 1 3 . 2 9 2 . 0剪刀 1 1 . 4 9 0 . 8打火机 1 . 6 9 6 . 4电池 1 . 8 9 5 . 8棒球棍 5 . 3 9 2 . 5剃须刀片 3 . 4 9 3 . 5压力容器 5 . 7 9 2 . 2平均值 6 . 6 9 3 . 1■ 手枪■ 刀扳手钳子剪刀■ 打火机电池棒球棍剃须刀片'' 压力容器准阈值05050500998877(nol)齋诨势马>爾3?等: 基于M喪扯Refi ttNe t  61 趙齡品X 2: _庫# 自翁棒_^操 40 5 期和其邻国城市的道路场景, 袭标密了8JT街拍物体的像素级真值:? 分挪暴行人( P拉s o n ) 、骑宇( R i de r ) 、_專Ca r )、卡车Tr uc k , 公表: 车( Bus) 、歹!J车( T ra in )、摩: 托,譽( Mo t &r c yc l ei和'_行车( B i cy cl e ) ,包含?招张训:绿彌像, gQ Q 张验怔M . 和1 5 31 张测试图像. *了保班实验结果的公平性, 本文使用与文黻[ 1 1 ]相麗的敎据梟鮮分方式.Aeria l Roo fto p 数搪集中:的图:像是带省義筑翁績顶的乡村场聋的航拍围像. MSC OCO 数据秦和PA SCA LV OC 数据檗_ 基十分常见的大规辏数据集s 其图像内容主要是复杂的日常场景*5 . 2 . 2 域孙定量:爵渠署f 中展: 猜"T PRN'獲顏梅数据:魏上的测试结果v本文同禪■果用上迷贈Dse pM&sk擔翅、Sh a rpM越k 擔屬、:P 〇lyg Dn RNN 讓型以及Poi ygon RNN + + 橋: 遨作为本愈截的对比瘼M? 从義7 可:知,奉爻提扭的PR M 模型在标:_Ci tys tapjs数据集中的街I圈像时也可以较好地满足# 注_, 其自行率s 公交车、邦车以及摩托军这4 *街拍員标上的表现超过了最先进糢型, 准确率分别途到了2 2 % 、&2? 韵〇4 、:6 4S4 % 和 S5 . 2S,“ 慮得注意的是. Pol y go n RNN + + 模型采用吏强太的Re sN e t 绩构(丰太擎用V GG - 1 6构》?5 , 2 , 3 域外定性结果图1 3 麗示:T 使用PRN 模型自动禄注的城市街景图. 图1 4 騰了藝过Ci ty se雄e s 数据惠U I[ 练的表7 在Ci t ysc ap es 数据集上的表现结果GtolJ 值/ % ) ( 不经过任何手工微调>_鍾自行车公费率行人魏车卡率?_摄车釋舉ft手平均隹De ep Mas k 4 7 .  1 9 69 8 2 4 7 9 3 6 2 2 0 63 1 5 4 7 . 4 7 6 1 6 4 5 2 2 G 5 6 45Sha r pMa s k 5 2 . 0 8 7 3 0 2 5 3 6 3 6 4 0 6 65 4 9 5 1 .  92 6 5 1 7 5 6 3 2 6 0 2 1P o l y g o n-R NN 5 2 .  1 3 69 5 3 6 3 9 4 5 3 7 4 68 03 5 2 . 0 7 7 1 1 7 6 0 5 8 6 1 40P o l y g o n-R NNH - -h 63 . 0 6 8 1 3 8 7 2 4 1 6 4 28 7 8 9 0 6 2 . 0 1 7 9 0 8 6 9 95 7 1 3 8P o l y g o n-R efi ne Net 6 3 . 2 2 8 2 8 9 6 1 8 4 6 4 3 4 73 28 6 5. 2 6 7 3 3 7 5 9 2 0 6 7 93g ro u ndt ruth基于PR N模型的自动标注结果图1 3 在Citys c a p es 数据集上的标注结果图( 每一组图像( ( a ) ( b ) ( c) ) 中上方的图像为真值图( gr ou n dt r ut h) ,下方的图像为自动标注结果图( 没有经过任何手工微调) )原始图基于PRN模型的自动标注结果Aerial Ro oft op MSC OCO PASCAL VOC图1 4 在未知数据集上的标注结果图( 从左到右, 图像分别来自八eri a l Roofto p 数据集、MSCOCO 数据集和PASCALVOC 数据集. 其中上方的图像为原始图, 下方的图像为自动标注结果图( 没有经过任何手工微调) )4 0 6 计算机学报 2 0 2 1年PR N 模型分别在A e r i al Ro of to p 数据集、MS COC O数据集和PA S C A LV O C 数据集上自动标注的结果. 从图1 3 、图1 4 可知, 本文提出的P RN 模型同样适用于普通彩色图像, 并且对未知数据表现出较强的泛化能力?6 结论本文首先提出了一种基于P o l y g o n R e f i n eN e t的违禁品X 线图像自动标注方法, 旨在尽可能节省人力和时间的情况下完成更多的违禁品像素级标注. Po l yg o n R e f i n eN e t 模型通过预测目标的多边形轮廓来完成标注, 并允许用户在最后手工微调多边形轮廓以得到满意的标注结果, 该模型最大的优势就是有效地利用不同层次的特征信息, 特别是底层空间信息, 其可以帮助模型在背景复杂的违禁品X线图像中生成清晰、准确的边界. 为了验证提出模型的有效性, 本文接着提供了一个带有像素级标注的X 线图像数据集, P IX r a y 数据集. 实验结果显示, 本文的方法在完成精准标注的同时, 速度约是纯手工标注的3 .  7 倍. 在其它域外数据集上的实验证明了本文所提出的方法具有强大的表达能力和泛化能力?参考文献[ 1 ]LeCu n Y ? B e ng i oY ?Hi n t o nG .D ee p le a r n i ng . N at u r e ,2 0 1 5,5 2 1 ( 7 5 5 3 ) : 4 3 6[ 2 ]Me ryD.X r ay t e s ti ng b y c o mpu te r v i s i o n/ /P r o c e ed i ng s o ft h eI EEECo n f er e n c eo nCo mpu t e rVi s i o na n d P at t e r nRe c o gn i ti o n Wo r k s h o p s . P o r tlan d , US A ,2 0 1 3: 3 6 0 3 6 7[ 3 ]Me ryD , Sv ec  E, Ar i a s M ,e t al. Mo d er n  c o mpu te r v i s i o nt ec h n i q u e sf o r X r ay te s t i n g i nb ag g a g ei n s p e c t i o n .I EE ET r an s ac ti o n s o n S y s t em s ?Ma n , a n d Cy b e r n e ti c s :S y s t em s ,2 0 1 6 ,4 7 ( 4 ) :6 8 2 6 9 2[ 4 ]Me ryD , Ar t e t aC.Au t o ma t i c d el e c t r ec o gn i ti o n i n X r ayte s t i ngu s i ng c o mp u t er v i s i o n / / P ro ce ed i ng s o f t h e IEEEW i n te rCo n f er e n c e o n A p p li c a t i o n s o f Co mpu te r Vi s i o n. Sa n t aR o s a,US A ,2 0 1 7:1 0 2 6 1 0 3 5[ 5 ]Wa n g  I I u a i Y i n g , Ya n g Li R u i , Z h a n g Y u J i n .Co n t r a b a n ds eg men ta t i o n of Co mp to nb a c k s c a t t er i ng i mages b a s ed o nCN N . Ac t aE l e c t ro n i c a Si n i c a , 2 0 1 1 , 3 9 ( 3 ):5 4 9 5 5 4 ( i nCh i n e s e )( 王怀颖, 杨立瑞, 章毓晋. 基于CN N 的康普顿背散射图像中违禁品分割方法. 电子学报,2 0 1 1, 3 9 ( 3 ) : 5 4 9 5 5 4 )[ 6 ]Su n  C ? S hri v a s ta v aA? Sing h S ? et al .R ev i s iting u n r ea s o n ab leef f ec t i v e n e s so f d a t ai n d eep l ea r n i nger a / / P r o c ee d i ng s o f t h eIEE EI n t e r n a ti o n al Co n f er e n c e o n Co mpu t er Vi s i o n . Ven i c e,It a l y , 2 0 1 7: 8 4 3 8 5 2[ 7 ]Eve ring h amM , Va nG o o l L , W i l l ia ms CK I ,e tal .T h eP AS CALv i s u al o bjec t cla s s e s ( VO C) c h al lenge .I n t er n at i o nal  J o u r n al o fCo mpu te rVi s i o n, 2 0 1 0 , 8 8 ( 2 ): 3 0 3 3 3 8[ 8 ]Mo tt ag h i R ? Ch e n X ?Li u X ,et al .T h e ro leo f c o n t e x t fo ro bjec td e t ec t i o na n d s ema n t i cs eg me n t at i o ni nt h ew i l d / /P r o c e ed i ng s o f t h eI EEECo n fe r en c e o n Co m pu t er Vi s i o n a n dP a t te r n Re c ogn i t i o n . Co l u mb u s , U SA , 2 0 1 4:8 9 1 8 9 8[ 9 ]Li nT Y ,Ma i r eM , B el o ng i eS , et al .Mi c r o s o ft CO CO;Co mm o no bje c t s i nc o n te x t / / P r o c ee d i ng s o f t h eEu r o pe anCo n fe r en c e o n Co mpu te rVi s i o n.Z u ric h , Sw i t ze rla n d , 2 0 1 4 :74 0 7 5 5[ 1 0 ]Co r d t sM , O mr a n M , R a mo s S , e t al .T h ec i ty s c a p es  d at a s e tfo r s e man t i c  u r b a n s c en e u n d er s t a n d i ng / /P r o c e ed i ng s o f t h eIEEECo n fer e n c e o n Co m pu te rVi s io n  an d P at te rn Re co gn i ti o n.Las Vega s , US A ,2 0 1 6: 3 2 1 3 3 2 2 3[ 1 1 ]Cas tr ejo n L ?K u n d uK ? U r t a s u n R ?e t al.An n o ta t i ng o bjec ti n s t an c e s wi tha p o l y g o n RN N / /P r o c e ed i ng s o f t h eI EEECo n fe r en c eo nCo mpu t e rVi s io na n d P a t te r nR ec o gn i t i o n .Ho n o l u l u ,U SA , 2 0 1 7:5 2 3 0 5 2 3 8[ 1 2 ]K u et telD ? Gu il la umi n M? F er r ar i V. Seg men t at io npro pagat i oni n  Im age N et / / P r o c ee d i ng s o ft h eEu r o p e anCo n f er e n c eo nCo m pu t er Vi s i o n . F i r e nz e, It al y , 2 0 1 2: 45 9 4 7 3[ 1 3 ]Xu J , S c hw i ng A G , U r ta s u n R .T el l mew h a t y o u s ee a n d Iw il l  s h o w yo u  w h er ei t i s / /P r o c eed ing s  o ft h e IEEE Con f er e n c eo n  Co m p u t er Vi s i o nan d P at t er nR ec ogn i ti o n .Co lu m b u s ,U SA , 2 0 1 4:3 1 9 0 3 1 9 7[ 1 4 ]Du tt J ai n S ? G r au man  K.Ac t iv e i mage s eg men ta ti o npro pagat i on// P r o c e ed ing s o f t h eI EEECon fe r en c e o n Co m pu t er Vi s i o nan d P at t er nR ec o gn i ti o n.La sVega s ?US A ,2 0 1 6:2 8 6 428 7 3[1 5]Mi ao C , Xi e L, W an  F,et al .SI X r ay : A large s c ale s e c u r i tyi n s pe c t i o nX r ay b en c h ma r k f o r pr o h i b i te d i t em d i s c o v e ry i no v e rlap p ingi mage s / / P r o c e ed ing so f t h eI EEECo n fe r en c eo nCo m p u t er Vi s i o n an d P a t t er n Re c o gn i t i o n .Lo ng B ea c h ,U SA , 2 0 1 9 :2 1 1 9 2 1 2 8[ 1 6 ]Ch en L C , F i d le r  S , Y uil leAL , et al. B ea t t h eMT u r k e r s :Au t om at i ci mage l a b e l i ngfr o mw ea k3 Ds u p e r v i s i o n / /P r o c e ed i ng s o f t h eI EEECo n fe r en c e o n Co m pu t er Vi s i o n a n dP a t te r n Re c o g n i t i o n . Co l u mb u s , U SA , 2 0 1 4:3 1 9 8 3 2 0 5[ 1 7 ]Ro t h e r C ?K o l m o g or ov V ? B la k eA. G r a b Cu t:I n t er a c t i v efo r egr o u n dex t r a c t i o nu s i ngi te r a te dgr aphc u ts . ACMT r a n s a c t i o n s o n  G r ap h i c s , 2 0 0 4,2 3 ( 3 ) : 3 0 9 3 1 4[ 1 8 ]Zh a ng Z, S c hw i ng AG ,F i d ler S ,e t al.Mon o c ula r o bjec ti n s t an c es eg me n t a ti o na n d de p t ho r d er i n g w i t hCN N s / /P r o ce ed i ng s  of  th e IEEE In t er n at io n al Con fe r en c e on  Co mpu terVi s i o n .S an ti ago , Ch i l e , 2 0 1 5: 2 6 1 4 2 6 2 2[1 9 ]U h r i g  J , Co r d t s M ,F r a n k eU ,e tal .P i x el le v ele n c o d i ngan d d ep t hlaye r i ng f o r i n s ta n c elev el s ema n t i clab eli ng / /P r o ce ed ing s  of t h e Ger man  Co n fe re n c eo n P at te r n Re co gniti o n.I l a n n o v er , G er m any ? 2 0 1 6 : 1 4 2 5马博文等: 基于P o l ygo n R e f i n e Ne t 的2 期 违禁 品 X 线 图像 自 动标 注方 法 40 7[ 2 0 ]Wa ng X , P e ng Y , Lu L, e t al.Ch e s t X R ay8 : Ho s p i tal s c alec h e s t X r ay d a t ab as ea n d b e n c hma r k s o n w ea k l y s upe r v i s e dcla s s i fi c at i o n  an d  l o c ali za ti o n  o f c o mmo nt h o r a x d i s e a s es / /P r o c e ed i ng s o ft h e IEE ECo n f er e n c e o n Co mpu t er Vi s i o n  a n dP at t er n R ec ogn i ti o n .H o n o l u l u , US A , 20 1 7: 2 0 9 7 2 1 0 6[ 2 1 ]B o y k o vY Y , J o l l yMP .I n t er a c t i v e gr ap h c u ts  f o r o p t im alb o u n d a ry &- r eg io n s egmen ta t i o n o f o bje c t s i n N D i mages / /P r o c e ed i ng s o ft h e Ei g h t h  IE EE I n te r n a t i o n al  Co n fe r e n c e o nCo mpu t e rVi s i o n .Va n c o u v e r , Can a d a ,2 0 0 1: 1 0 5 1 1 2[ 2 2 ]Sh an k ar Naga r aja N ? S c hmi d t F R ? B r o x T.Vi d eo s egmen ta ti o nwi t h  ju s t af ew s t r ok es / / P r oc eed i ng s o f th eI EEEI n ter n at i on alCo n f er e n c eo nCo mp u te r Vi s i o n . S an ti ago ? Ch i l e ,2 0 1 5 :3 2 3 5 32 43[ 2 3 ]Li n D ? Da i J ?J i aJ ? et a l .Sc r i b b l e Su p :Sc r i b b l e s u p e r v i s e dc o nv o lu ti on al n et wo r k s fo r s eman tic segmen t ati on/ / P ro c eed ing so ft h eI EEECo n fe r en c eo nCom pu t er Vi s i o nan d P at t e r nRe c ogn i ti o n . La s Vega s ,U SA ,2 0 1 6 ;3 1 5 9 3 1 6 7[ 2 4 ]Rajc h l M ,Le eMCI I,O k tayO , et  al . De ep C u t: O bje c ts egmen t ati o n f r om b ou n d i ng b o x an n ot a ti on s u s i ng c on v ol ut i on a ln eu r aln e t wo r k s .I EEET r a n s a c t i o n s  o nMe di c alI mag i ng ,2 0 1 6 ,3 6 ( 2 ) :6 7 4 6 8 3[ 2 5 ]Z h ang Z ? Fi d ler S ?Wag g o n er J ?e t al .Supe r ed gegr o up ingfo ro bje c t l o c ali za ti o nb y c o mb i n i ng ap pe a r an c ean d s h apei n fo r ma ti o n / / P r o c ee di ng s o f  t h eI EEECo n fe r en c e o n Com p u te rVi s i o n  an d  P a tt e r n Re c o gn i t i o n.R h o d e I s lan d ,U SA ,2 0 1 2:3 2 6 6 32 73[2 6]Su n X , Ch r i s t o u d i as CM ,F u aP. Fr e e s h apep o l y g o n alo bje c t l o c ali za t i o n / / Pr o c ee d i ng s o ft h e Eu r o pe a n Co n f er e n c eo n Co mpu t erVi s i o n. Z u ric h ,Sw i t ze rla n d ,2 0 1 4: 3 1 7 33 2[ 2 7 ]Du a n L,La f argeF.T o w a rd s la rge s c alec i t y r e c o n s t r u c ti o nfr om s a te l l i t e s / / P ro c ee d i ng s  of t h e E u r o p ea n C on fe r en c e o nCo mpu t e rVi s i o n.Am s t er d a m , Ho l la n d , 2 0 1 6: 8 9 1 0 4[ 2 8 ]Ac u na D , Li ng I I , K ar A , et al.Eff i ci e n t in t er a ct i ve an n o ta ti o no f s eg me n ta ti o n d a ta s et s w i t h p o l y go n R N N ++/ / P r o c e ed ing so ft h eI EEECo n fe r en c eo nCom pu t er Vi s i o nan d P at t e r nRe c o gn i ti o n . Sa l t La k eCi t y , USA , 2 0 1 8 :8 5 9 8 6 8[2 9 ]Ak g : ay  S ?K u n d eg o r s k i M E, De v e r eu x M ? et al . T r a n s f e rl e ar n i ngu s i ngc o n v o l u t i o n a ln e u r a ln e t wo r k sf o ro bje c tcla s s i fi c at i o nw i t h i nX r ayb ag gages e c u r i t yi m age ry / /P r o c e ed i ng s  o f t h e IEEE I n t er n a t i o n alCo n f er en c e o n  Im ageP r o c e s s i n g . P h o en ix ,US A , 20 1 6:1 0 5 7 1 0 6 1[ 3 0 ]F ra n zel T ,S c hmi d t U ,R o t h S. Obje c t d et ec ti o n i n m ulti v i ewX r ay i mage s // P r o c ee di ng s o ft h eJ oi n tD AGM ( G e r ma nAs s o c i a ti o n f o r P a tt er n  Re c og ni t i o n ) an d O AGMS ym po s i u m.G r az,Au s tr ia, 2 0 1 2;1 4 4 1 5 4[ 3 1 ]Me r yD , Sv e c E , Ari as M.Objec t r e c o g n i t i o n i n b a g g ag ei n s pe c t i o nu s i ng ad ap t i v e s par s er epr e s e n t at i o n s o f X r ayi mages / /P r o c e ed i ng so f t h eI mage an d Vi d e o T ec h n o l og y .Au c k lan d , N ew  Ze alan d , 2 0 1 5:7 0 9 7 2 0[ 3 2 ]Ro o mi M , R aja s h a n k a r i i R.D et e c t i o n o f co n c e al e d w eap o n si n  X r ay i mages u s i ng f u zzy K N N .I n t e r n at i o n al J ou r n al  o fCo m pu t er  Sc i e n c e,Eng i n e e ri ngan d I n fo rm at i o n T e c h n o l o g y ,20 1 2 , 2 ( 2 ): 1 87 1 9 6[ 3 3 ]T u r c s a nyD , Mo u t o n A , B r ec k o n T P .I m pr ov i ng fe a t u r eb as ed o bjec t r e c ogn i t i o n  fo r X r ay b ag gage s e c u r i t y s c r e en i ngu s i ng pr i med v i s u al w o r d s //P r o c ee di ng s o f t h eI EEEI n t er n ati o n al Co n f er e n c eo nI n d u s t r i a l Te c h n ol o g y . CapeTo w n ,S o u t h Af r i c a , 2 0 1 3:1 1 4 0 1 1 4 5[ 3 4 ]Mery D , R i f fo V ,Z s c h erpelU ,e tal .G DX r ay : T h ed a t ab as e o f X r ayi m age s f or  n o n d es tr u c t i v et e s t i ng .J o u r n alo f No n d es tr u c ti v eEv alu at i o n, 2 0 1 5,3 4 ( 4 ) : 4 2[ 3 5 ]Ch en  LC ? P a p an d r eo u G ?K o k k i n o s I , e t al .Se man ti c  i mages eg me n ta ti o n wit h d e ep co n v o lu ti on al n e t s an d  ful l y c on n ec t ed .ar Xi v pr epr i n t ar X i v :  1 4 1 2 . 7 0 6 2, 2 0 1 4[ 3 6 ]P o h l en T , Her m a n sA , Ma t h i a s M , et al . F u l l r e s o l u ti o nr es i d u aln et w o r k sfo rs e ma n t i cs eg me n t at i o ni ns tr e e ts c e n es / /P r o c e ed i ng s o f t h eI EEECo n f e r en c e o n Co m p u t erVi s i o na n d P at t er nR ec o gn i t i o n.Ho n o lulu, US A,2 0 1 7:4 1 5 1 4 1 6 0[ 3 7 ]S im onya n K , Zi s s er ma n A. Very  d eepc on v o lu ti o n al n et wo r k sfo r la rge s c ale im age re c o gn i ti o n.a r Xi v prepr i n ta r Xi v : 1 4 0 9.1 5 5 6 , 2 0 1 4[ 3 8 ]Xi ng ji a n  SI II , Ch enZ, W a ng I I,e tal .Co n v o lu ti o n alLSTMn et w or k :A mac h i n e lear n i ng ap pr o ac h f or pr ec i p i ta ti o nno w c a s t ing / /P r o c e ed i ng s o f t h eAd va n c es i n N eu r al  In f or mat i onP r o c e s s i ng S y s t em s .Mo n t re al ,C an a d a,2 0 1 5 : 8 0 2 8 1 0[ 3 9 ]N ek r a s o v V , Sh e n C , Rei d I .Li g h t wei g h t R ef in eN e t fo rr ealti m es em an t i c  s eg me n t at i o n.a r X i v pr epr i n t a r Xi v : 1 8 1 0.03 2 7 2 , 2 0 1 8[4 0 ]Rez at o f i g h i I I, T s o i N , G w a kJY ,e t al . Ge n e r aliz edi n te r s e c t i o n o v er  u n i o n:Am et r i c  an d  a l o s s f o r b o u n d i ng b o xregr es s i o n/ / P r o c eed ing s o f th eI EEECo n fe r en c e on  Co mpu t erVi s i o n  an d  Pa t t er n Re c o gn i t i o n . Lo ngB e ac h ,U SA ,2 0 1 9:6 5 8 6 6 6[4 1]Ru s s el lB C ,T o r r al b a A ,Mu rp h y K P, et al .La b el Me;Ad a t ab as ea n d We b b as ed t o o l fo r im age an n o ta t i o n .I n t er n ati o n al  J o u r n al o fCo mpu te r Vi s i o n, 2 00 8,7 7 ( 1 3 ):1 5 7 1 7 3[ 4 2 ]P i n h ei r o PO ,Co l l o b e r t R ,D o l la r P . Le a r n i ng  t os egm en to bjec tc an d i d a t es / /P r o c e ed i n g so f th eAd v a n c es i nN eu r alIn fo r ma t i o n P r o c e s s i ng  Sy s t ems . Mo n t r e al ? Ca n ad a,2 0 1 5 :1 9 9 0 1 9 9 8[ 4 3 ]P i n h ei r o P0 , Li n T Y , Co l l o b e r t R , e t al .Lea r n i n g  tor ef i n eo bje c ts eg men ts / /P r o c ee d i ng so f t h e Eu r o pe anCo n fe r en c eo n Co mp u t er Vi s i o n .Ams t e r d am ? Ho l l a n d ,20 1 6; 7 5 9 14 0 8 计算机学报 2 0 2 1 年MA Bo- Wen ,M . S. can d i d a t e .Hi sr es ea rc h in t er es t s inc lu de ma chi ne l ea rn ingan dc o mpu t e r v isi o n.JIA Tong ,Ph .  D. , p rof es s or. Hi s re s ea rc h in t e r es t si nc l ud e ma ch in e  le a r ni ng , p a t t e rn r e c og n i t i on  an dc omp ut erv isi o n.L IU Yi- Zh e ,M. S.ca nd i d a t e.H is re s e a rc h in t e r es t si nc l ud e ma c hi ne l ea rn in gan dc o mpu t e rv isi o n.HUA Xin-Yu ,M. S.ca nd i d a t e .H e rr es e a r ch in t e r es t si nc l ud e ma c hi ne l ea rn in gan dc o mpu t e rv isi o n.B ackgroundIn re c e nty e a rs, Ar tifici a lIn t e lli g e nc e ( AI ) h a s re c ei v ede xt en s i v ea t t e nti on.As at e c h no lo gy ofr e a li zi ng a rti fi c i a lin t e ll i g e nc e , de e p le a r ni ng ,i st ri gg e ri ng th e up s ur g eo fre s e a rc h an dth e d e ve l op me nt  of n ew t e c h no lo gi e si n th e f i e ldof s ma r t  s ec u rit y in s pe c ti o n. De ep l e a rn in ga s a me tho d b a s edon  re pr e se n ta ti o n l ea r ni ngof da t a, in wh ic h da t a a r e th e b a sis,ho wev er, ma nu a ll y la b e li ng d a t a s e t s i s bo th t i me c on s umi ngand ex p e nsi v e,e sp e ci a ll y for p ix e l-l e ve lan no t a ti o n.Sin c eBoy k ov et a l .p ro po s e dth e Gr a ph Cu t sa l go rithm in 2 0 0 6,in t e ra c ti v e ima g es e g men t a ti o n h a s e nt e r ed p eo pl e’s vi s i onen su ingl y.An ac c umu la tingn umbe rof a ppr oac h es for annot a tin gs eg me nt a ti on d a t a s et susi ng in t e ra c ti v ei ma g e s eg me nt a ti ont e c hn ol og yh a s b ee np ro po s ed ,th ou gh , b ut  th ey a r e a p pl iedt oan no t a t e na t u ra l ima g e sor oth e rX- r a yima g e ss u ch a sme di ca l ima g es .In o ur kn owl edg e , th e r ei s no ann ot a t i ona pp ro a c h sp e ci a lize d fo r th e s ec u rit yin s p e cti on  fie ld so fa r.Asa  re s u lt, th isp a p erp ro po s e san a u t o ma tic  a pp ro a c h b a s edon Po ly go n-R ef in eNe t fo ran no t a ti o no fp ro hi b it e d it ems inX- ra y ima g e s ,a i min ga t s p e e di ngu p t he  an no t a tin gp ro ce s sand y ie ld h i g h qua l it yan no t a ti o ns.T h er e a ren um er o usov er la p p in g ph e no me nain pr oh i bit ed it emX- r a yima g e s,whi ch l ea d s t oth e c o mpl ex b a c k gr ou nd an d bl u rr ed  ed g es o fa pr oh i b it ed it em. O th er a pp roa c h es d ono tp er fo rms a ti sfy inginp roh i b i t ed i t emX- ra y ima g e s. I t i swe l l-k no wn tha t, in ade ep co n vo lu ti on a ln e ur a ln e two rk ,h i g h-le ve l seman ticfe a t ur e sh el p st o e xt r a c t gl ob a lan dc o nt ex t u al i nfor ma ti o n,whi ch l ow-le v el vi su a l f ea t ur e sh e lp st og e n er a t e s ha r p ,de t a ile d bo u nd a ries.T h er e for e,wei nt r od uc e amul ti-p a thre fi neme n t n e two rk t o ge n er a t e h i g h- re s ol uti on  an dd e ta i l edre s u lt s by eff ec ti v e ly co mb in ing h i g h-l e ve l seman ti c s andlo w-l e ve lfe a t u re s . Be s i d e s , we a ls od e si g n amix ed l os sfu nc ti o n fo rmod ify in g th e  ove r a ll sh a p e an d positi o n of th epr e d icti o np ol yg on. Th ro ug h sp e ci fic e xp e ri men t s,we c anpr ov e th a t o ur a p pr oa c h ha s co mpe l li ng imp ro veme n t s ov eroth e r e x i s t in g a pp r oa c h es an d c an an not a t e p ro hi bi t ed i t emin s t anc e s a c cu r a t el ya nd qu ic k ly .Th is r e s ea r c hissu p po rt e dby th e Na ti on a lNa t u ra lScie nc eF o un da ti onofCh in a ( No. U1 6 1 3 2 1 4 )andth eNa ti o na lKe yR es e a r ch an dD ev e lo pm en t P ro gra m ofCh in a( No. 2 0 1 8 YF B1 4 0 4 1 ) .

 
[返回]
上一篇:基于动机分析的区块链数字货币异常交易行为识别方法_沈蒙
下一篇:公共服务热线中基于地域自适应的突发事件实时检测方法_麦丞程