欢迎访问一起赢论文辅导网
本站动态
联系我们
 
 
 
 
 
 
 
 
 
 
 
QQ:3949358033

工作时间:9:00-24:00
SCI期刊论文
当前位置:首页 > SCI期刊论文
基于区块链的隐私保护可信联邦学习模型
来源:一起赢论文网     日期:2022-09-24     浏览数:630     【 字体:

 第4 卷第1 2 0 2 1 年1 2 月计算机学报C H I N E S E J O U R N A LO FC O M P U T E R SV o l . 4 4N o .1 2D e c . 2 0 2 1基于区块链的隐私保护可信联邦学习模型朱建明”张沁楠”高胜”丁庆洋2 )袁丽萍”1 )( 中央财经大学信息学院北京1 0 0 0 8 1 )2 )( 北京联合大学管理学院北京1 〇〇〇2 0 )摘要基于联邦学习的智能边缘计算在物联网领域有广泛的应用前景. 联邦学习是一种将数据存储在参与节点本地的分布式机器学习框架, 可以有效保护智能边缘节点的数据隐私. 现有的联邦学习通常将模型训练的中间参数上传至参数服务器实现模型聚合, 此过程存在两方面问题:一是中间参数的隐私泄露, 现有的隐私保护方案通常采用差分隐私给中间参数增加噪声, 但过度加噪会降低聚合模型质量; 另一方面, 节点的自利性与完全自治化的训练过程可能导致恶意节点上传虚假参数或低质量模型, 影响聚合过程与模型质量. 基于此, 本文将联邦学习中心化的参数服务器构建为去中心化的参数聚合链, 利用区块链记录模型训练过程的中间参数作为证据, 并激励协作节点进行模型参数验证, 惩罚上传虚假参数或低质量模型的参与节点, 以约束其自利性. 此外, 将模型质量作为评估依据, 实现中间参数隐私噪声的动态调整以及自适应的模型聚合. 原型搭建和仿真实验验证了模型的实用性, 证实本模型不仅能增强联邦学习参与节点间的互信, 而且能防止中间参数隐私泄露, 从而实现隐私保护增强的可信联邦学习模型.关键词区块链; 联邦学习; 智能边缘计算; 差分隐私; 共识算法中图法分类号T P 1 8D OI 号1 0 .  1 1 8 9 7 / S P .  J .  1 0 1 6 .  2 0 2 1 .  0 2 4 6 4Pri v ac yPreserv i n gan dTrus twort hyFederat edL earn i n gModel BasedonBl ockchai nZ H U J i a n M i n g1 )Z H A N GQ i n N a n1 )G A O S h e n g1 )D I N GQ i n g Y a n g2 )Y U A NL i P i n g1 )1 ) { S c h o o l  o f I n fo rma t i o n  ?  C e n t r a l Un i v e r s i t y o f F i n a n c e  a n d  E c o n o mi c s  ?  B e iji n g1 0 0 0 8 1 )2 ) { S c h o o l  o f Ma n a g e m e n t ?  B e iji n g  Un i o n  Un i v e r s i t y , B e iji n g1 0 0 0 2 0 )A b s t r a c tI n t e l l i g e n t  e d g e  c o m p u t i n g  b a s e d  o n  f e d e r a t e d l e a r n i n g  h a s  a w i d e  a p p l i c a t i o n p r o s p e c ti n  t h e  f i e l d o f  I n t e r n e t  o f T h i n g s( I o T ) .H o w e v e r, i t  i s  s t i l l  f a c e dw i t h  t h e d i l e m m a  o f  l a c k i n ge n o ugh  d a t a  s o u r c e s  i n  t h e  c u r r e n t  p r a c t i c e  o f  a r t i f i c i a l i n t e l l i g e n c e .I n  t h i s c o n t e x t,d i s t r i b u t e dm a c h i n e  l e a r n i n g  a g g r e g a t e s  e d g e d e v i c e s ’ r awd a t a  i n t o  a  p a r am e t e r s e r v e r f o r m o d e l  t r a i n i n g ,b u t i t e a s i l y l e a d s  t o  d a t a p r i v a c y  l e a k a g e  a n d c a u s e s  e x c e s s i v e s t o r a g e  o v e r h e a d .I n p a r t i c u l a r,f e d e r a t e d l e a r n i ng( F L )i sa d i s t r i b u t e dm a c h i n el e a r n i ngf r a m e w o r kt h a ts t o r e sd a t al o c a l l y ,w h i c h  c a ne f f e c t i v e l yp r o t e c tt h ed a t ap r i v a c yo fe dg ei n t e l l i g e n tn o d e s .A c c o r d i ngt oc l i e n ts e t t i n g s, F L c a n b e  c l a s s i f i e d i n t o  t w o  t y p e s :c r o s s d e v i c e F L a n d c r o s s s i l o F L .I n  c r o s s d e v i c eF L ,a  c e n t r a l  e n t i t y  a c t s a s t h e  c e n t r a l  p a r am e t e r  s e r v e r,w h i c h i s a l s o  t h e o w n e r  o f  t h e  g l o b a lm o d e l .M e a n w h i l e, t h e  p a r t i c i p a t i n g  n o d e s  a s  t h e  c l i e n t s  t o  p e r f o r m l o c a l  t r a i n i n g .I n  c r o s s s i l oF L , a l l  p a r t i c i p a t i ng n o d e s  a c t  a s  t h e  c l i e n t s  t o p e r f o r m l o c a l  t r a i n i ng .I n  a d d i t i o n ,t h e y a r e  a l s ot h e  o w n e r s  o f  t h e  g l o b a l m o d e l  a n d c a n m a k e  u s e  o f  t h e  t r a i n e d  g l o b a l m o d e l .I n  t h i s p a p e r , w ef o c u s  o n  c r o s s d e v i c e F L ,i nw h i c h  i n t e l l i g e n c e  e d g e  d e v i c e s  c a n  p r o v i d e m o d e l  t r a i n i n g  s e r v i c e s收稿日期: 2 0 2 0 0 9 1 4; 在线发布日期: 2 0 2 1 0 5 2 8 . 本课题得到国家重点研发计划( 2 0 1 7 YF B 1 4 0 0 7 0 0 ) 、国家自然科学基金项目( 6 2 0 7 2 4 8 7 ) 、北京市自然科学基金项目( M 2 1 0 3 6 ) 、北京联合大学教育科学研究课题G K 2 0 2 1 1 4 ) , 北京联合大学科研专项( Z K 3 0 2 0 2 1 0 1 ) 资助. 朱建明,博士, 教授, 主要研究领域为区块链技术与信息安全. E m a i l:c de .  e d u .  c n . 张沁楠( 通信作者) , 博士研究生, 主要研究方向为区块链与智能边缘计算. E m a i l:  z h a n g q n p @ 1 6 3 .  c o m . 高胜( 通信作者) , 博士, 副教授, 主要研究方向为区块链技术与隐私计算. E m a i l:S g a 〇@ m k .  e d u . c n . 丁庆洋, 博士, 主要研究方向为区块链与大数据治理. 袁丽萍, 硕士研究生, 主要研究方向为区块链技术与隐私保护.1 2 期朱建明等: 基于区块链的隐私保护可信联邦学习模型2 4 6 5bys e n s i ng  t h e  r aw d a t a  f r o m I o T d e v i c e s  s u c h a s  i n t e l l i g e n c e  v e h i c l e s, s m a r t ph o n e s  e t c .M o s t  o ft h e  e x i s t i ng  c r o s s d e v i c e F L i m p l em e n t s m o d e l  a g g r e g a t e d b y up l o a d i ng  t h e  i n t e rm e d i a t e p a r am e t e r so f m o d e l  t r a i n i ng  t o  t h e  p a r am e t e r s e r v e r .T h e r e a r e  t w o  p r o b l e m s  i n  t h i s  p r o c e s s .O n  t h e o n eh a n d,t h e r e  i s  p r i v a c y  l e a k a g e  o f  i n t e rm e d i a t e  p a r am e t e r s .T h e  e x i s t i ng p r i v a c y  p r o t e c t i o n  s c h em e su s u a l l y u s e  d i f f e r e n t i a l  p r i v a c y  t o  a d d t h e  n o i s e  o n  i n t e r m e d i a t e  p a r a m e t e r s, b u t  e x c e s s i v e  n o i s ew i l l  r e d u c e  t h e  q u a l i t y  o f  t h e  g l o b a l m o d e l .O n  t h e  o t h e r  h a n d, t h e  t r a i n i n g  p r o c e s s  o f  n o d e  s e l fi n t e r e s t  a n d f u l l  a u t o n o m y m a y  l e a d  t o m a l i c i o u s  n o d e s  u p l o a d i n g  f a l s e  p a r a m e t e r s  o r  l o w q u a l i t ym o d e l s,t h u s  a f f e c t  t h e  a g g r e g a t i o n  p r o c e s s e s  a n d m o d e l  q u a l i t y .I n  t h i s  p a p e r,t h e  c e n t r a l i z e dp a r a m e t e rs e r v e ri nf e d e r a t e dl e a r n i n gi sc o n s t r u c t e da sad e c e n t r a l i z e dp a r a m e t e ra g g r e g a t i o nc h a i n,a n d t h e  i n t e r m e d i a t e p a r a m e t e r s  o f  t h e m o d e l  t r a i n i ng p r o c e s s  r e c o r d e d  o n  t h e  b l o c k c h a i na s  e v i d e n c e .M o r e o v e r, t h e  c o op e r a t i v e  n o d e s  a r e  e n c o u r a g e d  t o  v e r i f y t h e m o d e l  p a r am e t e r s  a n dpu n i s h  t h e p a r t i c i p a t i ng n o d e s w h o  up l o a d  f a l s e p a r a m e t e r s  o r  l o w q u a l i t ym o d e l s  s o  a s  t o  r e s t r i c tt h e i r  s e l f i n t e r e s t .I n  v i ew o f  a b o v e  c h a l l e ng e s, w e  t ak e  t h e m o d e l  q u a l i t ya s  t h e m e t r i c  t o  dy n ami c a l l ya dju s t  p r i v a c yn o i s e  o f  i n t e r m e d i a t e  p a r a m e t e r s  a n d  p r o p o s e  a  f e d e r a t e d a d a p t i v e ( F e d A d p ) m o d e la g g r e g a t i o n  a l g o r i t h m .T h e p r o t o t y p e  d e v e l o p m e n t  a n d e x p e r i m e n t a l  s i m u l a t i o n s s h o wt h a t t h ep r o p o s e d F e d A d p m o d e l  a g g r e g a t i o n  a l g o r i t h m c a n  a c h i e v e h i g h e r  a c c u r a c y  o f  a g g r e g a t i o n m o d e lw h e n  o c c u r  p o i s o n i n g  a t t a c k .B y d y n am i c a l l y  a dju s t i n g  t h e L a p l a c e  r a n d o m n o i s e, i t’s  r e a l i z e dt h e  t r a d e o f f  b e t w e e np r i v a c yp r o t e c t i o na n d t h e a c c u r a c ye r r o r  o f t h ea g g r e g a t i o nm o d e l .T h ee x p e r i m e n t  o f  b l o c k c h a i np e r f o r m a n c e c o n f i r m e d t h a t o u rs c h e m e h a sgo o d p r a c t i c a b i l i t y .I t i sp r o v e d t h a t  t h e m o d e l  c a n  n o t o n l y e n h a n c e  t h e m u t u a l  t r u s t  b e t w e e n  t h e  p a r t i c i p a t i ng n o d e s o ff e d e r a t e d l e a r n i ng ,b u t a l s o  p r e v e n t  t h e p r i v a c y d i s c l o s u r e o f  i n t e r m e d i a t e  p a r am e t e r s,s o  a s  t or e a l i z e  t h e  f e d e r a t e d l e a r n i n g m o d e l w i t h  e n h a n c e d  t r u s t  a n d  p r i v a c y p r o t e c t i o n .K e yw o r d sb l o c k c h a i n;f e d e r a t e dl e a r n i n g ;i n t e l l i g e n te d g ec o m p u t i n g ;d i f f e r e n t i a lp r i v a c y ;c o n s e n s u s  a l g o r i t h mi 引言联邦学习( F e d e r a t e d L e a r n i ng )[1] 是一■ 种协作式机器学习框架, 参与协作的节点利用本地数据训练模型, 通过参数聚合实现多来源数据的预测效果.当前人工智能在实践过程中仍然面临数据来源不足的困境. 在医疗领域中, 标注数据需动用1 万人长达1 0 年的时间才能收集到足够多有效的数据[2]. 联邦学习中数据存储在节点本地实现分布式机器学习,实现了隐私保护的数据协作. 随着移动通讯技术和智能边缘设备的兴起, 联邦学习在智慧城市[ 3 ]、电子医疗[4]、无线通讯[5]、移动边缘网络[6] 等领域有着广泛的应用前景[ 7 ]. 目前联邦学习已产生基于同行业数据的横向联邦学习, 以及面向多行业数据的纵向联邦学习与联邦迁移学习[8], 并与大数据、云计算、区块链、智能边缘计算等前沿技术深度融合, 成为产学研界共同关注的研究热点.数字经济背景下, 数据合规成为世界趋势. 2 0 1 8年, 欧盟颁布《通用数据保护条例K G D P R ) 严格规范数据的使用. 2 0 1 7 年6 月1 日起我国施行的《中国人民共和国网络安全法》指出不得泄露、篡改用户数据. 2 0 1 9 年5 月2 8 日, 我国国家互联网信息办公室公开《数据安全管理办法( 征求意见稿) 》, 并于2 0 2 0 年1 2 月1 日发布了《常见类型移动互联网应用程序( A P P ) 必要个人信息范围》公开征求意见通知, 可见用户数据的流转和使用必须满足越来越严苛的数据管理条例. 此外, 数据要素具有巨大的潜在价值, 但由于行业竞争、利益冲突等因素, 大多仍呈现数据孤岛形式. 联邦学习满足数据合规, 并可以解决数据孤岛问题[9].大数据时代个人隐私保护一直备受关注. 数据隐私的泄露通常会引起公众不满, 例如F a c e b o o k 数据泄露曾引发大范围抗议活动, 国内求职简历售卖也一度登上了微博热搜. 造成数据隐私泄露的主要原因可能是数据在流转过程中丢失, 或者利用数据ma : 6 计導机攀报 _1 苹挖掘技术从海量用户信息中_ 法遵取个人敏感信息& °] ? 数据本身的无限复制特性导致数摒一旦发生泄露、数据》流转和使用难以追踪.联邦学專是当前人工智能背景下实现数据隐私保护的有效办法, 根据初始设:置不同. K a i m u z 等人M 将联邦学习分为跨设备( C r o s s d e v i c e } 和跨筒仓( CMS S, s i l 〇) 两种类型. 跨设备联邦学习的全局模襲I* 中心化的参数服务器控1i. 跨筒仓联邦学习的每个参与者都W 以暹:全局模型的聚合者和拥有者-本文主要关注跨设备联邦学习, 其基本思想是将模型训练分散在k 个节点进行, 每轮训练结東后参数服务纗收集节. 点本地模趣参■数执行模型聚合算法,弁将吏新的全局模型参数返同给各节点继续迭代训练直至讓缉收敏. 与分布式机器學习相比, 联邦学习具有以下优势八1  > 参与节点协作训练, 利益共享;( 幻数据不出节点本地 <保护数据隐私并满足数据合规K 3 ) 模型准确率与数据聚合之后训练的准确率_相当?跨设备联萍学為通过参数服务器执行構型聚合算法4旦中心化参数服务器可能遵聋恶意玫击被截获甚至篡改構型聚合过程的中间参数. 此外. 中心化参数服务器使参与首点与参数服务器之间存在:太量远程数据通也# 致了数据篡玫与隐私泄露风险.为了解决此问龜/已有学者提出去除第三方的联邦孛石方法[ 1 2 ]. 在该方法中, 通过交换用户公匍将模型聚合委托给参与训练的节.点一方来执行. 然而, 现有的联邦学习隐私保护方案仍存在以下两方面问M :( 1) 中间参数隐私泄露: 联邦学_ 避兔了数据收集而引起的数据泄露f每蘧? 但是仍然存在中间参数的隐私泄露[ 1 ' 尤其是糖處隐私泄露E 1 4] ? 现有机器学习中的模型攻击[1 5]、数据攻击t l 6]、推理攻击[1 7 l s] (  I nf e r e nc e  a t ta c k )、滅门:攻击( Ba c k d oo rat t a c k s ): 1 ? 键接攻击( L i n k a b i l i t y a t ta c k )’ s 携拳攻击( P o i s D i i i n g ata c k )。1 3 等方濟都可对中参讖包括梯度数据进行原始数据推断, 从而泄露? 与节点本地数据的敏感信息.( 2 ) 节点多方信任问题? 在模虐聚含过程中, 可能存在半诚实或# 恶意的参数服务器与参与节点& 2] ? 首先, 参数服务器可能滥用或泄露数据, 通过将榛虐参数泄露给第兰方获得额外收益; 此外* 参%节点由于_ 利性考虑, 可能会提供虚假参数以提窗活跃度与贡敵度_<存在搭便车行为.如揭1 所示, 假设企业A 、B 因数据匮芝有联合建模需求, 企业考虑数据隐私采用联邦孥习建模方案? 在建模过程中,A 、B 无需交操本地数据, 只瘍將加密样本对齐, 向参数服务器交换中间加密参数, 参数服务器执行模型聚#奪法* 将参数返回给A 、B 进行新一轮模型更新, 然后不断迭代此过程直至摸.型收敛. 在此过程中, 假设企业B 遭受恶意攻击而导致数据隐私泄露甚蕈恶意篡玫. 由于自利性考虑,》企业B 不愿消耗卄算资源參与训练s 但是想要从中获利此选择搭便车上传未经训练的虚假鑫数* 这两种憬况都会影响参数服务器的模■ 聚合. 此外I 在执行模型聚合箕法. 的过程中也难以避免程序漏洞, 从而影响联雜學习协作训练结果.Q国参数服务器> 模型聚合算法参数传输¥模型更新参数传输j模型更新lla l 加密样本对齐 晶圍企ikA ̄' 企^ I kB^ 恶意攻击;f;自身作恶# 程序漏洞图1 參与曹点麓销* 虜釐屢a ft m本可1#参数廉.器综上所述, 为了解决跨设备联邦孪习中间参数隐私泄露以及多方互信何题, 本文将中心化的参数服务器构建为去中心化的参数聚合链, 其中参与训_节点& 将中间# 数上传至区块链= 逋过共识算法与智能合约进行参数验证和模_ 聚合, 经过共轵验证后的聚合模a 参数返回給各参与节点进行檫型棄新. 根据模型质量与节点信誉评分调整聚含权重,降低误差较大模型参数所占比重, 从而提升聚合襟塑的准确率? 基宁这一研究思路, 苹文基于b 有文献[2 2] 利用差分隐私实现联邦学方中间善数的隐私保护. 并投计协作者异步参数'审计机制对模遨威量评估结果进行共识验证, 防止搭便车行为《同时基于模型质量与,誉评分构建启适应的模a 聚含算法,并通过智能合约& 动触发算法执行.与现有的基于区块链的联邦学习的工作相比,本文主養貢鑛,归轴为:⑴ 自适盧隨儀型歎含与隐私感fn ? 本文交朱建明等: 基于区块链的1 2 期 隐私 保 护 可信联邦 学 习 模 型 2 4 6 7叉熵( C r o s s E n t r op y )? 为模型质量评估依据, 基于模型质量与节点累计信誉值设计自适应的模型聚合算法. 其次, 基于差分隐私保护联邦学习中间参数隐私, 根据模型质量评估结果在中间参数基础上增加不同程度的拉普拉斯( L a p l a c e )? 噪声, 防止中间参数在传输过程中泄露本地数据隐私.( 2 ) 区块链模型参数审计与共识. 利用区块链去中心化和强信任属性, 对模型参数进行协作者参数审计, 有效识别恶意节点的投毒攻击与搭便车行为.本文提出节点贡献度证明( P r o o f  o f C o n t r i b u t i o n ,P o C ) 共识算法, 降低高贡献度节点共识挖矿难度,减少计算资源浪费, 提升节点参与公平性.( 3 ) 支持轻量级智能边缘计算. 目前已有的基于区块链的联邦学习工作[ 2 " 2 6 ] 大多将联邦学习节点构建为点对点( P e e r t o P e e r ) 的区块链结构, 本文将区块链和联邦学习分层构建, 适用于轻量级智能边缘计算场景中的联邦学习. 其中, 区块链作为模型聚合引擎, 通过智能合约实现模型参数的自动化可配置聚合操作, 降低了中心化参数服务的恶意攻击与计算偏差风险. 轻量级智能边缘计算节点仅需完成本地模型训练和参数更新, 无需承担区块链节点面临的数据冗余和共识过程中的通信开销.( 4 ) 仿真实验与安全性分析. 使用M N I S T 和C I F A R 1 0 数据集, 基于拉普拉斯差分隐私测试在固定隐私噪声与动态隐私噪声情况下, M L P 与C N N 模型训练的准确率对比情况. 通过模拟投毒攻击, 进一步展示自适应模型聚合算法的抵御效果. 利用P y t h o n F l a s k 搭建区块链平台, 为联邦学习提供去中心化的模型聚合服务. 大量实验表明, 当参与节点使用本模型进行联邦学习模型训练, 计算时间开销与存储开销较小, 说明本模型有较好的实用性.2 相关工作2 . 1 联邦学习的隐私保护联邦学习最早被G o o g l e 提出用于用户输人法预测, 

[返回]
上一篇:面向可信联盟的区块链账本可验证修改方法研究
下一篇:互联网内生安全体系结构研究进展