ｍｅｔｈｏｄｓ　ｔｏ　ａｔｔａｉｎ　ｏｐｔｉｍａｌ　ｓｔｒａｔｅｇｉｅｓ，ｈａｓ　ｒｅｃｅｎｔｌｙ　ｂｅｃｏｍｅ　ａ　ｒｅｓｅａｒｃｈ　ｈｏｔｓｐｏｔ　ｉｎ　ａｒｔｉｆｉｃｉａｌｉｎｔｅｌｌｉｇｅｎｃｅ．Ｔｈｅｒｅ　ｈａｓ　ｅｍｅｒｇｅｄ　ａ　ｌａｒｇｅ　ａｍｏｕｎｔ　ｏｆ　ｗｏｒｋ　ｏｎ　ｄｅｅｐ　ｒｅｉｎｆｏｒｃｅｍｅｎｔ　ｌｅａｒｎｉｎｇ．Ｆｏｒｅｘａｍｐｌｅ，ｄｅｅｐ　Ｑ　ｎｅｔｗｏｒｋ（ＤＱＮ），ｏｎｅ　ｏｆ　ｔｈｅ　ｍｏｓｔ　ｆａｍｏｕｓ　ｍｏｄｅｌｓ　ｉｎ　ｄｅｅｐ　ｒｅｉｎｆｏｒｃｅｍｅｎｔ　ｌｅａｒｎｉｎｇ，ｉｓ　ｂａｓｅｄ　ｏｎ　ｃｏｎｖｏｌｕｔｉｏｎａｌ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋｓ（ＣＮＮｓ）ａｎｄ　Ｑ－ｌｅａｒｎｉｎｇ　ａｌｇｏｒｉｔｈｍ，ｄｉｒｅｃｔｌｙ　ｕｓｅｓ　ｔｈｅｕｎｐｒｏｃｅｓｓｅｄ　ｉｍａｇｅ　ａｓ　ｔｈｅ　ｉｎｐｕｔ．ＤＱＮ　ｈａｓ　ｂｅｅｎ　ａｐｐｌｉｅｄ　ｔｏ　ｌｅａｒｎ　ｓｔｒａｔｅｇｙ　ｉｎ　ｃｏｍｐｌｅｘ　ｅｎｖｉｒｏｎｍｅｎｔｓｗｉｔｈ　ｈｉｇｈ－ｄｉｍｅｎｓｉｏｎａｌ　ｉｎｐｕｔ．Ｈｏｗｅｖｅｒ，ｆｅｗ　ｄｅｅｐ　ｒｅｉｎｆｏｒｃｅｍｅｎｔ　ｌｅａｒｎｉｎｇ　ａｌｇｏｒｉｔｈｍｓ　ｃｏｎｓｉｄｅｒｓｈｏｗ　ｔｏ　ｅｎｓｕｒｅ　ｓｅｃｕｒｉｔｙ　ｄｕｒｉｎｇ　ｔｈｅ　ｐｒｏｃｅｓｓ　ｏｆ　ｌｅａｒｎｉｎｇ　ｉｎ　ｔｈｅ　ｕｎｋｎｏｗｎ　ｅｎｖｉｒｏｎｍｅｎｔ．Ｅｖｅｎ　ｍｏｒｅ，ｍａｎｙ　ｒｅｉｎｆｏｒｃｅｍｅｎｔ　ｌｅａｒｎｉｎｇ　ａｌｇｏｒｉｔｈｍｓ　ｉｎｔｅｎｔｉｏｎａｌｌｙ　ａｄｄ　ｒａｎｄｏｍ　ｅｘｐｌｏｒａｔｉｏｎ　ａｐｐｒｏａｃｈｅｓ，ｅ．ｇ．ε－ｇｒｅｅｄｙ，ｔｏ　ｇｕａｒａｎｔｅｅ　ｔｈｅ　ｄｉｖｅｒｓｉｔｙ　ｏｆ　ｄａｔａ　ｓａｍｐｌｉｎｇ　ｓｏ　ｔｈａｔ　ｔｈｅ　ａｌｇｏｒｉｔｈｍ　ｃｏｕｌｄ　ｏｂｔａｉｎ　ａ　ｂｅｔｔｅｒａｐｐｒｏｘｉｍａｔｅ　ｏｐｔｉｍａｌ　ｓｏｌｕｔｉｏｎ．Ｎｅｖｅｒｔｈｅｌｅｓｓ，ｅｘｐｌｏｒａｔｉｏｎ　ｗｉｔｈｏｕｔ　ａｎｙ　ｓｅｃｕｒｉｔｙ　ｃｏｎｓｔｒａｉｎｔ　ｉｓ　ｖｅｒｙｄａｎｇｅｒｏｕｓ　ａｎｄ　ｌｉｋｅｌｙ　ｔｏ　ｂｒｉｎｇ　ｗｉｔｈ　ｈｉｇｈ　ｒｉｓｋ　ｏｆ　ｌｅａｄｉｎｇ　ｔｏ　ｄｉｓａｓｔｒｏｕｓ　ｒｅｓｕｌｔｓ．Ａｉｍｉｎｇ　ａｔ　ｓｏｌｖｉｎｇｔｈｉｓ　ｐｒｏｂｌｅｍ，ａｎ　ａｌｇｏｒｉｔｈｍ，ｎａｍｅｄ　ｄｕａｌ　ｄｅｅｐ　ｎｅｔｗｏｒｋ　ｂａｓｅｄ　ｓｅｃｕｒｅ　ｄｅｅｐ　ｒｅｉｎｆｏｒｃｅｍｅｎｔ　ｌｅａｒｎｉｎｇ（ＤＤＮ－ＳＤＲＬ），ｉｓ　ｐｒｏｐｏｓｅｄ．Ｔｈｅ　ＤＤＮ－ＳＤＲＬ　ａｌｇｏｒｉｔｈｍ　ｓｅｔｓ　ｕｐ　ｔｗｏ　ｅｘｐｅｒｉｅｎｃｅ　ｐｏｏｌｓ．Ｔｈｅ　ｆｉｒｓｔｏｎｅ　ｉｓ　ｔｈｅ　ｅｘｐｅｒｉｅｎｃｅ　ｐｏｏｌ　ｏｆ　ｄａｎｇｅｒｏｕｓ　ｓａｍｐｌｅｓ，ｉｎｃｌｕｄｉｎｇ　ｃｒｉｔｉｃａｌ　ｓｔａｔｅｓ　ａｎｄ　ｄａｎｇｅｒｏｕｓ　ｓｔａｔｅｓｔｈａｔ　ｃａｕｓｅｄ　ｆａｉｌｕｒｅ；ａｎｄ　ｔｈｅ　ｓｅｃｏｎｄ　ｏｎｅ　ｉｓ　ｔｈｅ　ｅｘｐｅｒｉｅｎｃｅ　ｐｏｏｌ　ｏｆ　ｔｈｅ　ｓｅｃｕｒｅ　ｓａｍｐｌｅ，ｗｈｉｃｈｅｘｃｌｕｄｅｄ　ｃｒｉｔｉｃａｌ　ｓｔａｔｅｓ　ａｎｄ　ｄａｎｇｅｒｏｕｓ　ｓｔａｔｅｓ．Ｔｈｅ　ＤＤＮ－ＳＤＲＬ　ａｌｇｏｒｉｔｈｍ　ｔａｋｅｓ　ａｄｖａｎｔａｇｅ　ｏｆ　ａｎａｄｄｉｔｉｏｎａｌ　ｄｅｅｐ　Ｑ　ｎｅｔｗｏｒｋ　ｔｏ　ｔｒａｉｎ　ｄａｎｇｅｒｏｕｓ　ｓａｍｐｌｅｓ　ａｎｄ　ｒｅｃｏｎｓｔｒｕｃｔｓ　ａ　ｎｅｗ　ｏｂｊｅｃｔｉｖｅ　ｆｕｎｃｔｉｏｎｂｙ　ｉｎｔｒｏｄｕｃｉｎｇ　ａｐｅｎａｌｔｙ　ｃｏｍｐｏｎｅｎｔ．Ｔｈｅ　ｎｅｗ　ｏｂｊｅｃｔｉｖｅ　ｆｕｎｃｔｉｏｎ　ｉｓ　ｃａｌｃｕｌａｔｅｄ　ｂｙ　ｔｈｅ　ｐｅｎａｌｔｙｃｏｍｐｏｎｅｎｔ　ａｎｄ　ｔｈｅ　ｏｒｉｇｉｎａｌ　ｎｅｔｗｏｒｋ　ｏｂｊｅｃｔｉｖｅ　ｆｕｎｃｔｉｏｎ．Ｔｈｅ　ｐｅｎａｌｔｙ　ｃｏｍｐｏｎｅｎｔ，ｗｈｉｃｈ　ｉｓ　ｔｒａｉｎｅｄｂｙ　ａ　ｄｅｅｐ　Ｑ　ｎｅｔｗｏｒｋ　ｗｉｔｈ　ｓａｍｐｌｅｓ　ｉｎ　ｔｈｅ　ｃｒｉｔｉｃａｌ　ｓｔａｔｅ　ｅｘｐｅｒｉｅｎｃｅ　ｐｏｏｌ，ｉｓ　ｕｓｅｄ　ｔｏ　ｒｅｐｒｅｓｅｎｔｃｒｉｔｉｃａｌ　ｓｔａｔｅｓ　ｂｅｆｏｒｅ　ｆａｉｌｕｒｅ．Ａｓ　ｔｈｅ　ＤＤＮ－ＳＤＲＬ　ａｌｇｏｒｉｔｈｍ　ｆｕｌｌｙ　ｕｓｅｓ　ｉｎｆｏｒｍａｔｉｏｎ　ｏｆ　ｃｒｉｔｉｃａｌ　ｓｔａｔｅ，ｄａｎｇｅｒｏｕｓ　ｓｔａｔｅ　ａｎｄ　ｓｅｃｕｒｅ　ｓｔａｔｅ，ｔｈｅ　ａｇｅｎｔ　ｉｓ　ａｂｌｅ　ｔｏ　ｉｍｐｒｏｖｅ　ｓｅｃｕｒｉｔｙ　ｂｙ　ａｖｏｉｄｉｎｇ　ｍｏｓｔ　ｄａｎｇｅｒｏｕｓｓｔａｔｅｓ　ｄｕｒｉｎｇ　ｔｈｅ　ｔｒａｉｎｉｎｇ　ｐｒｏｃｅｓｓ．Ｔｈｅ　ＤＤＮ－ＳＤＲＬ　ｉｓ　ａ　ｇｅｎｅｒａｌ　ｍｅｃｈａｎｉｓｍ　ｏｆ　ｅｎｈａｎｃｉｎｇ　ｓｅｃｕｒｉｔｙｄｕｒｉｎｇ　ｔｈｅ　ｌｅａｒｎｉｎｇ　ａｎｄ　ｃａｎ　ｂｅ　ｃｏｍｂｉｎｅｄ　ｗｉｔｈ　ａ　ｖａｒｉｅｔｙ　ｏｆ　ｄｅｅｐ　ｎｅｔｗｏｒｋ　ｍｏｄｅｌｓ，ｓｕｃｈ　ａｓ　ＤＱＮ，ｄｕｅｌｉｎｇ　ｄｅｅｐ　Ｑ　ｎｅｔｗｏｒｋ（ＤｕＤＱＮ），ａｎｄ　ｄｅｅｐ　ｒｅｃｕｒｒｅｎｔ　Ｑ　ｎｅｔｗｏｒｋ（ＤＲＱＮ）．Ｉｎ　ｔｈｅ　ｓｉｍｕｌａｔｅｄｅｘｐｅｒｉｍｅｎｔｓ，ＤＱＮ，ＤｕＤＱＮ　ａｎｄ　ＤＲＱＮ　ｗｅｒｅ　ｕｓｅｄ　ａｓ　ｏｒｉｇｉｎａｌ　ｄｅｅｐ　ｎｅｔｗｏｒｋ　ｒｅｓｐｅｃｔｉｖｅｌｙ，ａｎｄ　ａｔｔｈｅ　ｓａｍｅ　ｔｉｍｅ　ＤＤＮ－ＳＤＲＬ　ｗａｓ　ａｐｐｌｉｅｄ　ｔｏ　ｅｎｓｕｒｅ　ｓｅｃｕｒｉｔｙ．Ｔｈｅ　ｒｅｓｕｌｔｓ　ｏｆ　ｓｉｘ　ｔｅｓｔｉｎｇ　Ａｔａｒｉ　２６００ｇａｍｅｓ，ＣｒａｚｙＣｌｉｍｂｅｒ，Ｋａｎｇａｒｏｏ，ＫｕｎｇＦｕＭａｓｔｅｒ，Ｐｏｏｙａｎ，ＲｏａｄＲｕｎｎｅｒ　ａｎｄ　Ｚａｘｘｏｎ，ｉｎｄｉｃａｔｅｔｈａｔ　ｔｈｅ　ｐｒｏｐｏｓｅｄ　ＤＤＮ－ＳＤＲＬ　ａｌｇｏｒｉｔｈｍ　ｍａｋｅｓ　ｃｏｎｔｒｏｌ　ｓａｆｅｒ，ｍｏｒｅ　ｓｔａｂｌｅ　ａｎｄ　ｍｏｒｅ　ｅｆｆｅｃｔｉｖｅ．Ｉｔｃａｎ　ｂｅ　ｃｏｎｃｌｕｄｅｄ　ｔｈａｔ　ｔｈｅ　ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ　ｏｆ　ｔｈｅ　ｅｎｖｉｒｏｎｍｅｎｔ　ｓｕｉｔａｂｌｅ　ｆｏｒ　ＤＤＮ－ＳＤＲＬ　ｉｎｃｌｕｄｅ：（１）ｔｈｅｒｅ　ａｒｅ　ｍａｎｙ　ｒｅｐｒｅｓｅｎｔａｂｌｅ　ｄａｎｇｅｒｏｕｓ　ｓｔａｔｅｓ　ｔｈａｔ　ｌｅａｄ　ｔｏ　ｆａｉｌｕｒｅ　ｉｎ　ｔｈｅ　ｅｎｖｉｒｏｎｍｅｎｔ；（２）ｔｈｅｄｉｆｆｅｒｅｎｃｅ　ｂｅｔｗｅｅｎ　ｄａｎｇｅｒｏｕｓ　ｓｔａｔｅｓ　ａｎｄ　ｓｅｃｕｒｅ　ｓｔａｔｅｓ　ｉｓ　ｄｉｓｃｒｉｍｉｎａｔｉｖｅ；（３）ｔｈｅｒｅ　ａｒｅ　ｎｏｔ　ｔｏｏ　ｍａｎｙａｃｔｉｏｎｓ　ａｎｄ　ｔｈｅ　ａｇｅｎｔ　ｃａｎ　ａｔｔａｉｎ　ｉｍｐｒｏｖｅｍｅｎｔ　ｂｙ　ｓｅｌｆ－ｔｒａｉｎｉｎｇ．Ｉｎ　ｔｈｅｓｅ　ｃａｓｅｓ，ｔｈｅ　ＤＤＮ－ＳＤＲＬｉｍｐｒｏｖｅｓ　ｏｒｉｇｉｎａｌ　ｄｅｅｐ　ｎｅｔｗｏｒｋ　ｍｕｃｈ　ｂｅｔｔｅｒ．Ｋｅｙｗｏｒｄｓ　 ｒｅｉｎｆｏｒｃｅｍｅｎｔ　ｌｅａｒｎｉｎｇ；ｄｅｅｐ　ｒｅｉｎｆｏｒｃｅｍｅｎｔ　ｌｅａｒｎｉｎｇ；ｄｅｅｐ　Ｑ－ｎｅｔｗｏｒｋ；ｓａｆｅｒｅｉｎｆｏｒｃｅｍｅｎｔ　ｌｅａｒｎｉｎｇ；ｓａｆｅ　ａｒｔｉｆｉｃｉａｌ　ｉｎｔｅｌｌｉｇｅｎｃｅ；ｅｘｐｅｒｉｅｎｃｅ　ｒｅｐｌａｙ１　引　言强化学 习 （Ｒｅｉｎｆｏｒｃｅｍｅｎｔ　Ｌｅａｒｎｉｎｇ，ＲＬ）是 一种受到动物心理学启发，并结合心理学、控制理论等相关学科而发展形成的机器学习方法［１－２］，其通过智能体（Ａｇｅｎｔ）的不断“试错式”学习，寻求累积奖赏最大的策略［３］．强化学习获得了研究人员和产业界的关注，在优化、控制、博弈、生物医学等领域积累了大量的研究成果，也有不少的实际应用［４－６］．深度学习（Ｄｅｅｐ　Ｌｅａｒｎｉｎｇ，ＤＬ）是机器学习领域一类重要的方法，其建立神经网络，模仿人脑的机制来解释数据［７］．深度学习能从原始的高维数据中提取可区分的特征．近年来，深度学习已经在语音识别、图像处８期 朱　斐等：基于双深度网络的安全深度强化学习方法３１８１出众多良好的研究和应用［８－９］．随着机器视觉设备的推广，在很多系统中，原始的状态信息以视频、图像等方式呈现．因此，如何充分利用深度学习方法，以视频、图像等数据作为原始输入，使用深度学习来提取大规模数据的抽象表征（Ａｂｓｔｒａｃｔ　Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ），再利用强化学习方法学习获得最优策略，从而实现“类脑”控制，是当前重要的研究方向之一．谷歌人工智能团队 ＤｅｅｐＭｉｎｄ较早地将深度学习与强化学习相结合，形成了深度强化学 习 （Ｄｅｅｐ　Ｒｅｉｎｆｏｒｃｅｍｅｎｔ　Ｌｅａｒｎｉｎｇ，ＤＲＬ）这 一研究方向．深度强化学习包括了强化学习和深度学习两个部分，其中深度学习部分具有感知环境信息的功能；强化学习部分通过决策完成从状态到动作的映射，并获得奖赏．深度强化学习累积了一些研究工作基础．如由强化学习中的 Ｑ 学习（Ｑ－Ｌｅａｒｎｉｎｇ）方 法［１０］和 卷 积 神 经 网 络 （Ｃｏｎｖｏｌｕｔｉｏｎａｌ　ＮｅｕｒａｌＮｅｔｗｏｒｋｓ，ＣＮＮｓ）结 合 而 成 的 深 度 Ｑ 网 络 （ＤｅｅｐＱ－Ｎｅｔｗｏｒｋ，ＤＱＮ）［１１－１２］是深 度强化学习领域的一个重要方法，已被成功地用于高维度输入环境中的策略求解．Ｖａｎ　Ｈａｓｓｅｌｔ等人［１３］在双 Ｑ 学习（ＤｏｕｂｌｅＱ－Ｌｅａｒｎｉｎｇ）［１４］方法的基础上提出 了 深 度 双 Ｑ 网络（Ｄｏｕｂｌｅ　Ｄｅｅｐ　Ｑ－Ｎｅｔｗｏｒｋ，ＤＤＱＮ），该方法在计算目标网络的Ｑ 值时使用两套不同的参数，有效地避免了 ＤＱＮ 过高估计动作值的问题．Ｈａｕｓｋｎｅｃｈｔ等人［１５］首次将长短时间记忆单元（Ｌｏｎｇ－Ｓｈｏｒｔ　ＴｅｒｍＭｅｍｏｒｙ，ＬＳＴＭ）引 入 ＤＱＮ 中，提 出 了 一 种 带 有ＬＳＴＭ 单元的深度循环 Ｑ 网络（Ｄｅｅｐ　Ｒｅｃｕｒｒｅｎｔ　Ｑ－Ｎｅｔｗｏｒｋ，ＤＲＱＮ），该网络对情节具有一定的记忆功能，在大多数 Ａｔａｒｉ　２６００游戏实验环境中取得了较佳的成绩．Ｗａｎｇ等人［１６］提出了竞争深度 Ｑ 网络（Ｄｕｅｌｉｎｇ　Ｄｅｅｐ　Ｑ－Ｎｅｔｗｏｒｋ，ＤｕＤＱＮ），利 用 ＣＮＮ从原始输入中提取特征，分为优势函数（ＡｄｖａｎｔａｇｅＦｕｎｃｔｉｏｎ）和与动作无关的状态值函数两个通道来生成动作值函数，该方法在不改变底层强化学习方法的情况下进一步提高了 ＤＱＮ 在 Ａｔａｒｉ　２６００环境下的效果．在深 度 强 化 学 习 方 法 被 成 功 应 用 于 谷 歌ＡｌｐｈａＧｏ［１７］并在围棋比赛 中战 胜世界冠军 李 世 乭后，人们开始关注深度强化学习如何从研究迈向实际应用．然而，要完成这一阶段性的跨越还有很多工作需要完成．其中，保证决策的安全性是最重要的一项内容．有专家指出，人工智能的安全风险可能会带来严重的问题．而安全的人工智能必须保证所控制物体的安全性，降低导致危险的操作概率．２０１８年以来，在美国发生了一系列无人驾驶车辆安全事故，更凸显出安全在自动控制任务中的重要性．但是，目前很多人工智能的方法没有充分地做到控制风险、增加安全性，甚至有些方法在求解过程中特意加入了带有随机性质的探索性学习．而不受安全限制的探索性学习很可能会带来重大风险．如果在现实世界的任务中直接应用强化学习的方法，让 Ａｇｅｎｔ进行“试错式”探索学习，所作出的决策就有可能使系统陷入危险状态．强化学习的安全性问题引起了越来越多的关注．有些研究人员开展了安全强化学习的研究工作．Ｂｅｒｋｅｎｋａｍｐ等人［１８］将控制理论中经典的李雅普诺夫函数（Ｌｙａｐｕｎｏｖ　Ｆｕｎｃｔｉｏｎ）引入强化学习，有效地缓解了 Ａｇｅｎｔ无限制探索带来的副作用．Ｇａｒｃｉａ等人［１９］提出了基于策略改进的安全强化学习方法，对动作 和状态 空 间进行探索 限制．然而，这两种方法的表现难以令人满意．目前，安全深度强化学习是一个较新的研究内容．传统深度强化学习中，经典的 ＤＱＮ 采用函数逼近的方法进行训练，为了去除训练过程中样本的相关性，ＤＱＮ 使用经验重放（Ｅｘｐｅｒｉｅｎｃｅ　Ｒｅｐｌａｙ）的机制，以等概率的方式抽取样本更新网络．然而无差别地从经验池中采样并不能体现样本的区分度，很难辨别“好”的样本和“差”的样本，很有可能出现导致Ａｇｅｎｔ陷入危险状态的样本再次被用于网络训练的情况．绝 大 部 分 深 度 强 化 学 习 方 法 没 有 采 取 预 防机制来避免 Ａｇｅｎｔ陷入危 险状态．因此，必 须限制Ａｇｅｎｔ无约束的探索以保障安全性．针对上述问题，本文提出基于双深度网络的安全深度强化学习（Ｄｕａｌ　Ｄｅｅｐ　Ｎｅｔｗｏｒｋ　Ｂａｓｅｄ　ＳｅｃｕｒｅＤｅｅｐ　Ｒｅｉｎｆｏｒｃｅｍｅｎｔ　Ｌｅａｒｎｉｎｇ，ＤＤＮ－ＳＤＲＬ）方 法．ＤＤＮ－ＳＤＲＬ方法通过分离历史经验训练导致 Ａｇｅｎｔ陷入危险状态的经验样本，使其重新组成新的经验池，有效地甄别了导致 Ａｇｅｎｔ陷入危险状态的样本经验；在原有网络的基础上再增加一个深度网络，采用新增的深度网络对新经验池样本进行训练，充分利用了提取出的样本；将训练结果作为惩罚项改进目标函数．ＤＤＮ－ＳＤＲＬ 方法具有较好的通用性，能与 ＤＱＮ、ＤｕＤＱＮ、ＤＲＱＮ 等 网 络 相 结 合，并 在Ａｔａｒｉ　２６００游戏环境中表现良好．２　背景知识２．１　强化学习在强化学习中，Ａｇｅｎｔ通过与环境交互以最大４１８１ 计　　算　　机　　学　　报 ２０１９年是一种从环境状态映射到动作的过程．强化学习 问 题 可 以 用 马 尔 可 夫 决 策 过 程 （ＭａｒｋｏｖＤｅｃｉｓｉｏｎ　Ｐｒｏｃｅｓｓ，ＭＤＰ）进 行 建 模，使 用 四 元 组〈Ｘ，Ｕ，Ｐ，Ｒ〉描述模型，其中：Ｘ 是状态集合，ｘｔ∈Ｘ 表示智能体在ｔ 时刻所处状态；Ｕ 是 Ａｇｅｎｔ可选动作集合，ｕｔ∈Ｕ 表示 Ａｇｅｎｔ在ｔ时刻所采取的动作；Ｐ 是状态转移函数，表示在ｔ时刻 Ａｇｅｎｔ采取动作ｕｔ转至下一状态ｘｔ＋１的概率，通常形式化表示为 Ｐ（ｘｔ＋１ｘｔ，ｕｔ）；Ｒ 是奖赏函数，表示 Ａｇｅｎｔ在ｔ时刻的状态ｘｔ执行动作ｕｔ转移到下一状态ｘｔ＋１后环境给出的立即奖赏ｒｔ＋１，通常形式化表示为ｒｔ＋１＝Ｒ（ｘｔ，ｕｔ，ｘｔ＋１）．强化学习的累积奖赏是智能体从ｔ时刻到Ｔ 时刻的累积折扣奖赏之和Ｒｔ＝∑Ｔｔ′＝ｔγｔ′－ｔｒｔ′（１）　　其中，γ为折扣因子，控制着未来奖赏的影响力．强化学习的策略ｈ：Ｘ →Ｕ 是从状态到动作的映射，即ｕｔ～ｈ（ｘｔ）．强化学习使用状态动作值函数来评估策略．状态动作值函数Ｑｈ（ｘｔ，ｕｔ）是在策略ｈ下在当前状态ｘｔ下执行动作ｕｔ获得的期望奖赏，表示为Ｑｈ（ｘｔ，ｕｔ）＝Ｅ［Ｒｔｘｔ＝ｘ，ｕｔ＝ｕ，ｈ］ （２）　　其中，Ｅ 表示期望．贝尔曼方程在传统强化学习中有着重要作用，状态动作值函数 Ｑｈ（ｘｔ，ｕｔ）遵循贝尔曼方程．根据贝尔曼方程获得第ｔ＋１时刻的状态动作值Ｑｔ＋１（ｘ，ｕ）为Ｑｔ＋１（ｘ，ｕ）＝Ｅｘ′～Ｘ［ｒ＋γｍａｘｕ′Ｑｔ（ｘ′，ｕ′）ｘ，ｕ］（３）当ｔ→ ∞ 时，状态动作值函数会趋向最优．即通过不断迭代，状态动作值函数最终会收敛．Ｑ 学习是强化学习中被广泛应用的方法之一．在 Ｑ 学习中，Ｑ 值的计算方式为δ＝ｒｔ＋１＋γｍａｘｕＱ（ｘｔ＋１，ｕ）－Ｑ（ｘｔ，ｕｔ） （４）Ｑ（ｘｔ，ｕｔ）＝Ｑ（ｘｔ，ｕｔ）＋αδ （５）　　其中，γ 为折扣因子，α 为学习率，δ 为 ＴＤ 误差．通过式（４）、式（５）不断迭代更新 Ｑ 值函数，从而收敛到最优状态动作值．在实际应用中，通常状态空间和动作空间较为庞大，采用迭代算法寻找最优策略所产生的计算量较大，可行性较低．因此，需要将大规模状态空间进行泛化处理，通常采用函数逼近的泛化方法近似得到Ｑ 值［２０］．例如，采用了资格迹的泛化方法为δ＝ｒｔ＋１＋γｍａｘｕＱ（ｘｔ＋１，ｕ；θｔ）－Ｑ（ｘｔ，ｕｔ；θｔ）（６）θｔ＋１＝θｔ＋αδｔｅｔ （７）ｅｔ＝γλｅｔ－１＋Ｑ（ｘｔ，ｕｔ；θｔ） （８）　　其中，ｅ为资格迹．２．２　深度Ｑ网络（ＤＱＮ）ＤＱＮ 结合了传统强化学习的 Ｑ 学习方法和卷积神经网络，采用经验回放机制和目标网络技术缓解了使用非线性神经网络作为函数逼近器出现的学习不稳定问题．ＤＱＮ 被成功应用于 Ａｔａｒｉ　２６００游戏环境中，其中部分游戏的成绩超过了人类玩家水平．ＤＱＮ 结构图如图１所示．图 １　深度 Ｑ 网络（ＤＱＮ）结构示意图ＤＱＮ 的输入为 ４ 帧经过处理的图像，大小为８４×８４像素，之后由３个卷积层提取特征，每层卷积操作后利用非线性激活函数 ＲｅＬＵ 加入非线性因素，最后经过２个全连接层处理得到输出．在深度学习中，训练数据需要满足相互独立的条件，而另一方面，强化学习的样本通过与环境交互产生，很多样本之间存在着较大的相关性．ＤＱＮ 利用经验回放机制打破样本之间相关性，从而使学习稳定，Ａｇｅｎｔ在每个时间步ｔ将状态（ｘｔ）、动作（ｕｔ）、奖赏（ｒｔ）和执行动作后到达的下一个状态（ｘｔ＋１）作为一个序列ｅｔ＝（ｘｔ，ｕｔ，ｒｔ，ｘｔ＋１）保存在经验池 Ｄ＝｛ｅ１，ｅ２，…，ｅＮ｝中，并在训练阶段从中取出固定数量样本作为网络输入．ＤＱＮ 使用两个独立的 Ｑ 网络，即当前值网络８期 朱　斐等：基于双深度网络的安全深度强化学习方法５１８１０１８－０５－２２；在线出版日期：２０１９－０３－１９．本课题得到国家自然科学基金项目（６１３０３１０８，６１３７３０９４，６１７７２３５５）、江苏省高校自然科学研究项目重大项目（１７ＫＪＡ５２０００４）、符号计算与知识工程教育部重点实验室（吉林大学）项目（９３Ｋ１７２０１４Ｋ０４）、苏州市重点产业技术创新－前瞻性应用研究项目（ＳＹＧ２０１８０４）、高校省级重点实验室（苏州大学）项目（ＫＪＳ１５２４）、中国国家留学基金（２０１６０６９２００１３）资助．朱　斐，博士，副教授，中国计算机学会（ＣＣＦ）会员，主要研究方向为强化学习、深度强化学习和文本挖掘．Ｅ－ｍａｉｌ：ｚｈｕｆｅｉ＠ｓｕｄａ．ｅｄｕ．ｃｎ．吴　文，硕士研究生，主要研究方向为深度强化学习．伏玉琛（通信作者），博士，教授，中国计算机学会（ＣＣＦ）会员，主要研究领域为强化学习、智能信息处理．Ｅ－ｍａｉｌ：ｙｕｃｈｅｎｆｕ＠ｃｓｌｇ．ｅｄｕ．ｃｎ．刘　全，博士，教授，博士生导师，中国计算机学会（ＣＣＦ）高级会员，主要研究领域为智能信息处理、自动推理和机器学习．基于双深度网络的安全深度强化学习方法朱　斐１），２），３），４）　吴　文１）　伏玉琛１），５）　刘　全１），２），３）１）（苏州大学计算机科学与技术学院　江苏 苏州　２１５００６）２）（软件新技术与产业化协同创新中心　南京　２１００００）３）（吉林大学符号计算与知识工程教育部重点实验室　长春　１３００１２）４）（苏州大学江苏省计算机信息处理技术重点实验室　江苏 苏州　２１５００６）５）（常熟理工学院计算机科学与工程学院　江苏 常熟　２１５５００）摘　要　深度强化学习利用深度学习感知环境信息，使用强化学习求解最优决策，是当前人工智能领域的主要研究热点之一．然而，大部分深度强化学习的工作未考虑安全问题，有些方法甚至特意加入带随机性质的探索来扩展采样的覆盖面，以期望获得更好的近似最优解．可是，不受安全控制的探索性学习很可能会带来重大风险．针对上述问题，提出了一种基于双深度网络的安全深度强化学习（Ｄｕａｌ　Ｄｅｅｐ　Ｎｅｔｗｏｒｋ　Ｂａｓｅｄ　Ｓｅｃｕｒｅ　Ｄｅｅｐ　ＲｅｉｎｆｏｒｃｅｍｅｎｔＬｅａｒｎｉｎｇ，ＤＤＮ－ＳＤＲＬ）方法．ＤＤＮ－ＳＤＲＬ方法设计了危险样本经验池和安全样本经验池，其中危险样本经验池用于记录探索失败时的临界状态和危险状态的样本，而安全样本经验池用于记录剔除了临界状态和危险状态的样本．ＤＤＮ－ＳＤＲＬ方法在原始网络模型上增加了一个深度 Ｑ 网络来训练危险样本，将高维输入编码为抽象表示后再解码为特征；同时提出了惩罚项描述临界状态，并使用原始网络目标函数和惩罚项计算目标函数．ＤＤＮ－ＳＤＲＬ方法以危险样本经验池中的样本为输入，使用深度 Ｑ 网络训练得到惩罚项．由于 ＤＤＮ－ＳＤＲＬ 方法利用了临界状态、危险状态及安全状态信 息，因 此 Ａｇｅｎｔ可 以 通 过 避 开 危 险 状 态 的 样 本、优 先 选 取 安 全 状 态 的 样 本 来 提 高 安 全 性．ＤＤＮ－ＳＤＲＬ方法具有通用性，能与多种深度网络模型结合．实验验证了方法的有效性．关键词　强化学习；深度强化学习；深度 Ｑ 网络；安全深度强化学习；安全人工智能；经验回放中图法分类号 ＴＰ１８　　　ＤＯＩ号 １０．１１８９７／ＳＰ．Ｊ．１０１６．２０１９．０１８１２Ａ　Ｄｕａｌ　Ｄｅｅｐ　Ｎｅｔｗｏｒｋ　Ｂａｓｅｄ　Ｓｅｃｕｒｅ　Ｄｅｅｐ　Ｒｅｉｎｆｏｒｃｅｍｅｎｔ　Ｌｅａｒｎｉｎｇ　ＭｅｔｈｏｄＺＨＵ　Ｆｅｉ　１），２），３），４）　ＷＵ　Ｗｅｎ１）　ＦＵ　Ｙｕ－Ｃｈｅｎ１），５）　ＬＩＵ　Ｑｕａｎ１），２），３）１）（Ｓｃｈｏｏｌ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ，Ｓｏｏｃｈｏｗ　Ｕｎｉｖｅｒｓｉｔｙ，Ｓｕｚｈｏｕ，Ｊｉａｎｇｓｕ　２１５００６）２）（Ｃｏｌｌａｂｏｒａｔｉｖｅ　Ｉｎｎｏｖａｔｉｏｎ　Ｃｅｎｔｅｒ　ｏｆ　Ｎｏｖｅｌ　Ｓｏｆｔｗａｒｅ　Ｔｅｃｈｎｏｌｏｇｙ　ａｎｄ　Ｉｎｄｕｓｔｒｉａｌｉｚａｔｉｏｎ，Ｎａｎｊｉｎｇ　２１００００）３）（Ｋｅｙ　Ｌａｂｏｒａｔｏｒｙ　ｏｆ　Ｓｙｍｂｏｌｉｃ　Ｃｏｍｐｕｔａｔｉｏｎ　ａｎｄ　Ｋｎｏｗｌｅｄｇｅ　Ｅｎｇｉｎｅｅｒｉｎｇ　ｏｆ　Ｍｉｎｉｓｔｒｙ　ｏｆ　Ｅｄｕｃａｔｉｏｎ，Ｊｉｌｉｎ　Ｕｎｉｖｅｒｓｉｔｙ，Ｃｈａｎｇｃｈｕｎ　１３００１２）４）（Ｐｒｏｖｉｎｃｉａｌ　Ｋｅｙ　Ｌａｂｏｒａｔｏｒｙ　ｆｏｒ　Ｃｏｍｐｕｔｅｒ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｐｒｏｃｅｓｓｉｎｇ　Ｔｅｃｈｎｏｌｏｇｙ （Ｓｏｏｃｈｏｗ　Ｕｎｉｖｅｒｓｉｔｙ），Ｓｕｚｈｏｕ，Ｊｉａｎｇｓｕ　２１５００６）５）（Ｓｃｈｏｏｌ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｃｈａｎｇｓｈｕ　Ｉｎｓｔｉｔｕｔｅ　ｏｆ　Ｔｅｃｈｎｏｌｏｇｙ，Ｃｈａｎｇｓｈｕ，Ｊｉａｎｇｓｕ　２１５５００）Ａｂｓｔｒａｃｔ　 Ｒｅｉｎｆｏｒｃｅｍｅｎｔ　ｌｅａｒｎｉｎｇ　ｉｓ　ａ　ｗｉｄｅｌｙ　ｓｔｕｄｉｅｄ　ｃｌａｓｓ　ｏｆ　ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ　ｍｅｔｈｏｄ，ｗｈｅｒｅｔｈｅ　ａｇｅｎｔ　ｏｆ　ｒｅｉｎｆｏｒｃｅｍｅｎｔ　ｌｅａｒｎｉｎｇ　ｋｅｅｐｓ　ｃｏｎｔｉｎｕｏｕｓｌｙ　ｉｎｔｅｒａｃｔｉｎｇ　ｗｉｔｈ　ｔｈｅ　ｅｎｖｉｒｏｎｍｅｎｔ　ｗｉｔｈ　ｔｈｅｇｏａｌ　ｏｆ　ｇｅｔｔｉｎｇ　ｍａｘｉｍａｌ　ｌｏｎｇ　ｔｅｒｍ　ｒｅｔｕｒｎ．Ｒｅｉｎｆｏｒｃｅｍｅｎｔ　ｌｅａｒｎｉｎｇ　ｉｓ　ｐａｒｔｉｃｕｌａｒｌｙ　ｐｒｏｍｉｎｅｎｔ　ｉｎａｒｅａｓ　ｓｕｃｈ　ａｓ　ｃｏｎｔｒｏｌ　ａｎｄ　ｏｐｔｉｍａｌ　ｓｃｈｅｄｕｌｉｎｇ．Ｄｅｅｐ　ｒｅｉｎｆｏｒｃｅｍｅｎｔ　ｌｅａｒｎｉｎｇ，ｗｈｉｃｈ　ｉｓ　ａｂｌｅ　ｔｏ　ｔａｋｅｌａｒｇｅ－ｓｃａｌｅ　ｈｉｇｈ－ｄｉｍｅｎｓｉｏｎａｌ　ｄａｔａ，ｅ．ｇ．ｖｉｄｅｏ　ａｎｄ　ｉｍａｇｅ，ａｓ　ｏｒｉｇｉｎａｌ　ｉｎｐｕｔ　ｄａｔａ，ｔａｋｅｓ　ａｄｖａｎｔａｇｅ　ｏｆｄｅｅｐ　ｌｅａｒｎｉｎｇ　ｍｅｔｈｏｄｓ　ｔｏ　ｅｘｔｒａｃｔ　ａｂｓｔｒａｃｔ　ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ　ｏｆ　ｔｈｅｍ，ａｎｄ　ｔｈｅｎ　ｕｔｉｌｉｚｅｓ　ｒｅｉｎｆｏｒｃｅｍｅｎｔ，分别用θ 和θ－表示两种网络的参数．其中，θ 是实时更新的，θ－在每过Ｌ 步后由θ 复制得到．当前值网络和目标值网络的输出分别表示为Ｑ（ｘ，ｕ｜θ）和Ｑ（ｘ，ｕ｜θ－）．损失函数由目标值函数和当前值函数的均方误差决定Ｌ（θ）＝Ｅ［（Ｙ－Ｑ（ｘ，ｕ；θ））２］ （９）Ｙ＝ｒ＋γｍａｘｕ′Ｑ（ｘ′，ｕ′；θ－） （１０）　　其中，式（１０）为监督学习的标签，用于近似表示值函数的优化目标．为了求解最小化损失函数，在式（９）中对参数θ求导θＬ（θ）＝（ｒ＋γｍａｘｕ′Ｑ（ｘ′，ｕ′；θ－）－Ｑ（ｘ，ｕ；θ））θＱ（ｘ，ｕ；θ） （１１）可 以 采 用 随 机 梯 度 下 降 （Ｓｔｏｃｈａｓｔｉｃ　ＧｒａｄｉｅｎｔＤｅｓｃｅｎｔ，ＳＧＤ）方法更新式（１１）中的参数θ．ＤＱＮ 通过贪心策略更新动作值函数，用ε－贪心策略（ε－ｇｒｅｅｄｙ）方法选择动作，即以１－ε的概率选择贪心动作，以ε的概率随机选择动作．２．３　安全强化学习近来，有研究人员开展了安全强化学习的相关研究工作．Ｇａｒｃａ等人［２１］从安全的角度将 Ａｇｅｎｔ在训练过程中遇到的状态进行分类并系统地阐述了强化学习中的安全性概念，认为现有安全强化学习方法主要包括改变目标函数和改进探索两类方法．第一类方法通过改变目标函数对 Ａｇｅｎｔ的动作进行限制．强化学习的目标是最大化 Ａｇｅｎｔ在情节中的期望奖赏，目标函数通常只是最大化奖赏Ｑ（ｘ，ｕ）＝ｒ＋γｍａｘｕ′Ｑ（ｘ′，ｕ′） （１２）然而，式 （１２）忽 视 了 危 险 状 态 对 Ａｇｅｎｔ的 损害．因此，第一类安全强化学习方法在目标函数中加入最小化 Ａｇｅｎｔ陷入危险状态的风险项Ｑ（ｘ，ｕ）＝ｍｉｎ（Ｑ（ｘ，ｕ），ｒ＋γｍａｘｕ′Ｑ（ｘ′，ｕ′））（１３）有人以改善奖赏方差的方式改进第一类安全强化学习方法．Ｃｈｏｗ 等人［２２］将风险敏感性条件引入ＭＤＰ模型，建立了风险控制和决策控制的统一框架．Ｈａｎｓ等人［２３］提出一种基于级别的探索方案，一定程度上提高了 Ａｇｅｎｔ探索过程的安全性．第二类方法通过外部环境信息改进探索过程．由于大多数强化学习方法在开始学习阶段有外部知识，因此通常采用ε－贪心策略作为探索策略获得状态动作空间先验知识．然而，这种方法将耗费大量的探索时间和资源，ε－贪心策略的无限制探索也有可能使 Ａｇｅｎｔ陷入危险．这在大规模连续空间任务中显得尤为突出．针对这一问题，Ｓｏｎｇ等人［２４］通过初始化适当的Ｑ 值改善算法效率．Ｐｒａｄｙｏｔ等人［２５］利用 Ａｇｅｎｔ探索产生的经验改进探索算法，在格子世界等问题中取得了良好的效果．在安 全 深 度 强 化 学 习 方 面 也 有 一 些 研 究．Ａｇａｒｗａｌ等人［２６］发现，随着样本的增加，经验也在同时积累，有效地利用这些经验可以控制决策的风险、提高决策的安全性从而降低错误决策的代价．在多智能 体 的 安 全 深 度 强 化 学 习 方 面，Ｍｈａｍｄｉ等人［２７］提出了一种动态安全中断机制，完成了在离散状态空间下安全中断的任务．然而，该方法在中断后缺乏学习能力，无法通过自主学习进行改进．３　基于双深度网络的安全深度强化学习本文提出一种基于双深度网络的安全深度强化学习方法．整体模型由两个网络构成，即在原始网络模型（如 ＤＱＮ、ＤＲＱＮ、ＤｕＤＱＮ 等）中 增 加 一 个 深度网络，用以训练临界于危险状态的临界样本和处于危险状态的危险样本，并采用双经验池方法，增加临界样本和危险样本经验池，充分利用其经验．该模型将高维输入编码为抽象表示然后再解码为特征．本节以实验环境 Ａｔａｒｉ　２６００为例分析各个网络功能及网络间关系．３．１　安全深度强化学习为了将安全强化学习概念引入深度强化学习，定义相关名词．定义１．　当 Ａｇｅｎｔ进入某个状态导致任务失败时，将该状态定义为危险状态，记为ｘｄ．定义２．　在危险状态ｘｄ的前Δ 个状态范围定义为安全距离，记为ｄ．定义３．　在安全距离ｄ 范围之内的状态定义为临界状态．在本文的实验中，安全距离定义为 ｍ，临界状态是 Ａｇｅｎｔ在游戏 失败的前 ｍ 帧状态，危险 状态是Ａｇｅｎｔ在游戏失败时的状态．３．２　图像预处理本文实验环境 Ａｔａｒｉ　２６００游戏产生２１０×１６０像素的 ＲＧＢ图像．考虑到灰度图像和 ＲＧＢ 图像作为输入对网络训练结果影响较小，而使用灰度图像６１８１ 计　　算　　机　　学　　报 ２０１９年算量将会大幅减少，因此，本文将原始ＲＧＢ图像处理为２１０×１６０像素的灰度图像；然后，使用降采样方法将灰度图像缩减为１１０×８４×１的缩略图；最后，通过图像边界裁剪形成８４×８４×１的缩略图．经过预处理操作，在有效信息不丢失的情况下减少了计算和存储量．原始网络的输入是当前时刻最近的４帧经过预处理的图像；另一个深度网络的输入是处于临界状态和危险状态时经过预处理后的图像．３．３　模型结构及分析基于双深度网络的安全深度强化学习方法采用双网络模型架构，其中，增加的深度网络模型用于训练 Ａｇｅｎｔ历史遭遇的临界状态和危险状态．训练结果用于惩罚 Ａｇｅｎｔ的动作值函数．新加入的 ＤＱＮ对临界状态进行有针对性的训练，从而使得临界状态样本得到充分利用，减少 Ａｇｅｎｔ再次陷入危险状态的次数．使用双网络模型有两方面优点：（１）双网络模型充分利 用 了 历 史 数 据，使 Ａｇｅｎｔ有 效 地 避 免 再次陷入危险状态，增加了安全性，加快了训练速度；（２）通过额外训练临界状态与危险状态并改进动作值函 数，使 得 目 标 函 数 避 免 朝 危 险 状 态 方 向 收敛．目标函数的改进提升 了 Ａｇｅｎｔ探索的安全性．基于双深度网络的安全深度强化学习方法如算法１所示．算法１．　基于双深度网络的安全深度强化学习（Ｄｕａｌ　Ｄｅｅｐ　Ｎｅｔｗｏｒｋ　Ｂａｓｅｄ　Ｓｅｃｕｒｅ　Ｄｅｅｐ　ＲｅｉｎｆｏｒｃｅｍｅｎｔＬｅａｒｎｉｎｇ，ＤＤＮ－ＳＤＲＬ）方法．输入：原始网络模型、深度网络模型、安全距离 ｍ输出：训练完毕后的原始网络参数θ１、深度网络参数θ２１．初始化：经验回放单元Ｄ、危险经验回放单元 Ｄｄ，原始网络情节结束终止奖赏ｒＴ１，深度网络情节结束终止奖赏ｒＴ２，抽样样本数量 ｍｉｎｉｂａｔｃｈ的大小３２，θ１、θ２初始化为随机较小数值２． Ｒｅｐｅａｔ（对每一个情节）：３． 使用预处理操作（）对原始图像ｘ１进行处理，获得预处理后的图像１，１＝（ｘ１）４． Ｒｅｐｅａｔ（对于情节中的每个时间步）：５． 用ε－贪心策略随机选择动作ｕｔ６． 执行动作ｕｔ，得到观察的图像ｏｔ＋１和立即奖赏ｒｔ７． 设置ｘｔ＋１＝ｘｔ，形成元组ｘｔ＋１，ｕｔ，ｏｔ＋１，并预处理图像ｔ＋１＝（ｘｔ＋１）８． Ｉｆ到达当前情节终止状态９． ｙ１＝ｒＴ１１０． ｙ２＝ｒＴ２１１． 将（ｔ－ｍ，ｕｔ－ｍ，ｒｔ－ｍ，ｔ－ｍ＋１）至（ｔ，ｕｔ，ｒｔ，ｔ＋１）之间的样本存储到 Ｄｄ中１２． Ｅｌｓｅ１３． ｙ１＝ｒ１＋γｍａｘｕ′Ｑ（ｉ＋１，ｕ′；θ１）－ηａｖｇ（Ｑ（ｉ＋１，ｕ′；θ２）），其中，使用式（１２）计算Ｑ 值１４． ｙ２＝ｒ２＋γｍａｘｕ′Ｑ（ｉ＋１，ｕ′；θ２），其中，使用式（１２）计算 Ｑ 值１５． 将（ｔ，ｕｔ，ｒｔ，ｔ＋１）作为一个样本存储到 Ｄ 中１６． Ｅｎｄ　Ｉｆ１７． 从Ｄ 中抽取 ｍｉｎｉｂａｔｃｈ个样本送入原始网络训练１８． 从Ｄｄ中抽取 ｍｉｎｉｂａｔｃｈ个样本送入深度网络训练１９． 分别对损失函数Ｌ（θ１）＝（ｙ１－Ｑ（，ｕ；θ１））２和Ｌ（θ２）＝（ｙ２－Ｑ（，ｕ；θ２））２的θ１和θ２进行梯度下降操作以更新权重２０． Ｕｎｔｉｌ智能体达到当前情节终止状态２１．Ｕｎｔｉｌ达到预期训练次数２２．Ｒｅｔｕｒｎθ１，θ２ＤＤＮ－ＳＤＲＬ方法将 Ａｇｅｎｔ与环境交互过程中产生的样本分为临界样本、危险样本和一般样本，其中，临界样 本 为 从 Ａｇｅｎｔ任 务 失 败 开 始 的 倒 数 ｍ帧，危险样本为处于危险状态的样本．这两种样本存储在经验回放单元 Ｄｄ中，一般样本存储在经验回放单元 Ｄ 中．ＤＤＮ－ＳＤＲＬ 方法在原有 深 度网络的基础上新增了一个网络训练临界样本和危险样本，其目的在于计算临界状态对 Ａｇｅｎｔ再次陷入 危险状态的影响程度．在训练过程中，原始深度神经网络和深度网络分别从 Ｄ 和Ｄｄ中抽取样本进行随机梯度下降训练．损失函数为Ｌ（θ１）＝（ｙ１－Ｑ（ｘ，ｕ；θ１））２（１４）　　其中，ｙ１的计算方式为ｙ１＝ｒ１＋γｍａｘｕ′Ｑ（ｉ＋１，ｕ′；θ１）－ηａｖｇ（Ｑ（ｉ＋１，ｕ′；θ２）） （１５）　　式（１５）中ηａｖｇ（Ｑ（ｉ＋１，ｕ′；θ２））代表临界样本模型对当前值网络的惩罚项，η控制着深度网络模型对原始深度网络模型的影响力，ａｖｇ（Ｑ（ｉ＋１，ｕ′；θ２）为经过深度网络训练后危险样本的平均动作值函数．无惩罚项的原目标函数根据损失函数进行梯度下降操作时易陷入局部最优，对加入惩罚项之后的式（１５）进行平方操作，得到ｙ２１＝［ｒ１＋γｍａｘｕ′Ｑ（ｉ＋１，ｕ′；θ１）－ηａｖｇ（Ｑ（ｉ＋１，ｕ′；θ２））］２ （１６）由式（１６）可以看出，加入惩罚项后的ｙ１距离未加入惩罚项的ｙ１相差了ηａｖｇ（Ｑ（ｉ＋１，ｕ′；θ２））．从二维平面来看，加入惩罚项后的ｙ１所能取得的值为以８期 朱　斐等：基于双深度网络的安全深度强化学习方法７１８１ｒ１＋γｍａｘｕ′Ｑ（ｉ＋１，ｕ′；θ１）为圆心，ηａｖｇ（Ｑ（ｉ＋１，ｕ′；θ２））为半径之外的区域，因此，式（１６）可使ｙ１值在较为安全的范围之内，有效地避免进入危险状态的可能，从而保障 Ａｇｅｎｔ的安全性．ＤＤＮ－ＳＤＲＬ方法改变了目标函数（增加了惩罚项），相应地，最优函数也会 随 之 改 变．然 而，ＤＤＮ－ＳＤＲＬ方法针对性地训练了临界样本，在危险状态边缘的状态所训练得到的最优策略会受到较大影响，使得函数避免陷入局部最优，因此可以有效限制Ａｇｅｎｔ向危险状态方向探索．此外，由于安全样本距离危险状态边缘较远，目标函数惩罚项对其影响较小，保证了算法的稳定性．３．４　网络训练过程经过预处理的图像再由卷积神经网络提取特征，卷积过程为Ｃ＝ｆ∑Ｔ－１ｔ＝０Ｗｔ·Ｘｔ（＋ｂ）（１７）　　其中，Ｘ 为经过处理后的图像矩阵，Ｗ 为卷积核，ｂ 为偏置向量，ｆ 为 ＲｅＬＵ 激活函数，Ｔ 为卷积核数量．本文网络模型采用了３层卷积神经网络，在每层网络后又进行了非线性变换，提取图像特征．由于池化（Ｐｏｏｌｉｎｇ）操作会使得提取得到的特征忽视位置信息，而在实验环境中位置信息也会对奖赏产生较大影响，因此，ＤＤＮ－ＳＤＲＬ 方法在通过卷积神经网络提取特征后未进行池化操作．在网络的全连接层中，ＤＤＮ－ＳＤＲＬ方法通过两层全连接层以完成最终的从状态到动作的映射．对于有 ｍ 个输入节点ｎ 个输出节点的全连接层而言，其更新过程可以表示为ｙ＝ｗ·ｘ＋ｂ （１８）　　其中，ｘ∈Ｒｎ表示输入层信息，ｗ∈Ｒｎ×ｍ表示全连接层的参数矩阵，ｂ∈Ｒｎ表示偏置向量．网络最终输出值为动作值函数，在 ＤＤＮ－ＳＤＲＬ方法中，以其均值作为惩罚项．４　实验结果及分析本节首先介绍实验平台和实验过程中的主要参数．接着介绍了对比实验所使用的方法和实验环境．为了评估 ＤＤＮ－ＳＤＲＬ方法在原始网络选择上的通用性，本文实验使用 ＤＱＮ、ＤｕＤＱＮ 和 ＤＲＱＮ 这３种不同的深度网络作为原始网络；分析结合这３种不同原 始 网 络 的 情 况 下，ＤＤＮ－ＳＤＲＬ 方 法 在 Ａｔａｒｉ２６００实验平台部分游戏上的效果．最后，根据实验结果分析 ＤＤＮ－ＳＤＲＬ方法的优缺点和适用范围．４．１　实验平台及参数设置本文 采 用 的 游 戏 环 境 是 基 于 人 工 智 能 公 司ＯｐｅｎＡＩ　ｇｙｍ 工具包中的 Ａｔａｒｉ　２６００ 游 戏实 验 平台．Ａｔａｒｉ　２６００游戏主要包括射击类、战略类、体育竞技类等方面的策略游戏，为研究人员提供了种类多样的实验环境．实验采用的处理器为Ｉｎｔｅｌ　ｉ７－７８２０Ｘ（８核），主频为３．６０ＧＨｚ，内存为１６ＧＢ．由于模型中大多用到了卷积运算和矩阵运算，因此使用了 ＧＴＸ　１０８０Ｔｉ图形处理器对模型进行辅助加速运算．本文在 Ａｔａｒｉ　２６００游戏中选取了６个游戏进行评估，表１为相关游戏任务的简要介绍．表 １ 部分 Ａｔａｒｉ游戏的简要介绍英文名称 动作数 智能体任务简述ＣｒａｚｙＣｌｉｍｂｅｒ（疯狂攀登者）９ Ａｇｅｎｔ避开障碍物爬上高楼Ｋａｎｇａｒｏｏ（袋鼠）１８Ａｇｅｎｔ通过楼梯向上爬并避开障碍物ＫｕｎｇＦｕＭａｓｔｅｒ（功夫大师）１４ Ａｇｅｎｔ需要不断击败出现的敌人Ｐｏｏｙａｎ（猪小弟）６Ａｇｅｎｔ躲避子弹并击败每一个出现的敌人ＲｏａｄＲｕｎｎｅｒ（公路奔跑者）１８ Ａｇｅｎｔ在公路上躲避前后的敌人Ｚａｘｘｏｎ（空间逃脱）１８ Ａｇｅｎｔ驾驶飞船左右躲避障碍物为了更好地比较各方法的优劣，实验中每一种游戏都使用了相同的参数设置．鉴于在将强化学习方法应用于深度学习问题时，会导致不稳定现象的发生．本文在实验中采用了一些措施以保证模型的稳定性，主要包括：（１）由于 Ａｇｅｎｔ根据Ｑ 值选择动作所消耗的时间远大于网络传播时间，为了平衡两者差异，采用跳帧技术［２８］来缓和，即在每 ４ 帧状态下都采取相同的动作，并以累积奖赏作为总奖赏，每过４帧再根据ε－贪心策略选择下一个动作，若在跳帧过程中 出 现 终 止 状 态 则 实 验 结 束；（２）在 Ａｔａｒｉ２６００游戏环境中，不同游戏的奖赏范围波动较大，这会造成较大的得分差异，因此，实验中将正奖赏设为＋１，负奖赏设为－１，其余不变．这样不仅可以更方便快捷地在不同算法间进行比较，而且简化了奖赏的设置，可以明确动作带来的优劣，使得判断更加简明；（３）为了防止策略陷入局部最优，提升算法稳定性，将损失函数进行裁剪：损失值在区间［－１，１］之外的取损失值的绝对值；损失值在［－１，１］范围８１８１ 计　　算　　机　　学　　报 ２０１９年