ｅｅｐ　ｒｅｃｕｒｒｅｎｔ　Ｑ　ｎｅｔｗｏｒｋ　ｒｅｑｕｉｒｅｓ　ａ　ｌｏｔ　ｏｆ　ｔｒａｉｎｉｎｇ　ｔｉｍｅ，ｗｈｉｃｈ　ｉｎｃｒｅａｓｅｓ　ｔｈｅ　ｄｉｆｆｉｃｕｌｔｙｏｆ　ｔｈｅ　ｔａｓｋ．Ｔｏ　ｓｏｌｖｅ　ｔｈｅｓｅ　ｐｒｏｂｌｅｍｓ，ｔｈｅ　ｍｏｄｅｌ　ｏｆ　ｔｈｅ　ｄｅｅｐ　ｒｅｃｕｒｒｅｎｔ　Ｑ　ｎｅｔｗｏｒｋ　ｗｉｔｈ　ｅｘｐｌｏｒａｔｏｒｙｎｏｉｓｅ （ＥＮ－ＤＲＱＮ）ｉｓ　ｐｒｏｐｏｓｅｄ．Ｄｉｆｆｅｒｅｎｔ　ｆｒｏｍ　ｔｈｅ　ｗａｙ　ｏｆ　ｅｘｐｌｏｒａｔｉｏｎ　ｉｎ　ｔｈｅ　ａｃｔｉｏｎ　ｓｐａｃｅ，ＥＮ－ＤＲＱＮ　ｉｎｊｅｃｔｓ　ｎｏｉｓｅ　ｄｉｒｅｃｔｌｙ　ｉｎｔｏ　ｔｈｅ　ｎｅｔｗｏｒｋ　ｓｐａｃｅ，ｗｈｉｃｈ　ｃｈａｎｇｅｓ　ｔｈｅ　ｏｕｔｐｕｔ　ｏｆ　ｔｈｅ　ｎｅｔｗｏｒｋ，ａｎｄ　ｔｈｅ　ａｇｅｎｔ　ａｄｊｕｓｔｓ　ｉｔｓ　ｐｏｌｉｃｙ　ｔｈｒｏｕｇｈ　ｔｈｉｓ　ｃｈａｎｇｅ．Ｔｈｅ　ｅｘｐｌｏｒａｔｉｏｎ　ｉｎ　ｔｈｅ　ｎｅｔｗｏｒｋ　ｓｐａｃｅ　ｃａｎｃａｕｓｅ　ｃｏｍｐｌｅｘ　ｃｈａｎｇｅｓ　ｉｎ　ｍｕｌｔｉｐｌｅ　ｔｉｍｅ　ｓｔｅｐｓ，ａｎｄ　ｔｈｅ　ａｇｅｎｔ　ｃａｎ　ｍｅｍｏｒｙ　ｍｕｌｔｉｓｔｅｐ　ｃｈａｎｇｅｓｔｈｒｏｕｇｈ　ｔｈｅ　ｒｅｃｕｒｒｅｎｔ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　ｍｅｍｏｒｙ，ｍａｋｉｎｇ　ｔｈｅ　ｄｅｃｉｓｉｏｎ　ｍｏｒｅ　ｓｔｒａｔｅｇｉｃ．Ｔａｋｉｎｇ　ｔｈｅａｂｏｖｅ　ｍｅａｓｕｒｅｓ，ｔｈｅ　ｄｅｃｉｓｉｏｎ　ｍａｄｅ　ｂｙ　ｔｈｅ　ａｇｅｎｔ　ｉｓ　ｍｏｒｅ　ｓｔｒａｔｅｇｉｃ．ＥＮ－ＤＲＱＮ　ｈａｓ　ｔｈｅ　ｆｏｌｌｏｗｉｎｇｃｈａｒａｃｔｅｒｉｓｔｉｃｓ：ｆｉｒｓｔ　ｏｆ　ａｌｌ，ｅｘｐｌｏｒａｔｏｒｙ　ｎｏｉｓｅ　ｉｓ　ｕｓｅｄ　ｔｏ　ｍａｋｅ　ｕｐ　ｆｏｒ　ｔｈｅ　ｉｎｅｆｆｉｃｉｅｎｃｙ　ｏｆ　ｔｒａｄｉｔｉｏｎａｌｐｏｌｉｃｙ　ｅｘｐｌｏｒａｔｉｏｎ．Ｔｈｅ　ｎｏｉｓｅ　ｃｏｍｅｓ　ｆｒｏｍ　ｔｈｅ　ｎｏｉｓｅ　ｄｉｓｔｒｉｂｕｔｉｏｎ　ａｎｄ　ｔｈｅ　ａｇｅｎｔ　ｈａｓ　ａｂｉｌｉｔｙ　ｔｏｅｘｐｌｏｒｅ　ｔｈｒｏｕｇｈ　ｔｈｅ　ｖａｒｉａｎｃｅ．Ｉｆ　ｔｈｅ　ｓｅｌｅｃｔｅｄ　ａｃｔｉｏｎ　ｉｓ　ｔｈｅ　ｏｐｔｉｍａｌ　ａｃｔｉｏｎ，ｔｈｅ　ａｇｅｎｔ　ｗｉｌｌ　ｒｅｄｕｃｅ　ｔｈｅｓｃａｌｅ　ｏｆ　ｔｈｅ　ｎｏｉｓｅ　ｔｏ　ｒｅｄｕｃｅ　ｔｈｅ　ｖａｒｉａｎｃｅ　ｏｆ　ｔｈｅ　ｎｅｔｗｏｒｋ．Ｉｆ　ｔｈｅ　ｓｅｌｅｃｔｅｄ　ａｃｔｉｏｎ　ｉｓ　ｎｏｔ　ｔｈｅ　ｏｐｔｉｍａｌａｃｔｉｏｎ，ｉｎｃｒｅａｓｉｎｇ　ｔｈｅ　ｖａｒｉａｎｃｅ　ｏｆ　ｔｈｅ　ｎｅｔｗｏｒｋ　ｔｏ　ｉｍｐｒｏｖｅ　ｔｈｅ　ｐｏｓｓｉｂｉｌｉｔｙ　ｏｆ　ｓｅｌｅｃｔｉｎｇ　ｔｈｅ　ｏｐｔｉｍａｌａｃｔｉｏｎ．Ｔｈｅ　ｖａｒｉａｂｌｅｓ　ｔｈａｔ　ｃｏｎｔｒｏｌ　ｔｈｅ　ｎｏｉｓｅ　ｓｃａｌｅ　ａｒｅ　ｔｒａｉｎｅｄ　ｂｙ　ｔｈｅ　ｇｒａｄｉｅｎｔ　ｄｅｓｃｅｎｔ　ｍｅｔｈｏｄ　ａｌｏｎｇｗｉｔｈ　ｏｔｈｅｒ　ｗｅｉｇｈｔ　ｐａｒａｍｅｔｅｒｓ　ｉｎ　ｔｈｅ　ｎｅｔｗｏｒｋ．Ｔｈｅ　ｎｏｉｓｅ　ｐｏｌｉｃｙ　ｉｎ　ｔｈｅ　ｎｅｔｗｏｒｋ　ｓｐａｃｅ　ｉｍｐｒｏｖｅｓ　ｔｈｅｐｏｓｓｉｂｉｌｉｔｙ　ｏｆ　ｆｉｎｄｉｎｇ　ｎｅｗ　ｓｔａｔｅｓ．Ｍｉｎｉｎｇ　ｎｅｗ　ｓｔａｔｅ　ｃａｎ　ｐｒｏｖｉｄｅ　ｍｏｒｅ　ａｂｕｎｄａｎｔ　ｓａｍｐｌｅｓ　ｆｏｒ　ｔｈｅａｇｅｎｔ　ａｔ　ｔｈｅ　ｌｅａｒｎｉｎｇ　ｓｔａｇｅ　ａｎｄ　ｐｒｏｖｉｄｅ　ｅｆｆｅｃｔｉｖｅ　ｉｎｆｏｒｍａｔｉｏｎ　ｆｏｒ　ｄｅｃｉｓｉｏｎ－ｍａｋｉｎｇ．Ｓｅｃｏｎｄ　ｏｆ　ａｌｌ，ｗｅ　ｕｓｅ　ｔｈｅ　ｉｍｐｒｏｖｅｄ　ｄｏｕｂｌｅ　ｇａｔｅｄ　ｒｅｃｕｒｒｅｎｔ　ｕｎｉｔｓ　ｔｏ　ｍｅｍｏｒｉｚｅ　ｔｈｅ　ｈｉｓｔｏｒｉｃａｌ　ｉｎｆｏｒｍａｔｉｏｎ　ｏｆ　ａ　ｌｏｎｇｔｉｍｅ　ｓｔｅｐ．Ｔｈｉｓ　ｏｐｅｒａｔｉｏｎ　ｅｎａｂｌｅｓ　ｔｈｅ　ａｇｅｎｔ　ｔｏ　ｍａｋｅ　ｒｅａｓｏｎａｂｌｅ　ｄｅｃｉｓｉｏｎｓ　ｉｎ　ｔｈｅ　ｃａｓｅ　ｏｆ　ｄｅｌａｙｅｄｒｅｗａｒｄｓ．Ｉｎ　ｔｈｅ　ｄｅｅｐ　ｒｅｃｕｒｒｅｎｔ　Ｑ　ｎｅｔｗｏｒｋ，ｔｈｅ　ａｂｉｌｉｔｙ　ｏｆ　ａ　ｓｉｎｇｌｅ　ｌａｙｅｒ　ＬＳＴＭ　ｎｅｔｗｏｒｋ　ｔｏ　ｍｅｍｏｒｙｈｉｓｔｏｒｙ　ｉｎｆｏｒｍａｔｉｏｎ　ｉｓ　ｒｅｌａｔｉｖｅｌｙ　ｌｉｍｉｔｅｄ，ａｎｄ　ｉｔ　ｃａｎｎｏｔ　ａｃｈｉｅｖｅ　ｓａｔｉｓｆａｃｔｏｒｙ　ｐｅｒｆｏｒｍａｎｃｅ　ｉｎ　ａ　ｆｅｗｓｔｒａｔｅｇｉｃ　ｅｎｖｉｒｏｎｍｅｎｔｓ．Ａｔ　ｔｈｅ　ｓａｍｅ　ｔｉｍｅ，ｔｈｅ　ＬＳＴＭ　ｕｎｉｔ　ｉｎｃｒｅａｓｅｓ　ｔｈｅ　ｄｅｍａｎｄ　ｆｏｒ　ｃｏｍｐｕｔｉｎｇｒｅｓｏｕｒｃｅｓ．Ｌａｓｔ　ｂｕｔ　ｎｏｔ　ｌｅａｓｔ，ｗｅ　ｔｅｓｔｅｄ　ｔｈｅ　ｅｆｆｅｃｔｉｖｅｎｅｓｓ　ｏｆ　ＥＮ－ＤＲＱＮ　ｉｎ　ｅｉｇｈｔ　ｇａｍｅｓ　ｓｕｃｈ　ａｓＡｉｒＲａｉｄ，ＢｅａｍＲｉｄｅｒ，Ｃｅｎｔｉｐｅｄｅ，Ｆｒｅｅｗａｙ　ａｎｄ　ｓｏ　ｏｎ．Ｉｔ　ｉｓ　ｗｏｒｔｈ　ｍｅｎｔｉｏｎｉｎｇ　ｔｈａｔ　ｔｈｅ　ｅｉｇｈｔ　ｇａｍｅｓａｒｅ　ａｌｌ　ｓｔｒａｔｅｇｉｃ　ａｎｄ　ｔｈｅ　ｒｅｗａｒｄｓ　ｇｉｖｅｎ　ｂｙ　ｔｈｅ　ｅｎｖｉｒｏｎｍｅｎｔ　ａｒｅ　ｄｅｌａｙｅｄ．Ｗｅ　ｃｏｍｐａｒｅｄ　ｔｈｅ　ｍｏｄｅｌｂｙ　ｅｖａｌｕａｔｉｎｇ　ｔｈｅ　ａｖｅｒａｇｅ　ｓｃｏｒｅ　ｏｆ　ｅａｃｈ　ｇａｍｅ．Ｃｏｍｐａｒｅｄ　ｗｉｔｈ　ｄｉｔｈｅｒｉｎｇ　ｐｏｌｉｃｙ　ｉｎ　ｔｈｅ　ａｃｔｉｏｎ　ｓｐａｃｅ，ｔｈｅ　ｅｘｐｅｒｉｍｅｎｔａｌ　ｒｅｓｕｌｔｓ　ｓｈｏｗ　ｔｈａｔ　ＥＮ－ＤＲＱＮ　ｈａｓ　ａｃｈｉｅｖｅｄ　ｂｅｔｔｅｒ　ｐｅｒｆｏｒｍａｎｃｅ　ｉｎ　ｓｏｍｅ　ｓｔｒａｔｅｇｙｇａｍｅｓ　ａｎｄ　ｇａｍｅｓ　ｗｉｔｈ　ｄｅｌａｙｅｄ　ｒｅｗａｒｄｓ．Ｋｅｙｗｏｒｄｓ　 ｄｅｅｐ　ｌｅａｒｎｉｎｇ；ｒｅｉｎｆｏｒｃｅｍｅｎｔ　ｌｅａｒｎｉｎｇ；ｒｅｃｕｒｒｅｎｔ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ；ｃｏｎｖｏｌｕｔｉｏｎ　ｎｅｕｒａｌｎｅｔｗｏｒｋ；ｅｘｐｌｏｒａｔｏｒｙ　ｎｏｉｓｅ１　引　言ＤｅｅｐＭｉｎｄ团队于２０１３年公布了基于 Ａｔａｒｉ　２６００游戏平台的深度强化学习算法［１］．这是一项令人瞩目的研究成果，与传统人工智能算法不同，它将具有感知能力的深度学习（Ｄｅｅｐ　Ｌｅａｒｎｉｎｇ，ＤＬ）和具有决策能力的强化学习（Ｒｅｉｎｆｏｒｃｅｍｅｎｔ　Ｌｅａｒｎｉｎｇ，ＲＬ）相结合并在 Ａｔａｒｉ　２６００游戏平台上做了大量实验，结果表明：在大部分游戏上，该算法可以取得超越人类玩家水平的成绩．其基本框架如图１所示．图 １　深度学习与强化学习的关系深度强化学习在模拟真实场景任务上的优异性能表现，使其成为人工智能领域一个新的研究热点．Ｍｎｉｈ等人［２］结合卷积神经网络（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ，ＣＮＮｓ）和 Ｑ 学习算法，提出一种７期 刘　全等：一种带探索噪音的深度循环 Ｑ 网络９８５１Ｄｅｅｐ　Ｑ－Ｎｅｔｗｏｒｋ，ＤＱＮ）．ＤＱＮ在众多基于视觉感知的控制任务中均取得了优异的性能表现，具有强大的通用性．Ｈａｓｓｅｌｔ等人［３］针对Ｑ 学习中存在的高估动作值问题，提出了一种深度双 Ｑ 网 络 （Ｄｅｅｐ　Ｄｏｕｂｌｅ　Ｑ－Ｎｅｔｗｏｒｋ，ＤＤＱＮ），ＤＤＱＮ 能够很好地抑制高估所带来的误差．Ｓｃｈａｕｌ等人［４］在训练 ＤＱＮ 时，采用一种优先级经验重放技术，该技术 能 够 更 加 高 效 地 利 用 样 本，使 Ａｇｅｎｔ在部分 Ａｔａｒｉ游戏上取得了更高的得分．Ｆｏｒｔｕｎａｔｏ等人［５］提出一种利用白噪音探索的机制，弥补了传统抖动策略的不足，并在深度 Ｑ 网络中验证了其猜想．Ｈａｕｓｋｎｅｃｈｔ等人［６］提出一种基于长短期记忆单元（Ｌｏｎｇ－Ｓｈｏｒｔ　Ｔｅｒｍ　Ｍｅｍｏｒｙ，ＬＳＴＭ）的深度 Ｑ 网络（Ｄｅｅｐ　Ｑ－Ｎｅｔｗｏｒｋ　ｗｉｔｈ　Ｌｏｎｇ－Ｓｈｏｒｔ　Ｔｅｒｍ　Ｍｅｍｏｒｙ，ＬＳＴＭ－ＤＱＮ），并在 Ａｔａｒｉ　２６００游戏平台上验证了其可行性与通用性．实验结果表明，ＬＳＴＭ－ＤＱＮ 具有一定记忆历史信息的能力，在部分战略性任务上的表现可以超过 ＤＱＮ．Ｌａｍｐｌｅ等人［７］从任务的特征和动作的特性角度出发，提出一种分层的深度循环Ｑ 网络（Ｈｉｅｒａｒｃｈｉｃａｌ　Ｄｅｅｐ　Ｒｅｃｕｒｒｅｎｔ　Ｑ－Ｎｅｔｗｏｒｋ，Ｈ－ＤＲＱＮ），在该网络中分别采用 ＬＳＴＭ 网络和全连接网络对接收到的特征进行分层处理，并在 ＦＰＳ游戏上验证．翟 建 伟 等 人［８］在 深 度 循 环 Ｑ 网 络 中引入注意力机制（Ｄｅｅｐ　Ｒｅｃｕｒｒｅｎｔ　Ｑ－Ｎｅｔｗｏｒｋ　ｗｉｔｈＶｉｓｕａｌ　Ａｔｔｅｎｔｉｏｎ　Ｍｅｃｈａｎｉｓｍ，ＶＡＭ－ＤＲＱＮ）以聚焦图像中关键信息，并在 Ａｔａｒｉ　２６００上进行实验，相比于深度循环 Ｑ 网络，取得了更优的表现．然而在深度循环 Ｑ 网络中，单层的循环网络记忆历史信息的能力相对有限，且 ＬＳＴＭ 单元运算速度较慢，在使用ε－ｇｒｅｅｄｙ 抖动策略进行探索时，并不能有效地找到合理的行动，这些问题严重地影响 Ａｇｅｎｔ的表现．本文的主要贡献如下：（１）提出一种带探索噪音的深度循环 Ｑ 网络模型———ＥＮ－ＤＲＱＮ．该模型 既 保 留 状 态 序 列 之 间的相关性，又可以在状态序列之间维持高效的探索．噪音来源 于 噪 音 分 布 并 且 是 自 适 应 的，与 传 统 的ε－ｇｒｅｅｄｙ 抖动策略相比，无需额外探索因子便可收敛至最优．ＥＮ－ＤＲＱＮ 在噪音帮助下可以有效地探索出新状态，同时还会在历史信息的指引下做出高效决策；（２）提出一种改进的简单循环单元以降低计算的复杂度．由于单层 ＬＳＴＭ 记忆历史信息能力相对有限，在一些连续性不强的环境中并不能取得满意的表现．同时使用 ＬＳＴＭ 单元增加了网络对计算资源的要求．针对此 问题，本文引入改 进的简单 循环单元（Ｓｉｍｐｌｅ　Ｒｅｃｕｒｒｅｎｔ　Ｕｎｉｔ，ＳＲＵ）．这种结构可以记忆多个时间步中的有效信息且进一步加快网络的运算．本文通过在战略性任务和稀疏性奖赏任务上进行评估以验证提出的猜想．实验结果表明，本文提出的 ＥＮ－ＤＲＱＮ 模型能高效探索，同时减少了训练时间．２　相关工作２．１　强化学习强化学习，又名激励学习，是学习从状态到行为的映射，以获取数值最大的奖励信号［９］．强化学习中Ａｇｅｎｔ与环境进行交互，其每一个时间步ｔ，在状态ｓｔ下根据策略π 从动作集合Ａ 中执行某一动作ａｔ，接收 到 环 境 所 反 馈 的 下 一 状 态ｓｔ＋１和 标 量 奖 赏ｒｔ＋１，该过程直到环境给出终止状态结束，其中策略π表示一个从状态ｓｔ到动作ａｔ的映射．对于所有状态，如果策略π 的期望回报大于或等于所有其它策略的期望回报值，那么该策略π 就被称为最优策略，用π＊表示．在强化学习中，从ｔ时刻到Ｔ 时刻的累计奖赏定义为：Ｒｔ＝∑Ｔｔ′＝ｔγｔ′－ｔｒｔ′（１）其中，Ｒｔ称之为回报或者累计奖赏，γ∈（０，１］称之为折扣因子．Ａｇｅｎｔ的目标是最大化每个状态ｓｔ下的期望累计奖赏．状态动作值函数Ｑπ（ｓ，ａ）是指 Ａｇｅｎｔ在当前状态ｓｔ下执行动作ａｔ，并一直遵循策略π 所获得的累计奖赏：Ｑπ（ｓ，ａ）＝Ｅ［Ｒｔ｜ｓｔ＝ｓ，ａｔ＝ａ，π］ （２）值得注意的是，最优策略并不唯一，但是最优的状态动作值唯一：Ｑ＊（ｓ，ａ）＝ｍａｘπＥ［Ｒｔ｜ｓｔ＝ｓ，ａｔ＝ａ，π］ （３）Ｑ 学习是强化学习中应用最为广泛的学习方法之一．该方法定义了 Ｑ 函数，将得到的数据代入到式（４）、（５），对Ｑ 函数进行迭代更新，最后 Ｑ 函数会收敛到最优状态动作值：δｔ＝ｒｔ＋１＋γｍａｘａ′Ｑｔ（ｓｔ＋１，ａ′）－Ｑｔ（ｓｔ，ａｔ） （４）Ｑｔ＋１（ｓｔ，ａｔ）＝Ｑｔ（ｓｔ，ａｔ）＋αｔδｔ （５）其中ｔ表示 时 刻，αｔ是 学 习 率，δｔ表 示 时 间 差 分（Ｔｅｍｐｏｒａｌ　Ｄｉｆｆｅｒｅｎｃｅ，ＴＤ）误差，ａ′是下一状态ｓｔ＋１０９５１ 计　　算　　机　　学　　报 ２０１９年使用 ＴＤ 误差进行迭代更新．可以证明，当满足所有的状态动作都能够被无限次地遍历并且满足∑∞ｔ＝０α２ｔ＜∞，∑∞ｔ＝０αｔ＝∞时，在时间步ｔ趋近于无穷下，可以得到最优控制策略［１０－１１］．然而，在大规模问题中，用类似于上述的表格式方法是不可取的［１２］．在这类问题中，通常利用函数逼近器来近似求解Ｑ 值：Ｑ（ｓ，ａ｜θ）≈Ｑ＊（ｓ，ａ）．函数逼近器一般可以用线性函数或者非线性函数构造而成［１３］．２．２　深度Ｑ网络深度强化学习中使用深度神经网络作为函数逼近器，但是使用非线性神经网络与强化学习结合时会导致学习不稳定［２］，Ｍｎｉｈ等人提出使用目标网络和经验重放机制来解决该问题．在 ＤＱＮ 中使用两个独立网络模型来近似表示状态动作值函数［１４］，分别为当前网络和目标网络，其中参数θｉ用于表示当前网络输出Ｑ（ｓ，ａ｜θｉ），θ－ｉ用于表示目标网络输出Ｑ（ｓ，ａ｜θ－ｉ）．在 ＤＱＮ 中，通过损失函数来度量预测值和优化目标之间的差异：Ｌｉ（θｉ）＝Ｅ［（Ｙｉ－Ｑ（ｓ，ａ｜θｉ））２］ （６）一般用Ｙｉ＝ｒ＋γｍａｘａ′Ｑ（ｓ′，ａ′｜θ－ｉ）来近似表示值函数的优化目标，充当监督学习中的标签．ＤＱＮ通过反向传播更新网络参数θ，更新的梯度由式（６）对参数θ求导得到：θｉＬ（θｉ）＝Ｅｓ，ａ，ｒ，ｓ′［（Ｙｉ－Ｑ（ｓ，ａθｉ））θｉＱ（ｓ，ａθｉ）］（７）为防止梯度爆炸，需要将梯度裁剪至［－１，１］区间内，对于大于１的误差将其置为１，小于－１的将其置为－１．在 ＤＱＮ 中，保证学习稳定的另一种做法是使用经验重放机制．Ａｇｅｎｔ在每一个时间步ｔ内存储在线得到的经验ｅｔ＝（ｓｔ，ａｔ，ｒｔ，ｓｔ＋１），并将其放入经验池 Ｄ＝｛ｅ１，ｅ２，…，ｅＮ｝中．在训练网络阶段，每次从经验池中取出固定数量的样本，使用随机梯度下降（Ｓｔｏｃｈａｓｔｉｃ　Ｇｒａｄｉｅｎｔ　Ｄｅｓｃｅｎｔ，ＳＧＤ）进行更新．２．３　简单循环单元不同于传统全连接网络（Ｆｕｌｌ　Ｃｏｎｎｅｃｔｉｏｎ　Ｎｅｔ－ｗｏｒｋｓ，ＦＣＮｓ），循 环 神 经 网 络 （Ｒｅｃｕｒｒｅｎｔ　ＮｅｕｒａｌＮｅｔｗｏｒｋｓ，ＲＮＮｓ）引入了定向循环，以解决输入数据之间前后关联性问题，即 ＲＮＮｓ可以用来处理序列相关性的数据．在传统 ＲＮＮｓ模型中，隐藏层接收来自输入层的序列（ｘ１，ｘ２，…，ｘｔ）以及上一时刻 ＲＮＮｓ的隐藏层输出（ｈ１，ｈ２，…，ｈｔ），根据以下公式，得到当前时刻输出（ｚ１，ｚ２，…，ｚｔ）：ｈｔ＝ｆ（ｗｘｈｘｔ＋ｗｈｈｈｔ－１） （８）ｚｔ＝ｇ（Ｗｚｈｈｔ） （９）其中，ｆ和ｇ都是非线性的激活函数，ｗｉｊ为不同层之间相连接的权重．传统 ＲＮＮｓ会随着时间步的增加而出现“梯度弥散”问题，严重影响 ＲＮＮｓ对长时历史信息的记忆能力．Ｈｏｃｈｒｅｉｔｅｒ等人［１５］提出使用 ＬＳＴＭ 替代传统的循环神经网络单元，其通过增加三种类型的门（Ｇａｔｅ）：输入门（Ｉｎｐｕｔ　Ｇａｔｅ）、输出门（Ｏｕｔｐｕｔ　Ｇａｔｅ）、遗忘门（Ｆｏｒｇｅｔ　Ｇａｔｅ），来达到有效记忆历史信息的目的．然而，在 ＬＳＴＭ 模型中，各种门的输出依赖于前一时刻的结果，这 严重限制了 网络的运 算，破坏网络的独立性和并行性，拖慢序列的处理速度．在ＥＮ－ＤＲＱＮ 模型中，ＲＮＮｓ部分采用一种简单循环单元的门机制变体［１６］，与 ＬＳＴＭ 单元相比，ＳＲＵ 单元引入重置门（Ｒｅｓｅｔ　Ｇａｔｅ）平衡历史记忆和输入信息的关系，同时门控操作不再计算前一时刻网络权重与输入矩阵的乘积．ＳＲＵ 单元计算过程如下：ｘ－ｔ＝Ｗｘｘｔ （１０）ｆｔ＝σ（Ｗｆｘｔ＋ｂｆ） （１１）ｒｔ＝σ（Ｗｒｘｔ＋ｂｒ） （１２）ｃｔ＝ｆｔ⊙ｃｔ－１＋（１－ｆｔ）⊙ｘ－ｔ（１３）ｈｔ＝ｒｔ⊙ｇ（ｃｔ）＋（１－ｒｔ）⊙ｘｔ （１４）其中ｘ－ｔ、ｆｔ、ｒｔ分别表示ｔ时刻的输入门、遗忘门、重置门，ｃｔ表示ｔ 时刻长期记忆的内容，ｈｔ表示ｔ 时刻隐藏层单元输出，Ｗ、ｂ 表示单元权重和偏置，⊙ 表示矩阵或 向量之间对 应元素的 相乘．完整 的 ＳＲＵ结构如图２所示．图 ２　简单循环单元计算过程图从式（１０）～ （１２）可 以 看 出 ＳＲＵ 单 元 的 输 入门、遗忘门、重置门的计算已经不需要像 ＬＳＴＭ 门机制那样计算前一时刻的输出与参数矩阵的乘积，７期 刘　全等：一种带探索噪音的深度循环 Ｑ 网络１９５１２；在线出版日期：２０１９－０３－１１．本课题得到国家自然科学基金（６１７７２３５５，６１４７２２６２）、江苏省高等学校自然科学研究重大项目（１８ＫＪＡ５２００１１，１７ＫＪＡ５２０００４）、吉林大学符号计算与知识工程教育部重点实验室资助项目（９３Ｋ１７２０１４Ｋ０４，９３Ｋ１７２０１７Ｋ１８）、苏州市应用基础研究计划工业部分（ＳＹＧ２０１４２２，ＳＹＧ２０１８０４）、江苏省级重点实验室（苏州大学）项目（ＫＪＳ１５２４）资助．刘　全，博士，教授，博士生导师，中国计算机学会（ＣＣＦ）高级会员，主要研究领域为智能信息助理、自动推理和机器学习．Ｅ－ｍａｉｌ：ｑｕａｎｌｉｕ＠ｓｕｄａ．ｅｄｕ．ｃｎ．闫　岩，硕士研究生，主要研究方向为强化学习、深度学习、深度强化学习．朱　斐，博士，副教授，中国计算机学会（ＣＣＦ）会员，主要研究方向为强化学习、文本挖掘、模式识别．吴　文，硕士研究生，主要研究方向为强化学习、深度学习、深度强化学习．张琳琳，硕士研究生，主要研究方向为强化学习、深度强化学习．一种带探索噪音的深度循环Ｑ网络刘　全１），２），３），４）　闫　岩１）　朱　斐１），４）　吴　文１）　张琳琳１）１）（苏州大学计算机科学与技术学院　江苏 苏州　２１５００６）２）（软件新技术与产业化协同创新中心　南京　２１００００）３）（吉林大学符号计算与知识工程教育部重点实验室　长春　１３００１２）４）（苏州大学江苏省计算机信息处理技术重点实验室　江苏 苏州　２１５００６）摘　要　结合深度神经网络和强化学习方法的深度 Ｑ 网络在 Ａｔａｒｉ　２６００游戏平台上取得了巨大成功．相较于深度Ｑ 网络，深度循环 Ｑ 网络具有记忆历史信息的能力，在部分游戏上显示出了更好的性能．然而在某些复杂的游戏环境中，一方面深度循环 Ｑ 网络需要大量的训练时间，另一方面其在动作空间抖动的策略中不能做出合理决策．针对这些问题，本文 提 出 一 种 带 探 索 噪 音 的 深 度 循 环 Ｑ 网 络 （Ｄｅｅｐ　Ｒｅｃｕｒｒｅｎｔ　Ｑ－Ｎｅｔｗｏｒｋｓ　ｗｉｔｈ　Ｅｘｐｌｏｒａｔｏｒｙ　Ｎｏｉｓｅ，ＥＮ－ＤＲＱＮ）模型．与在动作空间的探索方式不同，ＥＮ－ＤＲＱＮ 在网络空间注入噪音，引起网络输出变化，然后根据该变化选择动作．这种在网络空间的探索可以在未来多个时间步内造成复杂的改变，并通过循环神经网络记忆多步变化，使智能体（Ａｇｅｎｔ）做出的决策更具有战略性．ＥＮ－ＤＲＱＮ 具有以下特点：一是利用带探索性的噪音进行深度探索以弥补传统策略探索的低效性．噪音来自于噪音分布，通过方差驱动探索，这使得 Ａｇｅｎｔ可以发现大量新状态，提供更加丰富的样本，为决策提供有效信息；二是使用改进的双层门限循环单元来记忆较长时间步的历史信息，使 Ａｇｅｎｔ能够在延迟奖赏的情况下做出合理的决策．实验结果表明，ＥＮ－ＤＲＱＮ 模型在 Ａｔａｒｉ　２６００游戏平台上的部分战略性游戏以及具有延迟奖赏的游戏上，与动作空间的抖动策略相比，取得了更优的表现．关键词　深度学习；强化学习；循环神经网络；卷积神经网络；噪音探索中图法分类号 ＴＰ１８　　　ＤＯＩ号 １０．１１８９７／ＳＰ．Ｊ．１０１６．２０１９．０１５８８Ａ　Ｄｅｅｐ　Ｒｅｃｕｒｒｅｎｔ　Ｑ　Ｎｅｔｗｏｒｋ　ｗｉｔｈ　Ｅｘｐｌｏｒａｔｏｒｙ　ＮｏｉｓｅＬＩＵ　Ｑｕａｎ１），２），３），４）　ＹＡＮ　Ｙａｎ１）　ＺＨＵ　Ｆｅｉ　１），４）　ＷＵ　Ｗｅｎ１）　ＺＨＡＮＧ　Ｌｉｎ－Ｌｉｎ１）１）（Ｓｃｈｏｏｌ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ，Ｓｏｏｃｈｏｗ　Ｕｎｉｖｅｒｓｉｔｙ，Ｓｕｚｈｏｕ，Ｊｉａｎｇｓｕ　２１５００６）２）（Ｃｏｌｌａｂｏｒａｔｉｖｅ　Ｉｎｎｏｖａｔｉｏｎ　Ｃｅｎｔｅｒ　ｏｆ　Ｎｏｖｅｌ　Ｓｏｆｔｗａｒｅ　Ｔｅｃｈｎｏｌｏｇｙ　ａｎｄ　Ｉｎｄｕｓｔｒｉａｌｉｚａｔｉｏｎ，Ｎａｎｊｉｎｇ　２１００００）３）（Ｋｅｙ　Ｌａｂｏｒａｔｏｒｙ　ｏｆ　Ｓｙｍｂｏｌｉｃ　Ｃｏｍｐｕｔａｔｉｏｎ　ａｎｄ　Ｋｎｏｗｌｅｄｇｅ　Ｅｎｇｉｎｅｅｒｉｎｇ　ｏｆ　Ｍｉｎｉｓｔｒｙ　ｏｆ　Ｅｄｕｃａｔｉｏｎ，Ｊｉｌｉｎ　Ｕｎｉｖｅｒｓｉｔｙ，Ｃｈａｎｇｃｈｕｎ　１３００１２）４）（Ｐｒｏｖｉｎｃｉａｌ　Ｋｅｙ　Ｌａｂｏｒａｔｏｒｙ　ｆｏｒ　Ｃｏｍｐｕｔｅｒ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｐｒｏｃｅｓｓｉｎｇ　Ｔｅｃｈｎｏｌｏｇｙ，Ｓｏｏｃｈｏｗ　Ｕｎｉｖｅｒｓｉｔｙ，Ｓｕｚｈｏｕ，Ｊｉａｎｇｓｕ　２１５００６）Ａｂｓｔｒａｃｔ　 Ｔｈｅ　ｄｅｅｐ　Ｑ　ｎｅｔｗｏｒｋ，ｗｈｉｃｈ　ｃｏｍｂｉｎｅｓ　ｔｈｅ　ｄｅｅｐ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　ａｎｄ　ｔｈｅ　ｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ　ｍｅｔｈｏｄ，ｈａｓ　ａｃｈｉｅｖｅｄ　ｇｒｅａｔ　ｓｕｃｃｅｓｓ　ｉｎ　ｔｈｅ　Ａｔａｒｉ　２６００ｇａｍｅ　ｐｌａｔｆｏｒｍ．Ｃｏｍｐａｒｅｄ　ｗｉｔｈ　ｔｈｅｄｅｅｐ　Ｑ　ｎｅｔｗｏｒｋ，ｔｈｅ　ｄｅｅｐ　ｒｅｃｕｒｒｅｎｔ　Ｑ　ｎｅｔｗｏｒｋ　ｈａｓ　ｔｈｅ　ａｂｉｌｉｔｙ　ｏｆ　ｍｅｍｏｒｉｚｉｎｇ　ｈｉｓｔｏｒｉｃａｌ　ｉｎｆｏｒｍａｔｉｏｎａｎｄ　ｓｈｏｗｓ　ｂｅｔｔｅｒ　ｐｅｒｆｏｒｍａｎｃｅ　ｉｎ　ｓｏｍｅ　ｓｔｒａｔｅｇｉｃ　ｔａｓｋｓ　ａｎｄ　ｇａｍｅｓ　ｗｉｔｈ　ｄｅｌａｙｅｄ　ｒｅｗａｒｄｓ．Ｈｏｗｅｖｅｒ，ｏｎ　ｔｈｅ　ｏｎｅ　ｈａｎｄ，ｔｒａｄｉｔｉｏｎａｌ　ｄｉｔｈｅｒｉｎｇ　ｐｏｌｉｃｙ　ｃａｎｎｏｔ　ｍａｋｅ　ａ　ｒｅａｓｏｎａｂｌｅ　ｄｅｃｉｓｉｏｎ；ｏｎ　ｔｈｅ　ｏｔｈｅｒｈａｎｄ，ｉｎ　ｓｏｍｅ　ｃｏｍｐｌｅｘ　ｇａｍｅ　ｅｎｖｉｒｏｎｍｅｎｔｓ，ｂｅｃａｕｓｅ　ｏｆ　ｔｈｅ　ｃｏｍｐｌｅｘ　ｓｔｒｕｃｔｕｒｅ　ａｎｄ　ａｃｔｉｖａｔｉｏｎ性，有效地缓解了网络传播时间过长的问题．此外，ＳＲＵ 单元比 ＬＳＴＭ 等单元有更少的网络参数，减少了网络运算所需的计算资源．３　噪音机制的深度循环Ｑ网络本文提 出 的 ＥＮ－ＤＲＱＮ 是 基 于 文 献 ［６］的 改进，在其网络结构中，从单一的视频画面映射到行动要经历以下阶段：（１）卷积神经网络．将接收到的序列化原始数据作为 ＣＮＮｓ输入，通过三层卷积操作提取视觉信号中有效特征信息．（２）循环神经网络．采用双层 ＳＲＵ 单元结构，将 ＲＮＮｓ沿时间轴展开以接收经卷积网处理后的序列化特征，使网络在训练过程中高度关注序列的特征信息以及前后序列的相关性．（３）带探索噪音处理的全连接网络．在全连接网络中注入自适应噪音信息，噪音通过方差驱动探索，通过两层全连接网络映射到行动．本文以 Ａｔａｒｉ　２６００游戏为例，介绍 ＥＮ－ＤＲＱＮ从接收原始视觉传感信息到做出行为决策的一系列流程，然后将详细阐述预处理、卷积神经网络、循环神经网络、带噪音的全连接网络等部分处理数据的流程及细节，并提出更为一般的带探索噪音的深度循环 Ｑ 网络模型．３．１　预处理在训练 Ａｔａｒｉ　２６００游戏时，需要预处理操作来剔除不重要的信息．对游戏进行预处理本质上是对每一帧画面进行处理．一方面预处理可以减少训练的计算量，另一方面增强了提取特征时的准确性．在Ａｔａｒｉ　２６００游戏集中，原始传感输入是尺寸为２１０×１６０×３的图片．为了计算需要，可以对其进行裁剪．首先，将原始 ＲＧＢ图像转换成２１０×１６０×１的灰度图，在游戏中使用灰度图像并不会影响 Ａｇｅｎｔ的表现性能，并且可以减少存储资源、加快网络计算；其次，将２１０×１６０×１的图片进行降采样处理，本文采用双线性插值法对图像进行缩放，将图片大小缩减为１１０×８４×１；对于降采样后得到的图片，仍存在部分无价值的信息且这种信息集中包含在游戏的边角区域，因此需要进一步裁剪没有价值的像素点以及边界；最终，可以被 观测的游戏 屏 幕区域大 小 为８４×８４×１，且被观测的画面足以提供有价值的信息．预处理操作仅需要对图像进行剪裁、降采样和简单的灰度转换，所以并不会影响 Ａｇｅｎｔ训练游戏的效果，同时将处理后的图片放入 ＣＮＮｓ中可以大大减少 ＣＮＮｓ的 计 算，节 省 了 计 算 的 时 间 和 存 储 空间，使资源得到有效利用．在原始的 ＤＱＮ 中 采 用 距 离 当 前 时 刻 最 近 的４幅经过 预 处 理 的 图 片 作 为 网 络 的 输 入．与 原 始ＤＱＮ 不同，ＥＮ－ＤＲＱＮ 采用一张预处理的图片作为网络的输入，与 ＤＱＮ 相比，同一个状态下的计算量缩减至１／４．３．２　ＣＮＮｓ卷积神经网络可以接收多张图片进行平行化处理［１７］，卷积处理过程如下：Ｃ＝ｆ∑Ｄ－１ｄ＝０Ｘｄ·Ｗｄ（＋ｂ）（１５）其中 Ｄ 为图片的深度，Ｘｄ为输入的矩阵，Ｗｄ为卷积核，ｂ 为 偏 置，Ｃ 为 卷 积 层 输 出 的 特 征 图 （ＦｅａｔｕｒｅＭａｐｓ），ｆ 为 激 活 函 数，本 文 采 用 线 性 整 流 单 元（Ｒｅｃｔｉｆｉｅｄ　Ｌｉｎｅａｒ　Ｕｎｉｔ，ＲｅＬＵ）作为激活函数．ＥＮ－ＤＲＱＮ 使用 ＣＮＮｓ进行图片特征提取．为增强特征提取的准确性，本文采取三层卷积网络，具体细节如表１所示．表 １　卷积网络前向传播细节网络层 输入 过滤器 步幅 过滤器个数 激活函数 输出Ｃｏｎｖ１　 １×８４×８４　 ８×８　 ４×４　 ３２ ＲｅＬＵ　 ２０×２０×３２Ｃｏｎｖ２　 ２０×２０×３２　 ４×４　 ２×２　 ６４ ＲｅＬＵ　 ９×９×６４Ｃｏｎｖ３　 ９×９×６４　 ３×３　 １×１　 ６４ ＲｅＬＵ　 ７×７×６４经过三层卷积和非线性变换，将原始的视觉感知输入编码成特征集合，并进行扁平化处理，以便于ＲＮＮｓ操作．值得注意的是，本文在卷积结束后并没有采取池化（Ｐｏｏｌｉｎｇ）操作，这是由于池化操作具有平移不变性［１８］，即网络最终学习到的结果对图像中的物体位置不敏感．但是在许多游戏中，物体位置是十分关键的信息，这种信息可能对潜在奖励具有十分重要的影响，因此丢掉物体的位置信息并不合适．３．３　ＲＮＮｓ在 ＲＮＮｓ中，如果 Ｎ 个参数矩阵共用一份输入数据ｘｔ，那么可以将这些矩阵拼接成一个大矩阵以提高 ＧＰＵ 的利用率．对于善于处理大矩阵计算的ＧＰＵ 而言，把多个小矩阵相乘合并为大矩阵相乘要２９５１ 计　　算　　机　　学　　报 ２０１９年阵乘法快很多．在 ＳＲＵ 单元中，输入门ｘ－ｔ、遗忘门ｆｔ和重置门ｒｔ共用一份输入数据ｘｔ，本文将这三种门的参数 Ｗｘ、Ｗｆ、Ｗｒ拼接成一个矩阵［Ｗｘ，Ｗｆ，Ｗｒ］Ｔ以提高计算的利用率．与 ＬＳＴＭ单元相比，在 ＳＲＵ 单元的门控操作中，输入门ｘ－ｔ、遗忘门ｆｔ和重置门ｒｔ已经不再像 ＬＳＴＭ 单元那样计算前一时刻的输出与参数矩阵的乘积，时间相关性的历史记忆仅需要变量ｃｔ、ｈｔ存储，且ｃｔ、ｈｔ的计算采用矩阵之间元素的点乘操作，对于 ＧＰＵ 而言，计算矩阵之间点乘的时间小于矩阵乘法，一定程度上降低了计算的复杂度．不同于 ＤＱＮ 的 ４ 张 图 片 作 为 一 个 状 态，在ＥＮ－ＤＲＱＮ 中，以一帧视频信号作为状态．对于长度为 Ｎ 的情节，定义智能体的决策长度为Ｌ（ＬＮ），若对第ｉ帧做决策，当ｉ＜Ｌ 时，Ａｇｅｎｔ考虑之前的ｉ帧做决策，当ＬｉＮ 时，Ａｇｅｎｔ会对前Ｌ 帧画面进行考虑，使决策更加具有战略性．图３展示了一个情节长度为 Ｎ，Ａｇｅｎｔ的决策长度Ｌ＝３时的决策图．图 ３　ＥＮ－ＤＲＱＮ 决策示意图Ｄｏｎａｈｕｅ等人［１９］的研究表明，使用双层记忆组件组成的 ＲＮＮｓ在记忆时序性信息上优于单层和四层的表现，考虑到网络开销和训练时间成本，本文采用双层ＳＲＵ 单元所组成的 ＲＮＮｓ网络．在 ＤＱＮ 中，将卷积层得到的特征图直接连接到包含５１２个隐藏单元的下一网络层中．在 ＥＮ－ＤＲＱＮ中，增加循环神经 网络部分以记忆 历史相关信息．循环层的输入由两个部分组成，一部分是上一时刻隐藏层激活值ｈｔ－１，另一部分是卷积层传来的特征序列．对于情节长度为 Ｎ 的特征序列，需要将 ＲＮＮｓ沿时间轴 展 开，把 特 征 序 列 输 入 到 ＲＮＮｓ的 输 入层．记输入序列为Ｓ＝｛ｓ１，ｓ２，…，ｓＮ｝，其中ｓｉ∈Ｒｍ，表示卷积层得到的特征，下面详细说明 ＥＮ－ＤＲＱＮ在 ＲＮＮｓ层处理数据的流程：（１）组合当前时刻的输入层序列特征ｓｔ和上一时刻隐藏层的激活值ｈｔ－１，得到输入Ｉｔ＝｛ｓｔ，ｈｔ－１｝，并将Ｉｔ作为 ＲＮＮｓ中第一层的输入．（２）将Ｉｔ输入至第一层隐藏层细胞中，通过激活函数将激活信息输出．把第一层激活信息作为第二层输入层的输入信息．本文设置的隐藏层有５１２个ＳＲＵ 单元，故激活信息可表示为ｈｔ＝｛ｈ１ｔ，…，ｈ５１２ｔ｝，其中ｈｉｔ表示ｔ时刻第ｉ个ＳＲＵ 组件的输出．（３）按照流程（２）相同的方法输出 ＲＮＮｓ的最终信息．此信息一方面记忆了ｔ时刻之前数据的相关性，可以作为沿时间轴上ｔ＋１时刻的输入信息，另一方面当作 ＲＮＮｓ输出层的输出以作为下一个网络部分的输入．ＲＮＮｓ具有记忆历史信息的特性，然而记忆历史信息能力要依赖于合理的参数更新．本文采用自举的随机更新方法：采样情节随机从经验池中取出，在情节中随机选择一个时间步，根据 ＲＮＮｓ展开的长度从该点进行训练．例如：假设一 个情节长 度为Ｎ，规定输入训练序列长度为Ｌ（Ｌ＜Ｎ），从情节中随机选择一个时间点 Ｐ（Ｐ＋Ｌ＜Ｎ），对于长度为 Ｌ的输入序列，ＲＮＮｓ展开的时间步长亦为Ｌ，故从 Ｐ点开始，把长度为 Ｌ 的序列输入网络进行训练．目标网络更新也是如此．通过大量反复实验，保证每个情节中的时间步样本均可被采样．由于在不同情节下，序列与序列之间并不存在相关性，所以只学习记忆序列内部时间步之间的联系，为此本文采用以下做法：每进行一次更新，ＲＮＮｓ的细胞初始化状态值为０，网络只记忆输入序列中时间步的相关性而不必记住序列之间的相关性．更一般地，如果序列之间存在关系且需要学习序列之间的相关性，可以将其输入至网络而不必在每次更新时清零．ＲＮＮｓ网络训练采用通过时间反向传播方法（Ｂａｃｋ　ＰｒｏｐａｇａｔｉｏｎＴｈｒｏｕｇｈ　Ｔｉｍｅ，ＢＰＴＴ）．采用随机自举的更新更好地遵循经验随机采样的特性，增加了训练可靠性．３．４　探索噪音使用循环神经网络，让 Ａｇｅｎｔ拥有一定记忆能力，但是仅考虑前 Ｌ 帧是不够的．行为策略的决策要考虑探索问题，探索可以为决策提供更多有价值的信息．“探索 －利用”的平衡一直是强化学习中研究的热点［２０］．传统的强化学习算法在动作空间采用ε－ｇｒｅｅｄｙ进行决策：以ε的概率进行探索，以１－ε的概率利用．然而，这种抖动策略存在两方面的缺陷：（１）如何选择ε探索是具有挑战性的．ＤＱＮ 的做法是将ε从１开始每隔５０　０００步呈指数级衰减，直到衰减至７期 刘　全等：一种带探索噪音的深度循环 Ｑ 网络３９５１．但是这种做法不能保证一定学习到有效、合理的ε，以 达到探索的最 优；（２）仅根据状态值函数选择动作即仅在动作空间选择动作并不会引起策略的改变，不能达到深度探索的目的．本文考虑在网络中加入噪音驱动 Ａｇｅｎｔ探索．在网络中加入噪音驱动探索的主要动机是在网络中微小的 变 化 会 在 未 来 多 个 时 间 步 内 造 成 持 续、内在、复杂的改变［２１］，这种改变导致模型输出的策略发生变化，从而可能使策略在下一阶段选择动作时发生很 大 变 化．在 一 个 情 节 的 每 个 时 间 步，ＥＮ－ＤＲＱＮ 模型均会从噪音分布中采样白噪音输入至网络．当Ａｇｅｎｔ与环境交互过程中采样到一整条轨迹时，轨迹中每个时间步输出的 Ｑ 值均受到噪音影响，导致每个时间步的网络输出发生变化，基于Ｑ 值函数的策略从而也发生了变化．这种在网络空间注入的噪音影响到了整个情节中动作的选择，使探索具备了深度．而在 ＤＱＮ 等模型中，没有在网络空间引入探索噪音，仅依靠较小的参数ε保持在动作空间抖动探索，每个情节的网络模型参数并没有发生改变．Ｓａｌｉｍａｎｓ等人①研究表明，对神经网络再参数化 所 引 起 的 抖 动 对 动 作 选 择 是 有 意 义 的．然 而Ｓａｌｉｍａｎｓ等人对网络的再参数化方法仅局限于进化方法，并 不 能 说 明 在 深 度 强 化 学 习 领 域 可 以 获得好的表现．受 Ｓａｌｉｍａｎｓ等人启发，本文提出 ＥＮ－ＤＲＱＮ 模型，采用双层改进 ＳＲＵ 单元结构，同时将探索机制引入至网络中，利用方差驱动网络输出变化以达到探索的目的．这些参数通过损失函数反馈至网络中，与网络中的其它参数一并学习，具体细节见３．４．１节及３．４．２节．３．４．１　动作空间噪音与网络空间噪音对神经网络的再参数化需要设计合理的抖动策略以保证 Ａｇｅｎｔ能够有效探索．在学习 过程中，首先需要考虑探索和利用的问题．为增强探索，考 虑到两 种增加 探索的方法：在动作空间 和 网 络 参 数 空 间 注 入 噪 音．在 动 作 空 间加入噪音，得到 动 作ａｔ＝πθ（ｓｔ）＋Ｎｓｔ（０，σ２），其中Ｎｓｔ（０，σ２）为人工选取的高斯噪音项．对于每一个状态ｓｔ，即使策略给出最优动作ａ＊ｔ，由于噪音的存在，最优动作ａ＊ｔ不一定被选择．在深度学习中，深度神经网络陷入局部最优的概率难以被衡量，但如果陷入局部最优，策略在收敛的过程中，噪音项对最优动作的影响逐渐减小，动作空间中均值为０的噪音项所驱动的探索将意义甚微．同时由于噪音项依赖于当前状态，不会对后续状态产生影响，所以并不是一种有效的探索方式．相反，在网络参数中加入噪音可以引起网络抖动，使驱动策略做出不同的行为模式．根据抖动网络所学习到的当前策略π～θ，在状态ｓｔ下所做出的最优动作ａ＊＝π～θ（ｓｔ）一定被选择．加入至网络空间中的噪音是均值为 ０，方差为σ 的高斯白噪音，其中σ≠０．由于网络参数的微小变化会影响至后续多个状态，这种白噪音所引起的微小抖动使探索具有了深度．探索可以通过白噪音的方差进行学习：Ａｇｅｎｔ在策略的指导下，若选择的动作为当前策略下最优动作，Ａｇｅｎｔ会减小方差规模以提高最优动作被选中的概率，由于方差不会为０，对于次优动作依然有被选中的可能性，以保证探索．若该动作不是最优动作，提高方差，加大最优动作被选择的可能性．故本文选择在网络中注入噪音机制．在网络参数中注入探索噪音需要控制合适的噪音规模．对于模型的全连接层部分，不同的网络层对噪音的敏感性可能不同，因此本文对每层均设置了控制噪音规模的参数因子σ，σ 负责对探索噪音值进行合理缩放以使网络的方差控制在 合理的范 围内．因子σ 在训练过程中通过反向传播算法自适应修正．在网络收敛阶段，σ 学习到了合适的值，此时加入的噪音并不影响最优动作的选择：与其它动作相比，最大的Ｑ 值所对应的动作的相对性并没有发生改变．图４展示了在动作空间和网络空间中注入噪音的比较．图 ４　在动作空间和 网 络 参 数 空 间 的 噪 音 （图 中实线圆形代 表 网 络 的 神 经 单 元，虚 线 圆 形代表注入噪 音 的 神 经 单 元，实 线 代 表 网 络的连接，虚线代表预处理操作）３．４．２　带有噪音的网络对于网络的全连接部分，ＤＱＮ 中通过两层全连４９５１ 计　　算　　机　　学　　报 ２０１９年① ｈｔｔｐ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１７０３．０３８６４ ＥＮ－ＤＲＱＮ 中，本文对全连接层加入可学习的噪音以增强其探索性．噪音参数来自于噪音分布，这 些参数通过 梯度下降训练．具体的：可以把噪音神经网络抽象为ｙ＝ｆθ（ｘ），对于输入向量ｘ 和输出向量ｙ，θ 表示已噪音化的网络参数：θ＝μ＋σ⊙ψ，其中规定ζ＝（μ，σ）是一系列可学习的网络参数，ψ是一个均值为０的噪音向量，⊙表示向量中元素之间的乘法运算．训练网络就是优化可学习的参数ζ．对于有ｐ个输入和ｑ个输出的全连接层可以抽象表示为：ｙ＝Ｗ·ｘ＋ｂ （１６）其中ｘ∈Ｒｐ表示输入向量，Ｗ ∈Ｒｐ×ｑ表示隐藏层全连接的参数矩阵，ｂ∈Ｒｑ表示偏置．为利用噪音以驱动探索，做出如下改进：将 Ｗ 替代为μｗ＋σｗ⊙ψｗ，将ｂ替代为μｂ＋σｂ⊙ψｂ，其中μｗ∈Ｒｐ×ｑ，μｂ∈Ｒｑ，σｗ∈Ｒｐ×ｑ，σｂ∈Ｒｑ是 网 络 中 可 学 习 的 参 数，ψｗ∈Ｒｐ×ｑ，ψｂ∈Ｒｑ是随机噪音，那么ｙ可以表示成ｙ＝（μｗ＋σｗ⊙ψｗ）ｘ＋μｂ＋σｗ⊙ψｂ．随机噪音产生方式有如下两种选择：（１）独立的高斯噪音．权重和偏差的噪音是独立的．对于随机噪音矩阵ψｗ中的每一个元素ψｗｉ，ｊ都是从一个高斯分布中独立产生的，ψｂ亦是如此．那么，则带有噪音的全连接层有ｐ×ｑ＋ｑ个噪音变量．（２）可分解的高斯噪音．可分解的高斯噪音减少了噪音变量的个数．生成有ｐ 个元素的噪音向量ψｉ，有ｑ个元素的噪音向量ψｊ，并进行如下分解：ψｗｉ，ｊ＝ｆ（ψｉ）ｆ（ψｊ） （１７）ψｂｊ＝ｆ（ψｊ） （１８）其中ψｗｉ，ｊ表示两层全连接之间噪音权重矩阵的每个噪音值．ψｂｊ表示输出层偏置矩阵的每个噪音值，ｆ是一个分解函数，本文使用ｆ＝ｓｇｎ（ｘ）槡ｘ ．那么，网络有ｐ个输入单元，ｑ个输出单元，只需要ｐ＋ｑ个噪音变量，大幅度减少了计算代价．网络每一次前向计算时，Ａｇｅｎｔ从噪音分布中采样噪音，通过分布的方差进行探索．在优化之中，Ａｇｅｎｔ根据当前固定的网络参数执行动作，保证 Ａｇｅｎｔ可以根据当前噪音分布中采样的噪音做出决策．传统的 ＤＱＮ 中，Ａｇｅｎｔ根据ε－ｇｒｅｅｄｙ 选择动作，本文做出如下改进：在 ＥＮ－ＤＲＱＮ 中，由于网络已经具有探索的能力，故不再使用ε－ｇｒｅｅｄｙ 策略，而是使用 贪 婪 策 略；其 次 在 网 络 的 全 连 接 层 注 入噪音，通过方差驱动探索．本文采用可分解的高斯噪音以减小噪音参数，加快网络的 计算．由于高 频 的噪音采 样 会 导 致 较 大 的 方 差，本 文 从 目 标 网 络 中选取动作以 减 小 状 态 动 作 值 函 数 的 扰 动．完 整 的ＥＮ－ＤＲＱＮ 如图５所示．图 ５　ＥＮ－ＤＲＱＮ 模型图（ＥＮ－ＤＲＱＮ 采用三层卷积网络、两层 ＳＲＵ 单元的循环网络和两层带探索噪音的全连接神经网络．网络输入为一张图片，网络输出的单元数由任务定义的动作个数决定）３．５　广义的带探索噪音的深度循环探索Ｑ网络对于更一般的任务，若任务的输入为原始的图片，可以先对图片进行裁剪、降采样等预处理操作．假设预处理完成后的图片大小为 Ｍ×Ｎ×Ｃ，其中Ｍ、Ｎ、Ｃ 分别为图片的长度、宽度以及通道数．可以通过设计卷积神经网络进一步提取有效特征，网络中卷积层个数为Ｌｃ，卷积核大小为 Ｆ×Ｆ×Ｃ，并根据实际需要决定是否设计池化操作；将卷积后得到的特征按照任务要求的序列组合输入至 ＳＲＵ 循环网络，并设计循环网络的层数为Ｌｒ层，每层 ＳＲＵ 单元数为 Ｋ；最后设计 Ｌｆ层全连接网络，并对其噪音化：噪音分布设计为高斯分布且设置均值为０，方差为ｖａｒ，噪音可以选择独立的高斯噪音或可分解的高斯噪音．７期 刘　全等：一种带探索噪音的深度循环 Ｑ 网络５９５１在跳帧期间采取相同的动作，以４帧相同动作下的累积奖赏作为总奖赏，其中跳帧期间如果出现中止状态则结束游戏；其次，为提高算法的稳定性，防止出现大的波动而导致Ｑ 值发散，将损失函数进行分段裁剪处理．如果损失的绝对值在［－１，１］之间，则采用式（６）所示的均方误差函数，否则使用绝对值函数；最后，由于游戏的奖赏区间范围波动较大，会导致不同游戏得分差异较大，实验时将所有正的奖赏设置为１，负的奖赏设置为－１，零奖赏保持不变，以方便各算法之间的比较．为进行有效对比，在不同模型中采用相同的参数集合，使用均方根随机梯度下降方法（Ｒｏｏｔ　ＭｅａｎＳｑｕａｒｅ　Ｐｒｏｐａｇａｔｉｏｎ，ＲＭＳＰｒｏｐ）更新网络参数，动量系数设置为０．９５，折扣因子γ 统一设置为０．９９．经验重放的样本池大小设置为５　０００　０００．ＥＮ－ＤＲＱＮ 的决策长度为４．在训练初期，样本经验池中采样的数据达到５０　０００ 才进行训练以防止样本太少导致学习效果较差．当前网络每隔１０　０００步将参数复制给目标网 络．在 经 验 重 放 时，从 样 本 池 Ｄ 中 随 机 抽 取Ｍｉｎｉ－Ｂａｔｃｈ为 ３２ 的样本数据．在 ＥＮ－ＤＲＱＮ 模型中，采样的噪音分布是均值为０，方差为１的高斯分布，全连接参数μ初始值在［－１／槡ｐ，１／槡ｐ］区间内采样，σ 初始值设置为０．４／槡ｐ，其中 ｐ 为输入层单元数．对于 ＬＳＴＭ－ＤＱＮ 网络，本文采取三层卷积、两层 ＬＳＴＭ 网 络和两层全 连接网络．对 于 卷 积 层 部分，ＬＳＴＭ－ＤＱＮ 网络的参数与 ＥＮ－ＤＲＱＮ 参数一致；ＬＳＴＭ 网络部分每层５１２个 ＬＳＴＭ 单元，全连接层部分隐藏层有５１２个神经元，输出单元的个数是游戏定义的动作个数．在 ＬＳＴＭ－ＤＱＮ 中，所有的激活函数选用 Ｒｅｌｕ函数．４．３　实验评估与结果分析在 ＲＬ中，Ａｇｅｎｔ在每个时间步ｔ内根据策略π选择行动ａｔ并与环境交互获得奖赏ｒｔ＋１，通过从情节开始到结束所获得的累计奖赏来评价学习过程的好坏．ＤＬ中，一般通过分阶段训练网络 模型，并在训练集和测试集验证模型的学习效果．在 ＤＲＬ中结合两种评估方式，在训练集上，通过分阶段训练，比较每个阶段中平均每个情节的累计奖赏进行评估模型的好坏，在测试集上，通过测试每个情节的累计奖赏评估模型学习的效果．在实验中采用１００个训练阶段（Ｅｐｏｃｈ）作为训练周期，其中每个阶 段 ２００　０００ 步进行训练网络参数，在测试过程中取１００个情节，每个情节１０　０００步，比较每局游戏的得分．本文首先比较 ＬＳＴＭ－ＤＱＮ、ＥＮ－ＤＲＱＮ　２种循环网络训练表２中游戏时，使用 Ｕｂｕｎｔｕ　１６．０４操作系统，在 ＮＶＩＤＩＡ　Ｔｅｓｌａ　Ｐ４０ＧＰＵ 上的计算时间，结果如表３所示．表 ３　ＲＮＮｓ模型训练时间环境 模型每时间步耗费时间／ｓ训练总时间／ｈＡｉｒＲａｉｄＬＳＴＭ－ＤＱＮ　 ０．００１７２　 ９５．８２ＥＮ－ＤＲＱＮ　 ０．００１７０　 ９３．５４ＢｅａｍＲｉｄｅｒＬＳＴＭ－ＤＱＮ　 ０．０１４１　 ７８．４　ＥＮ－ＤＲＱＮ　 ０．０１３７　 ７６．１　ＣａｒｎｉｖａｌＬＳＴＭ－ＤＱＮ　 ０．０３１５　 １７４．８７ＥＮ－ＤＲＱＮ　 ０．０２８５　 １５８．３４ＣｅｎｔｉｐｅｄｅＬＳＴＭ－ＤＱＮ　 ０．０２４５　 １３０．２　ＥＮ－ＤＲＱＮ　 ０．０２４３　 １２８．４　ＦｒｅｅｗａｙＬＳＴＭ－ＤＱＮ　 ０．０１９２　 １０６．５　ＥＮ－ＤＲＱＮ　 ０．０１７４　 ９６．７ＳｔａｒＧｕｎｎｅｒＬＳＴＭ－ＤＱＮ　 ０．０１２２　 ６７．８　ＥＮ－ＤＲＱＮ　 ０．０１２１　 ６７．３　ＴｉｍｅＰｉｌｏｔＬＳＴＭ－ＤＱＮ　 ０．０３０７　 １７０．６８ＥＮ－ＤＲＱＮ　 ０．０３０４　 １６９．３７ＭｏｎｔｅｚｕｍａＲｅｖｅｎｇｅＬＳＴＭ－ＤＱＮ　 ０．０１３９　 ７７．４３ＥＮ－ＤＲＱＮ　 ０．０１３０　 ７２．５１表３展示各模型在玩不同游戏时，在ＧＰＵ上的训练时间．其中，训练Ｃａｒｎｉｖａｌ游戏时，二者之间的差异最明显，ＥＮ－ＤＲＱＮ 在训练总时间上比 ＬＳＴＭ－ＤＱＮ减少了１６．５３个小时．虽然 ＬＳＴＭ、ＳＲＵ 都是根据门控操作来处理状态之间存在的依赖关系，但是 ＬＳＴＭ 的门控机制以及循环结构较为复杂．基于ＬＳＴＭ 的深度 Ｑ 网络在处理序列数据时，门机制以及记忆细胞ｃｔ依赖上一时刻运算结果ｈｔ－１、ｃｔ－１，导致网络训练较慢，而在基于 ＳＲＵ 机制的深度循环 Ｑ 网络中，门机制已经不再需要计算前一时刻的输出与参数矩阵的乘积，且长时刻的历史记忆通过矩阵元素之间的乘法操作计算，降低了循环单元的复杂度．表３充分说明新模型在训练时间上的优势．本文在接下来比较ＤＱＮ、ＥＮ－ＤＱＮ、ＬＳＴＭ－ＤＱＮ、ＥＮ－ＤＲＱＮ　４种模型在表 ２ 描述的难度系数大的８款游戏上，各阶段平均每情节获得的奖赏．实验结果如图６所示．７期 刘　全等：一种带探索噪音的深度循环 Ｑ 网络７９５１一 个 平 滑 的 模 型，其 三 大 模 块ＣＮＮｓ、ＲＮＮｓ、ＦＣＮｓ均是可微的．本文采用自适应学习率的随机梯度下降方法对网络参数进行更新．在 ＤＱＮ 中 使 用 神 经 网 络 逼 近 状 态 动 作 值 函数，其中最优状态动作值函数通过最小化神经网络的参数θ而获得：Ｌｉ（θｉ）＝Ｅｓ，ａ，ｒ，ｓ，［（ｙＤＱＮｉ－Ｑ（ｓ，ａ；θｉ））２］ （１９）其中ｙＤＱＮｉ为标签，可表示为ｙＤＱＮｉ＝（ｒｉ＋γｍａｘａ′Ｑ（ｓ′，ａ′，θ－））．Ｌｉ（θｉ）为当前参数θｉ期望均方误差，θ－代表目标网络的参数，θｉ代表当前网络参数．每隔一定步数Ｃ，将当前网络参数复制给目标网络，引入目标网络可以使学习更加稳定，γ∈（０，１］表示折扣因子，Ａｇｅｎｔ采用ε－ｇｒｅｅｄｙ 选择动作，即以ε鼓励探索动作，以１－ε的概率选择贪心动作，式（１９）的梯度如下：θｉＬｉ（θｉ）＝Ｅｓ，ａ，ｒ，ｓ′［（ｙＤＱＮｉ－Ｑ（ｓ，ａ；θｉ））θｉＱ（ｓ，ａ；θｉ）］（２０）在 ＤＬ 中要求训练数据必须是相互独立的，而ＲＬ与环境交互而产生的样本之间是高度相关的，为使 ＲＬ的方法可以在 ＤＬ 中成功实践，采用经验重放技术 以 打 破 序 列 样 本 的 相 关 性．在 经 验 重 放技术中使用样本池 Ｄ＝｛ｅ１，…，ｅｔ｝来存储经验，经验样本ｅｔ＝（ｓｔ，ａｔ，ｒｔ，ｓｔ＋１）以先进先出（Ｆｉｒｓｔ　Ｉｎ　ＦｉｒｓｔＯｕｔ，ＦＩＦＯ）的 形 式 加 以 存 储，每 次 更 新 随 机 取 出Ｍｉｎｉ－Ｂａｔｃｈ数量进行随机梯度下降更新，一定程度上打破了样本之间的相关性．ＥＮ－ＤＲＱＮ 中，由于采用噪音机制，可学习的噪音用ζ表示，故损失函数可表示成在噪音之上的期望，其梯度可表示为：Ｌ－（ζ）＝Ｅ［Ｌ（ζ）］＝Ｅ［μ，ΣＬ（μ＋Σ⊙ψ）］（２１）对于式（２１），本文采用蒙特卡洛逼近的方法进行逼近以保证损失的无偏性，即：Ｌ－（ζ）≈μ，ΣＬ（μ＋Σ⊙ψ） （２２）具体细节如下：令ｙｉ＝ｒ＋γｍａｘａ′Ｑ（ｓ′，ａ′，ψ′；ζ－）得到：Ｌ－（θｉ）＝Ｅζ［Ｅｓ，ａ，ｒ，ｓ′［ｙｉ－Ｑ（ｓ，ａ，ψ；ζ）２］］（２３）其中外部期望针对的是 Ｑ（ｓ，ａ，ψ；ζ）和 Ｑ（ｓ′，ａ′，ψ′；ζ－）中的噪音向量ψ和ψ′的分布．４　实验及结果分析本节介绍了实验所使用的平台以及实验过程中使用的参数，随后对 Ａｔａｒｉ　２６００游戏集中的部分战略性游戏以及带有稀疏奖赏的游戏进行了评估．评估时采 用 ＤＱＮ、ＥＮ－ＤＱＮ、ＬＳＴＭ－ＤＱＮ、ＥＮ－ＤＲＱＮ４个模型进行比较，其中 ＤＱＮ、ＬＳＴＭ－ＤＱＮ使用在动作空间抖动的探索方式．与 ＤＱＮ 相比，ＬＳＴＭ－ＤＱＮ增加了 ＬＳＴＭ 门机制以记忆历史信息．ＥＮ－ＤＱＮ 是在 ＤＱＮ 基础上，在网络空间使用探索噪音的模型，ＥＮ－ＤＲＱＮ 是本文提出的基于简单循环单元的带探索噪音机制网络．不同模型在训练过程中使用相同的参数集合．４．１　实验平台描述本文采用 ＯｐｅｎＡＩ　Ｇｙｍ① 中 Ａｔａｒｉ　２６００游戏环境作为实验环境．ＯｐｅｎＡＩ　Ｇｙｍ 是开发和对比强化学习算法的一个开源工具包，其提供了各种类型的Ａｔａｒｉ　２６００游戏环境接口，涉及到体育竞技、桌游、射击以及战略性的策略游戏，为人工智能研究者提供了各种具有挑战性的任务．为了有效评估模型的表现，本文选择ｇｙｍ 平台中具有战略性和稀疏奖赏性的８个游戏进行实验．游戏的简要介绍已列于表 ２，可以看出游戏的类型繁多，Ａｇｅｎｔ也需要完成不同的目标任务，最终学习策略也不同．表 ２　游戏的简要介绍英文名 中文名 游戏类型 游戏动作数 任务目标ＡｉｒＲａｉｄ 空袭 射击类 ６ Ａｇｅｎｔ避开敌人攻击并且适时击落目标ＢｅａｍＲｉｄｅｒ 波速骑手 射击类 ９ Ａｇｅｎｔ避开子弹并且要击中移动的敌人Ｃａｒｎｉｖａｌ 狂欢 策略类 ６ Ａｇｅｎｔ在规定时间下躲避并击杀掉下的敌人Ｃｅｎｔｉｐｅｄｅ 蜈蚣博弈 策略类 １８ Ａｇｅｎｔ避障且合理击打上方蜈蚣形状的敌人Ｆｒｅｅｗａｙ 过马路 策略类 ３ Ａｇｅｎｔ合理避开连续、移动的车辆ＳｔａｒＧｕｎｎｅｒ 星际炮手 射击类 １８ Ａｇｅｎｔ要做到避障和打掉敌人ＴｉｍｅＰｉｌｏｔ 时空飞机 射击类 １０ Ａｇｅｎｔ驾驶飞机，避障同时攻击敌人ＭｏｎｔｅｚｕｍａＲｅｖｅｎｇｅ 蒙特祖玛的复仇 冒险类 １８ Ａｇｅｎｔ避开敌人以及机关获取宝藏４．２　实验参数设置本文采用一些方法以减小在训练过程中出现的不稳定现象．首先，Ａｇｅｎｔ根据 评估的 Ｑ 值选择 动作的时间大于网络传播的时间，所以采用跳帧技术来缓解二者之间的计算［２２］．本文选取跳帧参数为４，６９５１ 计　　算　　机　　学　　报 ２０１９年① ｈｔｔｐｓ：／／ｇｉｔｈｕｂ．ｃｏｍ／ｏｐｅｎａｉ／ｇｙｍ