第４ ４ 卷第３ 期２ ０ ２ １ 年３ 月计算机学报Ｃ Ｈ Ｉ Ｎ Ｅ Ｓ ＥＪ Ｏ ＵＲ Ｎ Ａ ＬＯ ＦＣ ＯＭ Ｐ ＵＴ ＥＲ ＳＶｏ ｌ ．４ ４Ｎｏ ．３Ｍａ ｒ． ２ ０ ２ １基于目标导向行为和空间拓扑记忆的视觉导航方法阮晓钢李鹏朱晓庆刘鹏飞（ 北京工业大学信息学部北京１ ０ ０ １ ２ ４ ）（ 计算智能与智能系统北京市重点实验室北京１ ００ １ ２ ４ ）摘要针对在具有动态因素且视觉丰富环境中的导航问题， 受路标机制空间记忆方式启发， 提出一种可同步学习目标导向行为和记忆空间结构的视觉导航方法． 首先， 为直接从原始输人中学习控制策略， 以深度强化学习为基本导航框架， 同时添加碰撞预测作为模型辅助任务； 然后， 在智能体学习导航过程中， 利用时间相关性网络祛除冗余观测及寻找导航节点， 实现通过情景记忆递增描述环境结构； 最后， 将空间拓扑地图作为路径规划模块集成到模型中， 并结合动作网络用于获取更加通用的导航方法． 实验在３ Ｄ 仿真环境Ｄ Ｍｌａ ｂ 中进行， 实验结果表明， 本文方法可从视觉输人中学习目标导向行为， 在所有测试环境中均展现出更高效的学习方法和导航策略， 同时减少构建地图所需数据量； 而在包含动态堵塞的环境中， 该模型可使用拓扑地图动态规划路径， 从而引导绕路行为完成导航任务， 展现出良好的环境适应性．关键词目标导向行为； 深度强化学习； 碰撞预测； 时间相关性网络； 空间拓扑地图； 动作网络中图法分类号Ｔ Ｐ１ ８ＤＯＩ号１ ０ ． １ １ ８ ９ ７ ／Ｓ Ｐ． Ｊ ．１ ０ １ ６ ．２ ０ ２ １ ． ０ ０ ５ ９ ４ＡＶｉ ｓ ｕａｌＮ ａ ｖｉ ｇ ａｔ ｉ ｏ ｎＭｅ ｔｈ ｏｄＢ ａｓ ｅｄｏ ｎＧｏ ａｌ－ Ｄｒ ｉ ｖｅｎＢ ｅｈ ａ ｖｉ ｏ ｒａ ｎ ｄＳ ｐａ ｃ ｅＴ ｏｐ ｏ ｌ ｏ ｇｉ ｃ ａｌ Ｍｅｍｏｒ ｙＲ ＵＡ Ｎ Ｘｉ ａ ｏ Ｇａ ｎ ｇＬＩＰ ｅ ｎ ｇＺ Ｈ ＵＸ ｉ ａｏ Ｑ ｉ ｎ ｇＬＩ ＵＰ ｅｎ ｇＦ ｅ ｉ（． Ｆａ ｕｌ ｔｙ ｏｆ Ｉｎｆｏ ｒｍａ ｔ ｉｏ ｎ Ｔｅ ｃ ｈ ｎ ｏｌ ｏ ｇｙ？，Ｂｅ ｉｊｉｎ ｇＵｎ ｉｖ ｅ ｒ ｓ ｉ ｔ ｙｏｆＴｅ ｃ ｈ ｎ ｏ ｌｏ ｇｙ ？，Ｂ ｅ ｉｊｉｎ ｇ１ ０ ０ １ ２ ４ ）（ Ｂ ｅｉｊｉｎ ｇ Ｋ ｅ ｙＬａ ｂｏ ｒａ ｔ ｏｒ ｙ ｏｆ Ｃｏｍｐ ｕ Ｌａ Ｌ ｉｏ ｎａ ｌ Ｉｎ ｔｅ ｌ ｌｉ ｇｅ ｎ ｃ ｅ ａ ｎ ｄ Ｉｎ Ｌｅ ｌ ｌｉｇ ｅ ｎ Ｌ Ｓｙｓｔｅ ｍ ？，Ｂ ｅｉｊｉ ｎ ｇ１ ０ ０ １ ２ ４）Ａｂｓ ｔｒａ ｃｔＥ ｖ ｅ ｒ ｙｏ ｎ ｅｋ ｎｏｗ ｓ ｉ ｔ ｉｓ ｉ ｍｐ ｏ ｓ ｓ ｉｂ ｌ ｅｆ ｏ ｒ ａ ｇ ｅｎｔ ｓ ｔ ｏ ｒ ｅ ａ ｃ ｈｔ ｈ ｅｇ ｏ ａ ｌｅ ｆｆ ｉ ｃ ｉ ｅ ｎｔ ｌ ｙｕｎ ｔ ｉｌｉｔｈ ａ ｓｓ ｕｆ ｆｉ ｃ ｉ ｅｎ ｔｌ ｙ ｅｘｐ ｌ ｏ ｒ ｅ ｄｔ ｈ ｅｅ ｎｖ ｉｒ ｏ ｎｍ ｅ ｎｔｏ ｒｃ ｏ ｎ ｓ ｔ ｒ ｕ ｃ ｔ ｅ ｄｃｏ ｇ ｎ ｉ ｔｉ ｖ ｅｍｏ ｄｅ ｌｏ ｆ ｔ ｈ ｅｗ ｏ ｒ ｌ ｄ ，ｂ ｕｔｔ ｈ ｅｅ ｓ ｓ ｅｎ ｔ ｉａ ｌ ｑ ｕｅ ｓ ｔ ｉ ｏ ｎ ｉ ｓｈ ｏｗ ｔ ｏｇ ｅｎ ｅ ｒ ａｔ ｅ ｇ ｏ ａ ｌ ｄｒ ｉ ｖ ｅｎ ｂ ｅｈ ａ ｖ ｉ ｏ ｕ ｒ ．Ｏ ｒ ｇ ａ ｎ ｉ ｓｍ ｓ ｃ ａ ｎ ｓ ｐ ｏ ｎ ｔａ ｎ ｅ ｏ ｕｓ ｌ ｙｅ ｘｐ ｌ ｏ ｒ ｅｔ ｈ ｅｅｎ ｖ ｉ ｒ ｏ ｎ ｍ ｅｎ ｔｗ ｉ ｔｈ ｒ ａ ｒ ｅｏ ｒ ｄ ｅ ｃ ｅｐｔ ｉｖ ｅｒ ｅｗ ａｒ ｄａ ｎ ｄｂｕ ｉ ｌ ｄｍａ ｐ ｌ ｉ ｋ ｅｒ ｅ ｐ ｒ ｅ ｓ ｅｎ ｔａ ｔ ｉ ｏ ｎｔ ｏ ｓ ｕｐ ｐ ｏ ｒ ｔｓ ｕｂ ｓ ｅ ｑｕ ｅｎ ｔａ ｃ ｔ ｉ ｏ ｎ ｓ ， ｓ ｕｃ ｈａ ｓ ｆｉ ｎ ｄｉ ｎ ｇ ｆｏ ｏ ｄ ， ｓ ｈ ｅ ｌ ｔ ｅ ｒ ｓ ｏ ｒ ｍａ ｔ ｅ ｓ ．Ｗｈａ ｔｗ ｅ ｗ ａ ｎ ｔｔ ｏ ｋ ｎ ｏｗｉ ｓ ｗ ｈ ｅ ｔ ｈ ｅ ｒｔ ｈ ｅｒ ｏ ｂ ｏ ｔｃ ａ ｎｉ ｍｉ ｔ ａ ｔ ｅｓ ｕｃｈｃ ｏ ｇ ｎ ｉｔ ｉ ｖ ｅｍｅ ｃｈ ａ ｎｉ ｓ ｍｔ ｏｃｏｍ ｐ ｌ ｅ ｔ ｅｎ ａ ｖ ｉ ｇ ａ ｔ ｉ ｏ ｎ ａｌ ｔ ａ ｓ ｋ ｓ ？Ｏ ｂｖ ｉ ｏ ｕｓ ｌ ｙ ，ｒ ｅ ｌ ｙｉ ｎ ｇ ｏ ｎｈ ｉ ｇ ｈｐ ｒ ｅ ｃ ｉ ｓ ｉ ｏ ｎ ｓ ｅ ｎ ｓ ｏ ｒ ｓ  ａ ｓ ａ ｓ ｏ ｕｒ ｃ ｅ  ｔ ｏ ｒ ｅ ｃ ａ ｌ ｌ ｔ ｈ ｅ  ｓ ｔ ｒ ｕ ｃ ｔ ｕｒ ｅ ｏ ｆ ｅｎ ｖ ｉ ｒ ｏ ｎ ｍｅ ｎｔ ｉ ｓ ｎｏ ｔ ｐ ｒ ａ ｃ ｔ ｉ ｃ ａ ｌｉ ｎ ｒ ｅ ａ ｌｗ ｏ ｒ ｌｄ ， ｓ ｏ ｗ ｅ ｐ ｅ ｒ ｃ ｅ ｉ ｖ ｅ ｔｈ ｅ  ｓ ｔａ ｔ ｅ ｓ ｐ ａｃ ｅ ａ ｎ ｄ ｌ ｅ ａ ｒ ｎｃｏ ｎｔ ｒ ｏ ｌｐ ｏ ｌｉ ｃ ｙ ｗｉ ｔ ｈ ｖ ｉ ｓ ｕ ａ ｌｉ ｎ ｐ ｕｔ ｓ ． Ａ ｎ ｄｔ ｏｄｅ ａｌｗ ｉ ｔｈｔ ｈ ｅｐ ｒ ｏ ｂｌ ｅｍ ｓ ｓ ｔｅ ｍｆ ｒ ｏｍｄｉ ｍｅｎ ｓ ｉｏ ｎｄｉｓ ａ ｓ ｔ ｅ ｒ ，ｔ ｈ ｅ ｄｅ ｅ ｐ ｌ ｅ ａｒ ｎ ｉｎ ｇ ｉ ｓａ ｌ ｓ ｏ ｕｓ ｅｄ ｉｎｏ ｕｒｍ ｅ ｔ ｈ ｏ ｄ．Ｔ ｈｅ ｎ ａ ｖ ｉ ｇ ａ ｔ ｉ ｏ ｎｓ ｙ ｓ ｔ ｅ ｍｓ ｄ ｅｖ ｅ ｌ ｏ ｐ ｅ ｄｉ ｎ ｒ ｏ ｂｏ ｔｉ ｃ ｓ ｃ ａ ｎ ｔ ｙｐ ｉ ｃ ａ ｌ ｌ ｙｂ ｅ ｄｉ ｖ ｉｄ ｅ ｄ ｉ ｎ ｔ ｏ ｔ ｗ ｏｃ ｌ ａ ｓ ｓ ｅ ｓ： ｏ ｎ ｅ ｒ ｅ ａ ｃ ｈｔ ｈ ｅｇ ｏ ａ ｌｂｙｅｎ ｃ ｏ ｄｉ ｎ ｇ ｔ ｈ ｅｓ ｔ ｒ ｕ ｃ ｔ ｕｒ ｅｏ ｆ ｅ ｎｖ ｉ ｒ ｏ ｎ ｍｅ ｎｔ ， ｉ ｔｃ ａ ｎｕｔ ｉｌｉ ｚ ｅｍ ｕｌ ｔ ｉ ｐ ｌ ｅｓ ｅｎ ｓ ｏ ｒ ｉ ｎｆ ｏ ｒｍ ａｔ ｉ ｏ ｎ ａ ｓｉ ｎ ｐ ｕ ｔａ ｎ ｄｐ ｒ ｏ ｖ ｉ ｄｅ ｈ ｉ ｇｈｑｕ ａ ｌｉ ｔｙｅ ｎｖ ｉ ｒ ｏ ｎｍ ｅｎ ｔｍａ ｐ ｓ； ａｎ ｄ ｔｈ ｅ ｏ ｔ ｈ ｅ ｒ ｏ ｎ ｅ ｉ ｓｍａ ｐ ｌ ｅ ｓ ｓ ａ ｐ ｐ ｒ ｏ ａ ｃｈ ， ｗ ｈ ｉ ｃ ｈｍａ ｉ ｎ ｔａ ｉ ｎａ ｃｏ ｎ ｔ ｒ ｏ ｌ ｐ ｏ ｌ ｉ ｃｙｉ ｎｔ ｈ ｅｌ ｅ ａ ｒ ｎｉ ｎ ｇ ｐ ｒ ｏ ｃ ｅ ｓ ｓ ａｎ ｄｕ ｓ ｅ  ｉｔ ｔ ｏ ｆｉ ｎ ｉ ｓ ｈｇ ｏ ａ ｌｒ ｅ ａ ｃ ｈｉ ｎ ｇ ｔ ａ ｓ ｋ ｓ ， ｅ ａ ｃｈｏ ｆｔ ｈ ｅｍｈ ａ ｓｔ ｈ ｅ ｉｒ ｐ ｒ ｏ ｓ ａ ｎｄ ｃｏ ｎ ｓ ． Ｉｎ ｔ ｈｉ ｓ ｐ ａ ｐ ｅ ｒ ，ｗ ｅ ｐ ｒ ｏ ｐ ｏ ｓ ｅ ｄ ａ ｖ ｉ ｓ ｕ ａ ｌｎａ ｖ ｉ ｇ ａ ｔ ｉ ｏ ｎｍｅ ｔ ｈ ｏ ｄ ｗ ｈｉ ｃ ｈｃ ａ ｎｌ ｅ ａｒ ｎｇ ｏ ａ ｌ ｄｒ ｉ ｖ ｅｎ ｂｅ ｈ ａ ｖ ｉｏ ｒａ ｎ ｄｅ ｎ ｃｏ ｄ ｅｓ ｐ ａｃ ｅｓ ｔ ｒ ｕ ｃ ｔ ｕ ｒ ｅｓ ｙ ｎｃ ｈｒ ｏ ｎ ｏ ｕｓ ｌ ｙ． Ｆｉ ｒ ｓ ｔ ｌ ｙ ，ｉ ｎｏ ｒ ｄ ｅ ｒ ｔｏ ｌ ｅ ａｒ ｎ收稿日期：２ ０ ２ ０ ０ ５ ０ ２； 在线发布日期：２ ０ ２ ０ ｌ ｌ ０ ７． 本课题得到国家自然科学基金（ ６ １ ７ ７ ３ ０ ２ ７ ） 、北京市自然科学基金（ ４ ２ ０ ２ ０ ０ ５ ） 、北京市教育委员会科技计划一般项目（ ＫＭ２ ０ １ ８ １ ０ ０ ０ ５ ０ ２ ８ ） 资助． 阮晓钢， 博士， 教授， 主要研究领域为自动控制、人工智能及智能机器人．Ｅ ｍａ ｉｌ ：ａｄ ｒ ｘｇ＠ ｂｊｕ ｔ ． ｅｄ ｕ． ｃ ｎ． 李鹏， 博士研究生， 主要研究方向为深度强化学习及机器人导航． 朱晓庆（ 通信作者） ， 博士， 讲师， 主要研究方向为智能机器人及机器学习． Ｅ ｍａ ｉ ｌ： ａｌ ｅｘ ． ｚ ｈ ｕ ｘ ｑ＠ ｂｊｕ ｔ ． ｅ ｄ ｕ ． ｃ ｎ ． 刘鹏飞， 硕士研究生， 主要研究方向为人工智能及机器人导航．阮晓钢等： 基于目标导向行为和３ 期 空间 拓扑记 忆的 视觉导航方法 ５ ９ ５ｃｏｎｔ ｒｏｌ ｐｏｌｉ ｃｙｆｒｏｍｒａｗｖｉ ｓ ｕａ ｌｉ ｎｆｏｒｍ ａｔ ｉｏｎ ，ｗｅｔ ａｋ ｅｄ ｅｅ ｐ ｒ ｅｉ ｎｆ ｏｒ ｃｅｍ ｅｎｔ ｌ ｅａ ｒｎｉ ｎｇａ ｓ ｂａ ｓ ｉ ｃｎａ ｖｉ ｇａｔ ｉ ｏｎｆｒａｍ ｅｗｏｒｋ ，ｉ ｔｐｒ ｏｖｉ ｄ ｅｓ ａ ｎｅ ｎｄ－ｔ ｏ－ ｅｎ ｄｆ ｒａｍｅ ｗｏｒｋ ａｎ ｄａ ｌ ｌ ｏｗｏ ｕｒ ａ ｐｐ ｒｏａ ｃｈ ｄｉ ｒ ｅｃ ｔｌ ｙ ｐｒ ｅ ｄｉ ｃ ｔｃ ｏｎ ｔｒ ｏｌｓ ｉ ｇｎ ａ ｌ ｆｒ ｏｍｈ ｉ ｇｈ －ｄ ｉ ｍｅ ｎｓ ｉ ｏｎａ ｌ ｓ ｅｎ ｓｏ ｒｙｉ ｎ ｐｕ ｔ ｓ ． Ｍ ｅａ ｎ ｗｈｉｌ ｅ ？ｄ ｕｅ ｔ ｏｔ ｈ ｅ ｅｎ ｖｉ ｒｏｎ ｍ ｅｎ ｔ ｃｏｎ ｔ ａｉ ｎ ｓ ａ ｍ ｕｃｈｗ ｉｄ ｅｒ ｖａ ｒ ｉ ｅ ｔ ｙｏ ｆ ｐｏ ｓ ｓ ｉｂ ｌ ｅ ｔ ｒａ ｉ ｎｉ ｎ ｇｓ ｉ ｇｎ ａ ｌ ｓ ，ａ ｎａ ｕ ｘｉｌｉ ａｒ ｙｔ ａ ｓ ｋｎａｍ ｅｄ ｃｏ ｌ ｌｉ ｓ ｉ ｏｎｐ ｒ ｅ ｄｉ ｃｔ ｉ ｏｎ ｉ ｓ ａ ｄｄ ｅｄ ｔ ｏｔｈ ｅｍ ｏｄ ｅｌ ．Ｔ ｈ ｅｎ ，ｉ ｎ ｔ ｈｅｐ ｒｏｃ ｅｓ ｓ ｏｆ  ｅｘ ｐｌ ｏｒ ａ ｔｉ ｏｎ ，ｔ ｈ ｅ ａ ｇｅ ｎｔ ｔ ｈ ｒｏｕ ｇｈ ｏｕ ｔ ｔ ｈｅ ｅ ｎｖ ｉｒ ｏｎｍ ｅｎ ｔ ｎ ｕｍ ｅｒ ｏｕｓｔｉ ｍ ｅｓ  ａｎ ｄｏ ｂｓ ｅｒ ｖｅ ａ ｌ ｏｔｏｆ ｓ ｔ ａ ｔ ｅｓ ， ｂ ｕｔ ｍ ｕｃ ｈｏｆ ｔｈ ｅ ｍａ ｒ ｅ ｒ ｅｐ ｅｔ ｉ ｔｉ ｖ ｅ ，ｔ ｈ ｅ ｔ ｅｍ ｐ ｏｒａ ｌｃｏｒ ｒ ｅ ｌ ａ ｔｉ ｏｎｎｅ ｔ ｗｏｒｋ ｉ ｓｕ ｓ ｅ ｄｔ ｏｒ ｅ ｍｏｖ ｅｔ ｈ ｅｓ ｅｒ ｅｄ ｕｎ ｄａ ｎ ｔｏｂ ｓ ｅ ｒｖａ ｔ ｉ ｏｎａ ｎ ｄｓ ｅ ａｒ ｃｈｆ ｏｒｗａ ｙｐｏ ｉｎ ｔ ｓ ．Ｂ ｅｃ ａ ｕｓ ｅｔ ｈｅｖａ ｒ ｉ ｏｕ ｓｐ ｅ ｒ ｓｐ ｅ ｃｔ ｉｖ ｅｏｆ ａ ｇｅ ｎ ｔ，ｉ ｎ ｓ ｔ ｅａ ｄ ｏｆ ｕｓ ｉ ｎｇｈ ａｎ ｄ－ ｄ ｅｓ ｉ ｇｎ ｅｄ ｆ ｅａ ｔ ｕｒ ｅ ｓ ， ｗｅｕ ｓ ｅｔ ｅ ｍｐ ｏｒａ ｌ ｄｉ ｓ ｔａ ｎ ｃｅ ，ｗ ｈｉ ｃ ｈｏｎ ｌ ｙｒ ｅ ｌ ａｔ ｅ ｄ ｔｏ ｅｎ ｖｉ ｒｏｎ ｍ ｅｎｔ ｓ ｔ ｅｐ ｓｔ ｏｃ ｏｍｐ ｕｔ ｅ ｔ ｈｅ ｓ ｉ ｍ ｉｌ ａｒ ｉ ｔ ｙｂ ｅ ｔｗｅ ｅ ｎｓ ｔａ ｔ ｅ ｓ ．Ａ ｎｄｉ ｎ ｓ ｐｉ ｒ ｅ ｄｂｙｔ ｈ ｅ ｒ ｅ ｓ ｅ ａｒ ｃｈ ｅ ｓ ａｂ ｏｕ ｔ ｃｏ ｇｎ ｉｔ ｉ ｖｅｍ ｅｃ ｈａ ｎ ｉ ｓｍ ｏｆａ ｎ ｉ ｍａ ｌ ｓ ？ｗｅ ｌ ｅａ ｒｎ ｅ ｄｔ ｈ ａｔ ｍ ａ ｎｙｍａｍｍ ａｌ ｓ ａ ｒ ｅ ａ ｂｌ ｅｔｏｕ ｔ ｉ ｌ ｉｚ ｅａｎ ｏｂ ｓ ｅ ｒｖａ ｔ ｉ ｏｎ ，ｅ ｓｐ ｅｃ ｉａ ｌ ｌ ｙ ｔｈ ｅ ｏｎ ｅｉ ｎ ｃｌ ｕｄ ｅｌ ａ ｎ ｄｍａ ｒｋ ｓ ，ｔ ｏ ｒ ｅ ｐｒ ｅ ｓ ｅ ｎ ｔ ａｎ ｅｉ ｇｈ ｂｏｒ ｉ ｎ ｇｓ ｔ ａｔ ｅｓｐ ａ ｃｅ ，ｔ ｈ ｕｓ  ｅｎ ｃ ｏｄｉ ｎ ｇｔ ｈ ｅｅ ｎｖ ｉｒ ｏｎｍ ｅｎ ｔ ｉ ｎａ ｓ ｉ ｍ ｐ ｌ ｅｒ ａ ｎ ｄｅ ｆｆ ｉ ｃｉ ｅ ｎｔ ｗａ ｙ．Ｓ ｏｗｅ ｕ ｓ ｅｗ ａｙ ｐｏ ｉｎ ｔ ｓ ，ｗｈ ｉ ｃｈｄｉ ｓ ｃｏｖ ｅｒ ｅ ｄｉ ｎｅ ｘｐ ｌ ｏｒａ ｔ ｉ ｏｎ ｓ ｅ ｑｕ ｅｎ ｃ ｅｓ  ａｎ ｄ ｃａ ｎｒ ｅ ｐｒ ｅ ｓ ｅ ｎ ｔ ａｎ ａ ｄｊ ａ ｃ ｅｎ ｔ ｓ ｔ ａｔ ｅ ｓ ｐａ ｃｅ ｔ ｈａ ｔ ｗｉ ｔ ｈｉ ｎ ａ ｃｅ ｒ ｔ ａｉ ｎｔｅ ｍｐｏｒａ ｌ ｄ ｉｓ ｔ ａ ｎｃｅ ，ｔ ｏｄｅ ｓ ｃｒ ｉｂ ｅｔ ｈ ｅｓ ｔ ｒｕｃｔ ｕｒ ｅｏｆｅ ｎｖｉｒ ｏｎｍ ｅｎｔ ｇｒａ ｄｕａ ｌ ｌｙ ．Ｆｉ ｎ ａ ｌ ｌ ｙ ，ｔ ｈ ｅｓ ｐａ ｃ ｅｔ ｏｐ ｏｌ ｏｇ ｉ ｃａ ｌｍａ ｐｉ ｓｉ ｎｔ ｅ ｇｒａ ｔ ｅ ｄｉ ｎ ｔ ｏｔ ｈ ｅｍｏ ｄｅ ｌａ ｓａｐａ ｔ ｈｐ ｌ ａ ｎｎ ｉ ｎ ｇｍｏ ｄ ｕｌ ｅ ， ａ ｎ ｄｃｏｍ ｂｉ ｎ ｅｓｗｉ ｔ ｈｌ ｏｃ ｏｍｏ ｔｉ ｏｎｎｅ ｔ ｗｏｒｋ ｔ ｏｏｂｔ ａ ｉ ｎａ ｍ ｏｒ ｅｇ ｅ ｎｅｒ ａ ｌｎ ａ ｖｉ ｇａ ｔ ｉ ｏｎｍ ｅｔ ｈ ｏｄ．Ｔ ｈ ｅｅ ｘｐ ｅｒ ｉ ｍ ｅｎ ｔｗａ ｓｃ ｏｎｄ ｕ ｃｔ ｅｄｉ ｎ３ Ｄｓ ｉ ｍ ｕｌ ａ ｔ ｉｏ ｎｅｎ ｖｉ ｒｏｎ ｍ ｅｎ ｔＤＭ ｌ ａ ｂ．Ｔｈ ｅｅ ｘ ｐｅｒ ｉｍ ｅ ｎｔｒ ｅｓ ｕ ｌｔ ｓｓ ｈｏｗｔ ｈｉ ｓｎ ａ ｖｉ ｇａ ｔｉ ｏ ｎｍｅ ｔｈ ｏ ｄｃａｎ ｌ ｅ ａｒｎｇｏａ ｌ－ ｄｒ ｉｖ ｅｎ ｂ ｅ ｈａ ｖｉ ｏｒ  ｆｒｏｍ ｖｉ ｓｕ ａ ｌ ｉｎ ｐ ｕｔ ｓ ，ａ ｎｄ ｓｈ ｏｗｍｏｒ ｅｅ ｆｆ ｉ ｃｉ ｅ ｎｔ ｌ ｅ ａｒ ｎｉ ｎ ｇａ ｐｐ ｒｏａ ｃｈ ａ ｎ ｄｎａ ｖｉ ｇ ａ ｔｉ ｏｎｐｏｌｉ ｃｙｉ ｎ ａ ｌｌ ｔ ｅ ｓ ｔｅｎ ｖｉｒｏｎ ｍｅ ｎｔ ｓ ？ａｎ ｄ ｒ ｅｄ ｕｃｅ ｔ ｈｅ ａｍ ｏｕｎ ｔｏｆ ｄａ ｔａ ｒ ｅｑｕｉ ｒ ｅｄ ｔｏｂ ｕｉｌ ｄ ｍａ ｐ．Ｆ ｕｒ ｔ ｈ ｅｒｍ ｏｒ ｅ ，ｂｙ ｐｌ ａ ｃｉｎ ｇｔ ｈｅ ａｇ ｅｎｔ ｉｎ ｄｙｎ ａｍ ｉｃａ ｌ ｌ ｙｂ ｌ ｏｃｋ ｅｄ ｅｎｖｉ ｒｏｎｍ ｅｎｔ， ｔｈ ｅｍ ｏｄｅｌ ｃａ ｎｔ ａｋ ｅａ ｄｖａ ｎｔ ａ ｇｅｏｆ  ｔｏｐ ｏｌ ｏｇｉｃ ａｌｍａ ｐｔｏ ｇｕ ｉ ｄｅｄｅ ｔ ｏｕｒ ｂ ｅｈ ａ ｖｉ ｏｒａ ｎ ｄｃ ｏｍｐ ｌ ｅ ｔｅ ｎ ａｖ ｉ ｇａ ｔｉ ｏ ｎａ ｌｔ ａ ｓｋ ｓ ，ｓｈ ｏｗｉ ｎ ｇｂ ｅ ｔｔ ｅ ｒｅ ｎ ｖｉｒ ｏｎ ｍｅ ｎｔ ａ ｌａｄ ａ ｐｔ ａ ｂｉｌｉ ｔ ｙ．Ｋｅ ｙｗｏｒ ｄｓｇｏａ ｌ－ ｄｒ ｉ ｖ ｅｎ ｂ ｅｈ ａ ｖｉ ｏｒ ；ｄ ｅｅ ｐｒ ｅｉ ｎ ｆ ｏｒ ｃ ｅｍ ｅｎ ｔｌ ｅ ａｒ ｎｉ ｎ ｇ ；ｃｏ ｌ ｌ ｉ ｓ ｉ ｏｎｐ ｒ ｅ ｄｉ ｃｔ ｉ ｏｎ ；ｔ ｅ ｍｐ ｏｒａ ｌｃｏｒ ｒ ｅ ｌ ａｔ ｉ ｏｎｎ ｅ ｔｗｏｒｋ  ；ｓ ｐａ ｃ ｅｔ ｏ ｐｏｌ ｏ ｇｉ ｃａ ｌ ｍａ ｐ；ｌ ｏ ｃｏｍｏ ｔｉ ｏｎ ｎ ｅ ｔ ｗｏｒｋｉ 引言箭物， ？括人鐵在内ｓ 梅空间认知和行翁规划方面具有非凡的能力， 与其对应的导航行为也在心理和神．经科学■ 中得到广泛研究Ｉ ＭＳ 年，ＴＴ 〇ｌ ｍ？ｍ［ ３ ］ 提：出，“ 认知她題《ｃｏ ｇｎ ｉｔ ｉｒ ｅ ｍ雄” 概念用Ｔ：说明物理雜＃ ：的＿， 自此， 认知地图的存隹和形式一直饱受争议． 近年来， 通．过将甩极放置：布啮齿类动物脑中及研究其电生理记录， 位置细胞 自身动作线索Ｃ ｐ ｋ ｅ ｅ ｃｅ ｌ ｌｓ ）？ 网格细胞＜ ｇｒ ． ｉ ｄａｌ ｌ ｓ 》和头謝向姻胞（ Ｈ 麵４－ Ｄ ｉｉ ６ｃ． ｔｉｏ ｎｅｄ ｌ ｓ， Ｈ Ｄ ＃ｔ ｌ ｌ ｓ ）［４】等多：神＇有：碧；环． 場编码的细胞樽以被人们熟知． 在空间认知过．程中， 每种钿胞有壤驗蒙＿ 能， 它们猶瓦会惟完成对状霧空间的表达， ＃类细胞连接如？ １ 所示［ ５ ］． 此外 ＜ 坯有证据＿明海马体－内嗅皮层脑区不仅参与空间记忆，在规划路径中也具有重要作租．图１ 辱航姻胞逵義丨西相比之下。移动机器人导航系统通常以同步定ｆｅｆｔ（ Ｓｉｍ ｕ ｌ ｔａ ｎ ｅｏ ｌｉ ｓＬ ｏｃａｌ ｉ ｚａ ｔ ｉｏ ｎ ａｎ ｄＭ ａｐ ｐ ｉ ｎ ｇ ，ＳＬＡＭ）ｍ ＊ 主要实现方式， 该类方法可利用传感器数据（ 例如： 激光１程计、声呐、视觉等） 并结脅机器人自身运动價．息构建未知环境， 的度璧地图：以实现＿主蕃航， 在Ａ：霧ＳＬ ＡＭ 方— 中与傘文立怍議意相近５ Ｍ 计導机攀报 ：＿１苹的：是视觉 ＳＬＡＭ （： Ｖｉ ｓ ｔｔａ ｌ ＳＬＡＭ， ｙ ＳＬＡＭ＞ ：攥濯［ ７ ］，该方法主繁＇以视觉感知环境信息， 并通过摄像机姿态和多视角几何理论构建地图． 为提？高数据处理速度，一画ＶＳＬ ＡＭ 算法会优先提取图像特征点（ 例如： ＳＩ Ｆ Ｔ［Ｓ］、ＯＲ Ｂ［９］Ｋ 然后通过匹配特征点寮成帧间估计和闭环捡测》基于ＳＬＡＭ 的方法可提供高质？量环境地图， 钽此类方法致力于隹置雅算和地图构建； 往往需要额外的姿态或自身运动信息， 且对动态环境缺乏通ｔ 性．雜度强化參辱（ ＩＪｅｆｔｆ Ｒ ｅ ｉ ｎ ｆｏ＇ｒ ｃｆｉｍｅ ｆｔｔＬｅ＇ａｔ ｎｉ ｆｔ ｇ ，ＤＲ Ｌｊｉ＞ ｌ： 邊＿ 慶參渴（ Ｄｆｅｅｐ ＬＭｒｉｉ ｉ ｎ ｇ ，ＤＩＪＪ １］ 和彌化攀：习（， Ｒｅ ｈｉ ｆ〇ｒ，ｅｅ ｔｏ ｅ： ｉｔ Ｌ ｆｅＳｉ ｎｉ ｎｇ＜Ｒ Ｌ）网； ｆ｜ ＿：組成：，它的出现在一定程度上推动了机器拟人化的发展．由于其具有端到端的争习： 框架， 深度强化学习也被广泛应用于导航领域， 并在高＇維空间中展现出良好－的适应性？ Ｚ ｈ ｕ 等人［ １ ３１ 将预训练的Ｒｅ ｓＮｅｔ 与具有ｓｋ ｍ ｅｓｅ 架构的网络模型结会ｓ 实现以目标驱动的视觉导航． 弁在模型中増加目标适应性训练？ 使智能体对新員标具有更好的泛化能力． 钽这种方法本质上依赖于纯反应行为． 在复杂环埯中性能下降明显－Ｍ ｍｈ 等人［ １ ４ ］ 提进一种基于策略的异步强化学习方法潘刹用该＃法训练结合长短时记忆网络（ ＬｏｎｇＳ ｌｉ ｏ ｔ ｔＴＴ ｅ ｔｔ ｎＭｅｔａ ｏ ｒｙＮｇ ｔ ｗｗ ｋ ， ＬＳ ＴＴ Ｍ 》’的犧耀密３ Ｄ 迷宫中学习导航，实验结果表明该模滅可存储环境相关信息并莸得更加通用的控制策略， Ｊ ａｔｏｂｅｒ ｇ暮ＪＪ １ ５３验ｆｉ￡多种辅逝任备对ｅ？ Ｎ Ｌ Ｓ ＴＭ 欐型的影晌ｒ在： Ａｔｓｒｉ 测试环簾中， 通过对Ｄ Ｑ Ｎ ｔ Ｄｅｅ ｐＱ－Ｅｆｃｔｗ Ｑ ｒｋ ｓ 、，：深度Ｑ网：絡：）［ １ ６ ］ 和ＵＮＲ ＥＡ ＬＡｇｅｎ ｔ的比较， 进一歩ＳＥＩＴＴ ＬＳＴ Ｍ 的记忆功能／＿ｒ〇ｗｓ ｋｉ等人［ ｉ ７］ 构建一种具有堆叠藥构的模型ｓ 在结合深度预测和Ｗ 环检测后ｓ 智能体学习速度和导航效專显著提齊？ 茼时在实验过程中， 是否存在Ｌ Ｓ ＴＭ 及Ｌ ｇＴＭ 梟数对导航性能的參响也得到验证． 模型中包含逋用Ｌ ｇＴＭ 的系统可储存大量鈈境猜息＊ 即使是在回合间随机敢置目标的３ Ｄ 环境中也能很好地完成导航任备－ 然而该秀方法的控制策略只针对待海坏境有效， 当通路中出现堵塞或障碍物时＊ 智能体讀再次映射该路径／因此有很多研究人员试圈＇通过对空间结构进行编码以更好地应对＿埯变化？ 于乃功等人［ １ Ｓ］ 模仿海马结构牵问认知机理构建细胞吸引子模型， 认而实现构建精确环境认知地图． Ｐ ａ ｒｉｍｔｔｏ 等人＿ 使甩二维记忆图储存环境信惠， 利用该抽象地图可寇成路径輕划任务． Ｇｕｐ ｔａ等人ｔ ２° ］ 引人一种新颖的神经导航结构， 该方法可从第一人称视角學习环境■表怔？Ｓａ ｖ ｉ ｎ时等人［２ １ ］ 则通过半参：鐵有？ 扑记忆（ Ｓｅｍ ｉ－ Ｐ ａｒａｍ ｅｔ ｒ ｉ ｃ ＴＴ ｏ ｐ ｏ ｌ ｃｉｇ ｉ ｃ ａ ｌＭｅ ｍｏ ｒ ｙ＾Ｓ ＰＴ Ｍ） 构建：未知环墙的拓扑地图， 并使甩该地Ｈ 驱使智能体寻找目标． 以编码环境为导航实现方式的耸法可通过构建空间类＿ 表征引导目标导向行为， 受堵＿ 和障碍物泰响较小＊ 但路搭慮针对每次任务进行规划， 即使在全连通环境下也是如此， 这无疑会降低算法的导航效率．综上所述， 深度強化学苺为裁取控制策略和编码坏鐵：靖：构提供了＿ 种方徵， 本文在此基础上轉菌种导航形式结含， 提出一种可－隹学《目标导向行为过纖中构建空间拓扑地图齒导航方法？ 其中， 目＃导向＇行为由＊ 有：深度强化学方架构的智能体在环境中学习所棒／而拓扑地图则基于其精景记忆和观测之间的时间距离构建． 运动网络ｆｅ规划模块的补充， 它可以帮助智能执行所规划的路径－２ 深度强化学习简介深度强化学习将深度、攀Ｓ 的视觉感知能力与强化学习的行动规划能力融为一体， 构建了一种对视觉？世界具有更高层次理解的端到端模型． 在相关研究中， 裸度强化学习的基本架构包括＇ＤＱＮ０ ６３ 和深度递归网雜Ｒｅｃｕｒ ｒ ｅｎｔ Ｑ Ｎ ｅ ｔ ＷＱ： ｒ ｋｓ ， Ｄ ＲＱＮ）［ ２ ２］．２ ． １ 深度Ｑ 网络Ｄ Ｑ Ｎ 是第一个被怔明可在多种环攙中直接通过视觉输入学习控制策赂的强化学习算法， 其摸型如图２ 所示， 输入为智能体观测到的连续４ 帧图像？状态０ ０卷积层２卷积层３卷积层１图２Ｄ＿檩遵标准强化学习算法假设智能体通过离ｍ 时间步与环境迸行交互， 其目＃是学眉回合内可最大化奖励的策赂． 在海一个时间步＾ 智能体会根椐， 前状＿ ＆和蒙赂７Ｔ 逸择动＇作在执行动作Ｂ霖痛奖励ｎ并进入下一状态＋ １ ． 每一个时间步的■ 回报尺定义为累积折扣奖励：Ｔ（ １ ）ｉ＇— ｌ其中， 丁海回合愈大吋间＃ Ｓ／ 为当翁吋间步， ｆ 为起始时间步， ｙｅｌ 〇， １ ］ 为折扣因子， ｒ，＇ 为当前时间步所获？奖励． Ｄ ＣＪ Ｎ＇逋过动作：值函数（３等习控制策略， 定Ｋ娆爾等： 基ｆ＿ 顯等向行为３ 期 ■空 间第朴记忆的班鹙导航 操 ５ ９ ７义为給定策略７ Ｔ 和状态／下执行动作＆ 后的期襲回报：？ ｉｉ－：） ￣Ｅ Ｈ－Ｒ ｉ Ｉ ｓ， — ５ ？＾（  ２ ）其中和？ 发Ｉｆ？时间歩状态茇动作， 在ｇ 义Ｑ＊的輝时定义最■动作氇爾敷＜２＊＊挪）＝ｍ ａｘ ＱｒＣ ｙ ， ｄ） ，借助贝尔曼方馨可迭代更新动作值．涵数；Ｑｉ ＋ ｊ （ ｓ ，－．ｉ ａ；３ ＝ ＥＳ＇ ＼ ｒ－＼￣ｙｍ＆ ｙ＾ Ｑｉ ｔ ｓ． ａ＂） ］（３）其中和＾ 为下一时间步状态°及动作． 当；一〇时，Ｑ，Ｑ ＇Ｄ ＱＮ 使甩参数为５ 的＿线性．涵数逼近器一卷顧神： 鋒＿ 络： （ Ｃｉｅ ｎｖ ｃｄ ｕ ｔ ｉｃｉ ｎａ ｌＮｅｕｒａ ｌ ： Ｍｆｅｔ ｗｓｒ ｋ ｓ；Ｃ Ｎ Ｎ ｓ ）—拟合Ｑ 像此时同禅可以利用贝尔憂等式棄新参数（？ ， 定义均方＇误差损：失函数：Ｌ， （齡二氏，？ ． ， ［ （＿ｖ ，Ｑ＆，Ｃｓ ！ ｄ Ｊ ）２］Ｑｉ）眞：中＊ １ 为当前时陶步， ５ ，＝ ｒ ＋ ｙ为目标． Ｑｑ Ｇ ． ｄ ） 为当前网络Ｑ 值． 通；４ 敵分损失涵数可痔梯度吏新值＾［ Ｃ ｇ＜ｉ＾ Ｑｔｆｉ ｉ ｓ ＾ａ＾ Ｖ＾Ｑ＾Ｃ ｓ ？＇ ？３］Ｃ５ ）逋过在环境中学： 习不断减小损失函数， 使得Ｑ （  ｓ， 《； 扔你Ｑ－（ ｓ ．， ａ ） ， 实标上ＤＱ Ｎ．并不是第一个尝试利用神经网讚实现强佑学习的模型． ， 它的前身、是神蠢拟合Ｑ迭代 ＣＲ ｅｕｒａ ｌ ＦｉｔｅｄＱ ｉｔ ｅｍｉｉ〇ｎ ， ：ＮＦ Ｑ）［ ２ ３ ］，其架构也与Ｌａ ｎ ｇ ｅ 等人Ｍ 提出的模型密切相关． 而Ｄ ＱＮ 性能之所以如＾ 此突． 出， 目标两祭和绶验回放２ ６］ 有不可＇磨獅货献‘２． ２ 深度递归Ｑ 网络Ｄ Ｑ ＮＢ 被证明能够在不同Ａ ｔａｒｉ 游戏上从原始视觉输人学习人类级别的控制策略．． 正如它的名字一样，ＤＱ ８＇根据状态中每一个可能动作的Ｑ 值Ｃ． 或回报） 选择动作５ 在０ 值估计足够准确的情况下； 可通过在每个时间步选择Ｑ 值最、大的动作获取皋优策略． 然而； 由？２ 可知，Ｄ ＱＮ■的输人由智能体遇到的４ 个状态组成， 这种从有裉状态学习的映射、本身也是有限的， 窗此， 它无：法：掌握那些：要求玩家记往比过去４ 个状态更远事件的游戏． 当使用ＤＱＮ 在＿分可藤马獻Ｉｆ 夫决策过表（Ｐａｒ ｔ ｉ ａｌ ｌ ｙＯｂ ｓｅｒｖａ ｂｌ ｅＭ ａｒ ｋｏ ｖ Ｄｅ ｅｉ ｓ ｉｏｎ Ｐ ｒｏｃｅｓ ｓ ， ＰＱＭＤＰ ｆ ２ ７］ 中學牙緯制策赂时， 由于无法结合过去的状态选择最优动作，Ｄ ＱＮ． 在ＰＯ ＭＤ Ｐ 环境申的表现很不稳定． 为此，Ｈ ａ ｕｓ ｋｎ ｅｃｈ ｔ 等人［ ２ ２ ］ 将具有记忆功能的ＬＳＴＭ 与ＤＱＮ 结合， 提出ＤＲ ＱＮ 模型＃其结构如Ｍ Ｓ 所示．Ｍ状态０ ０ ０卷积Ｉ 麵３０，全连接层珊ｔ卷积层ｉ图３ＤＲＱＮ機＿３ 综合预训练模型动作网络和时间相关性网络分别是执行绕路行为和构譙拓朴地图的甚础． 两个网络在機型结梅和训练方法上有稂多相似之处， 且都需裏在智能体学＇习目标导时行之前完成训练． 因此， 构建综含预训炼模型对两个网络同步迸行训练／下面将对两个网络和训练模親进行详细介绍，３ ． １ 动作网络动作网络被训练用于选取动作， 这些动作可帮助智能体完成导航节点之闻的移动， 进而实现利用规划路径寻找目标． 动作网络以观测对（．〇， ， ％ ） 为输人， 并以概率） ｅｉ ？ＡＩ 为输出， 导航节点之间的动作可根据该概率选取．在以图像作为输人进行？ 测的方法中， 使用巔为善遍的是帧间ＩＩ 方法＊ 这是一种作用于像素级别的预测隹樣， 其突：掛特点是＝实时性、但廣方渎輪集存觀淮确率有酿和籍受干抚两个问顧． 为提＿ 预测精度及摆脱环境干扰物的影响， 使用特征空间代替原始视觉感知作为．网絡输人． 由于动作网络是针对■智能体观测之间的动作做出预测， 因此可将网络编码的物体分为三类： ＣＷ １ 被：餐能体动作影响的物体；（ ２＞ 不受智能体动作影响， 但其：动作可影响智龍体的物体； （ ３ ） 与智能体动作鐵全：无：关的称体， 本文：致力于抅建一个対ａ （ ２ ） 敏感， ｉ 不受ａ）響响的特征空间， 并利用其完成动作预测＞相较人为设计的特征， 本文使用探度神经网：络（ ！＞魏Ｐ咖ｗ〇： ｒ ｋ ，：Ｄ顧續翁生珊辱征？ 雨作网络模型如图４ 所示， 它具有端到端架构， 在这种架构下特征不会与动作分离， 而是在一起相互学习？ 从前向部分图４ ： 动作： 轉翁＿５ ９ ８ 计導机攀报 ：＿１苹而确保特征不会对任何不能影响或不受智能体动作影响的物体进行编码． 动作网络模ａ中包含前向和反向两部分， 其中， 俞向部分是墓于Ｒｅ ｓｉｓｔ－ １ ８［ ２ Ｓ 的深度卷积编码器． ． 可将原始观测（ 朽．， ％ ） 编码为特征．＿嚢（：〇山ｆ￡句＞ ］ ； 戾向部分厕以费征向最作海输Ａ（弁计＃动作概拿３． ２ 时间相关性网络时间相关性网络的目标是通过时间距离寻我情暴记忆中的导航节点， 这对于避免存储宂余观测和梅建拓扑地囲至关裏栗． 同时， 本文的视觉感知任务（ 包括智能体定：位及目标检测） 也由对间相关性网络实现．在探索过程和随后的目标导向行为中， 智能体会多次遍历环：壎弁储存：大讒贽＃ 规测数据， 通过阅读有关哺乳动物空间认知方式的研究， 了解到哺乳动物可利用一个观测：特别是包含路标的观测， 映射一个邻近空间， 以此高效认知环境［ ２ ９ ］． 本文的拓扑地图构＇建方法也是受此启．蒙， 判断观测是费邻近賓通过面像特征相似度法实现， 但由予智能体视角的多变性， 导致该类方法并不能很好地显示观测是否邻近？ 因此， 为降低环境特征对算法性能的影响， 貪弃围像相似度方法， 茱用在情＃ 圮忆中挦到广泛研究的时间． 距离［２ １］ 判断观测是否邻近．从概念上讲， 时间相关性网络可被看成一个分类任务， 它错乎时间上邻近的观测较高＇的相似值＊ 而给予时间Ｊｌ 远离的观测较低时相似值． 由于观测序列的连续性， 较短的时间距离必然导致相邻的观测，且时间？距离只与观测之间的步长有关， 不受酉像特征影响． 时间相关性两雄模型如图５ 所示， 它包含嵌入和比较两部分： 嵌入部分用于抽象化视觉输人（ ０ ，＾Ｋ，其结构基于Ｒｅ满ｅｔ－ １ Ｓ ； 比较部分以特征部分图５ 时间相关：性歸翁＿作为输人并计箕时间相关系徽；其中， 故（ 〇， ［ 〇， １ ］ 为〇１ 和ｑ 之间的时间相关系数，Ｅ （ 〇， ） 为观测特征化过程， 丁Ｃ Ｃ？ 用于计算特征间的时间相关系数．３ ． ３ 训练模型虜３， １ 言斑ａ， ２ 节可知， 动作网攀和时间相算性：Ｍ絡有很多相似之处？ 第一， 两个网络都使用Ｓｉ ａ ｍ ｅ ｓｅ架构学习特征和进行预测， 其卷积部分全＾部基乎Ｒｓ §Ｎ ？ ｔ １ ８？ 粲二，篇然两个网络所使用的训练样本具有不同的形式． 但其原始数据来源于同一随机探索环镜的智能体？ 第三，哥个两络都以自． 腺督学习为训练方式，且使用相同训练方法和超参数？ 讀后， 对Ｒ－ｎ ｅｔ ｗ ｏ ｒ ｋ’不同部分鸯要性的研究更是？ 促使我们将两个两雄放在Ｍ — 模■ 中进行训练？ 考虑到特征对预测的泰响》舍弃时间相关性网络的嵌人部分， 保留动作两雄的前向部分， 并使用动作顼测误差构建特征，擦合预训练德型如？６ 所示．前向部分 ？００― 冗衫比较部分， ６ ，貧预到＿翅在使用该模型迸行训练时， 爵个网络的损失請数分别计算． ． 其中， 动作网络通过监督＃习进行训练， 并使用交叉熵作为损朱涵数． 训练． 祥本形式为（ Ｃ ％ ，讀作屯对盧：式中攀一个麗测ｐ； ．， 隹律本以情臺？忆… 和动作學歹ｇ＞： ｌ， 《 ２，？ ？＇＊Ｓ为鹿始数磨＜并使用６ 个时间歩分割而成； 网络训练被定义为学习函数０， １ Ｈｐ＝ Ｌ ｉ 〇ｉ ＊〇， ＋ ｋ  ｒｆｔｓ －Ｊ￡７）＿中４邊》， 的猶＿崔为动作魏测： 概率和〇， ＋ ｔ为相隔＆ 个时间步的两个观测．． 网络参数＆ 通过阮晓钢等： 基于目标导向行为和３ 期 空间 拓扑记 忆的 视觉导航方法 ５ ９ ９式（ ８ ） 进行优化：ｍｉ ｎｌ ｏ ｓ ｓ （ ａ ｛（ ８ ）°Ｌ其中，／咖用ｆ衡量预测动诈与实际■动作之问的差异． 通过以随机运动的智能体轨迹作为原始训练数据， 可习得有效的动作条件分布丹ａ ｜ 〇， ？ ｅ＿乂时间相关性网络的训练样本由两个观测和一个二迸制标签组成： 〈电说⑷ ＞．？ 数摒闻样来源于随机擇素．环墙的智能体． 如果两个观测值之间＂ 室多相隔々个时间步，则认为它们邻近（？％＝ １＊） ？ 负榉本由两个至少相隔ＩＷ４ 个时间步的观测组成， Ｍ 用乎扩太芷负样本间差＃ ？ 晕后， 利用逻辑Ｍ 妇作为损失函数并输出邻近概率．４ 导航方法智能体与新环境的．交互分为两个阶段： 在第一阶段内， 智能体随机採索环掾，并使用收集到的数据训练动作网络和时间相关性网络； 在第二阶段内， 智能体茼歩学习目标导向行为和构建空间拓扑地Ｓ ｓ并将二者结食用：于瓮成导航任夯－４． １ 目标导向行为Ｉ 标导． 向行为可眷作智能体在回食内学习最大化奖励策略时的副产物＜而具有深度强化学习梁构的系统更是在轶领域取得了巖先进的成果， 所以举文模型也以深度强化学习为基本导航捱梁， 并增加额外输人和辅助任务以提升学习效率．为使智能体更高效地学习目标导向行戈＾ 导航框架以ＤＲ Ｑ Ｎ＇ 模戴为塞础， 并针对本文任务做出以下调整； （ １ ） 由于？导航过程．中使用辅助任务提升智能体学习效。率， 多佘的卷狼层＾蹭加模型训练难度，祖此将ＤＲ Ｑ Ｎ 模塑中卷积爲由３ 层减少茧２ 篇；（ ２：） 为缓解辅助任务带来的额外计算压■力， 对训绦数据进行降维处理， 即将Ｄ ＲＱｊｆ 模型中第一层和第二层卷积输出的３ ２ 张和！Ｈ 张特１正图分别减少至１ ６ 张和３２ 张特征图． 改进后的导航模灌如图７ 所吉作！ＩＩ蠢ｚａ状态０卷积层２卷积层１图７＿本导霸：框黎ｇ值函数策略示， 其输人包括： 观测久中ｗ 和ｈ 为图像的宽度和高度上一时间步动作ｅ ｉ？ｗ 和奖励ｒ， 斤艮同时， 使用＇模型后端分离的线性层计箕策略；ｒ 和慑画数Ｖ．在训练方法上， 没有直接利用Ｄ Ｑ 興所依赖的动作值函数Ｑ （＞，， 《： 啲和均方误羞攀３ 导航， 而是使用Ｓ＃优勢 Ａｃｔｅｒ－＆ ｉｔｉｏ （ Ａ ｜Ｃ：Ｐ４］：算ｆｔ在雜１１状＿ ５ ，的精况下摩习策略ｒ ＵＵ ４ ） 和值函数且撼个训练过程中， 除仿真环＇境内可获得的奖励４苹果、目标） 外， 不增加动作或碰撞惩厨， 所用奖励涵数如式（ ９ ） 所示：Ｒ ｌ－Ｊ ＋ ｎｙ ＾ｔ＋ ＾ ＴＶ ｉＳ ｔ ＋ ｎ＋ ｌ ＞ｆ）￡ｆｌ ）ｉ ￣１其中， 为包含个时间獻的累：积折扣奖通， ， ｒ， ＋ ，为当前时间步所获奖励， Ｖ Ｇ ， ＋ ，， ＋ １ ， 的为环境终端网络值麗数Ｖ在损失函数中使甩熵Ｅ删化处罚代替均方误差：？， ５ ） ） ］ｆ ｌ Ｏ ）萁中＇， Ｉ４＊＝ 拉，＂＾＋ｒ ＊ 铲爲． ， ＃ ） ） 为策略Ｔ Ｔ 的熵？ 《为熵系数、在训练过程中， 多个智能体与多个环境并行变互？ 尽管后续实验怔明该模塑可从原始视觉输人中莩习目标导苘？？ 为＜但部分数据显示智能体＝ 学■习效率与拓扑地Ｓ 构建速度密切相关？ 也就是说，导航策略越快趋于稳楚地图就越快覆盖整个空间． 因此， 为提裔智能体学习敏攀和减少构建地图所需＇数据量， 在模型中结合一个名为碰撞预测的辅助任务， 其实现方法如图８ 所示．＿ ａ 織鑛爾测－權：赴趣雜輯其中， 碰撞概率由Ｌ Ｓ ＴＭ Ｍ 的率爵感知器输电５ 预测误差１＾ 通过实标和预测情况比较所得， 并結合权重应用于损失函数；＋ ｔ， ＋ §Ｌ，ｍ？，， ＃ ） ］ ｔ ｉ ｌ ）其中， Ｌ？ 、Ｕ 及Ｈ 计算方法■ 式（ １ 〇） 相同． 不难？发６ ０ ０ 计導机攀报 ：＿１苹现， 本文模型中使用的辅助任务实际上利用了空间深度信息－ 但与大多数算法不同， 我们没有将深度图直接作齿模型输人以寻求更努效果， 而是以损失函数的形式呈现环境锫构信息Ｓ 弁利用＇其提供的密集训练信号加速引导学。习． 此外． 碰揸预测为在钱（ 对于当前帧） 辅助任务ｓ 不依赖任何形式的回放机制．４． ２空间拓扑记忆＃ 扑地？是一种记忆空间绾构的方法＊ 文中使用导航节点对其进行填充， 在每一银索回会错東后，结合时间栢关性网络和智能体观测序列对地？ 进行更新＊ 从而实现利甩情景记忆递増地描述状态空间．构建拓扑地图包括两个龄段：（ １） 初始阶段． 此时模：型内没有任何有关环境的记忆， 输人的观测序列糌作为智能体对环境的第一认知， 因此薷筒化序列本身． 假设智能体在环境中运行了个时间步掙到憶焉：记忆（Ａ ， 。２，？ ， 电？ 以首次倚化为例， 通过时间相关性网络计算序列内第一个观测込与其他观测Ａ 的时间相关系数：ｔ＾Ｋ〇％ ＾ ） ＝ＴＣｉＭＵｉ） ． ＥＵｄ ）（ １ ２ ）其中Ａ１ 为第一次简化的时间相关系数二２ ，ｔ …，Ｔ． 根据阈值故．， 省略与。： 邻近的观测ｓ 简化示意图如图９ 所承． 这是简化的第一次迭代； 观测〇１ 将作为第一个导航节点蚴储存在拓扑地图中＊ 然后使用随后的观测和周样的方法持续简化序列直到最后一个肅测．简化过程按情景记忆内观测的先后顺序进括，所以地函中的导航节点递增储存且在理论上连通．．但在规划路径財， 露考虑动作网络的预测能力， 因此， 使用式ａ ｓ ） 检＊ 导航节点是否可达：％＝Ｖ ｜ ｉ ｊ ｜ ＾Ｌｋ（ １ ３． ）其中雨为辱撤节点苘達接关系彳戰翁叛』为地圏中馨航节点成，， ６Ｗ． ５ ， 纪Ｊ 为可＿性阈傷ｓｉ 和ｉ 为导撤节点脚标， 式中包含时间距离觀空询关系两种判别方法．（ ２ ） 扩张阶庚？ 此財模１１ 中已包含部分环境拓扑地菌， 智能体需ａ过集成每个观测序列不断扩充地＿ 因此， 当俞情景记：忆ｕ：１， ％ ，…， 〇 ＊ ｔ 中的每一个观测都需要与地图中的每一个导航节点迸行比较以得到它们之间的时间相关系数：ｔｃｃＣ 〇ｉ ？ ｗｘ）—ＴＣ ｛ Ｅ ｛ 〇ｉ）＾ Ｅ Ｃ ｖｕ＾） ）（ １ ４ ）其中渔当前情景记忆与拓扑地图间的时间相关系数，〇，Ｕ ＝１ ，２，…． Ｔ） 为当前序列中的观测，？％〇＝１ ２ ：．？  ？ ？？ ＊〇，为翁扑地图中＿ 等航管蟲？ 如果当前情景记．忆中的观测全＿ 与拓扑地图邻近＊ 则不霈要更新地图． 相反， 如果在当前序列中的观测， 即使只有一个观测不能使用拓扑地＿ 进行映射．． 茚哉该现测将作为新的导航节点添加到地Ｍ 中， 此时ｉＪＳ要： 创逾与霜对處■的连接：＊ＴＣ＇ｆＥ ｛ 〇ｉ＾ ） ． Ｅ （ｗ， ） ） ＾ｉｃｔ，二 ＜ＣＩＳ）Ｌｂ ，Ｓ中冲．－： 为饵前一时何步的观测．＊  〇？ ｅ ］＞，了］ ） 为＿前臀量Ｓ 忆中靈蒙规盼导雖，處［１ ＊ｗ ］ ）为拓扑地图＇中的导航节点为邻近阈值，４ ． ３ 导航流程导航任务以回合制进行， 每个回合持续固定的时间步或直到找到目标为止＊ 在回合内 ＞智能体起始位置爾定， 通过目标导向行为或规划的路径完成导航任餐由于控制策略在无障碍环境中获得， 因■此当不＿定■环境中是否存在堵寨时＊ 可使用＇具有目标导向行为的智能体进行试探性导航． 如果智能体在一定时间步内到达目标， 则？明环境中没有堵愈导航任务可通过该策略歲成． 相反． 如果智能体在一定时间步内无法接触目标， 则证明环境中￥隹堵塞， 单纯的目ｆｅ＃ 向行为Ｓ 东再适用＊ 导航任务看结合拓扑地围和路径规划，完成＿在重新规划路径之前， 需：确定智能体停滞和目标所屬导航节点， 并将它们作为路径的起点和终点．该视■ 虜知过霉时间柑关牲： ＿ ：＿实现： 对午瞒认智能体停滞位置， 可使用当前观测ｉｆ拓扑地酉内导航节点迸行比较５ 并根据时间相关系数＿ 定智能体所扁导航节点； 对于目标检测， 本文仿真环境中的目标有其面定的形状和颜色． 并可在学： 习目标导向行为中收集获得， 利用该業图片和时间相关性网络可定位篇标位養＊ 定位方法如圈１ ０ 所示， 图中黑色圓ｊＵＬ ｉ－ Ｂｔ Ｆ导航节点缓存图１ ０ 定位方法Ｋ娆爾等： 基ｆ＿ 顯等向行为３ 期 ■空 间第朴记忆的班鹙导航 操 ６ ０ １形分别代表：当前目标和智能体所属导航节点， 黑色线．段代表堵寨位置》在得到起：始和目标．位：置后， 根据迪杰斯特拉算：法０＾ 寻戏导航节点Ｗ 和Ｗ之间的最优路径ｔ（ ｉ ｔ ｖ＇ｉ ？？ ？ ＊；  １＊＾ ） ？Ｍ ｐ—ｉ ＊？？１＊ Ｗｎ—Ｓ＊（ Ｌ§：）其半，： ｗ° 为起枱节＇虑ｖ ｆ＃ 为■隱标节点？ 然： 而从雇Ｉｄ可以看由于拓扑地图是在全连通环境下构建的．规划的路控： Ｃ黑色路径＞可能包含跨越堵蠢的逢揍，而这在实际＃ 航中并：不可行． 类似的不可甩洚接应被发现， 并避免在接下来的路径规划中使用？ 因此，一旦发现智能体长时间停留在一个位置， 就证明路＿．中包會跨越增塞的连接， 此时Ｌ歡逢翁的路ｆｔ代价设置为无穷大， 并使用修正的拓扑地图重新规划路释■ 由于＃航节虑之间相式连接道环境中的堵塞可能不止一处， 所以路径规划是一个迭代调整的过程， 整个导航流程如图＇ｌ ｌ 所示．图１ １ 导顧：瀵義５ 实验实翁中通过■處隹导航任＃ 评估本文携遒＊＃与祖关基线方法进行比较＜ 学习过程主要以奖励／时间（ ｒ ｅ？社ｄ ／画的形式：墨现， 图中：爵间点对愈的奖励值为一小时内（ 虚．拟时间．）潛能体所获奖励与龜成國合像鲁３Ｆ均檀；ｆ 智會体■每个厲＂＃ 内执行４５ ００ 參动作．Ｓ． １ 实验设置ｉ ．１． １ 宴緣苹脅实验在３Ｃ 仿离：环境．Ｄ Ｍ ｌａ ｂ 中进行［３ ２］， 平台运行示意图如图１ ２ 所示． 在该环境内＜ 智能体执行离散动作：， 可实现小雜围转向． 加殖前迸遽＿ 或转弯．興廟由餐篚体在會中接目餐眞每＊ 在接：触自斿， 智能体将被重置到起始偉聋＊ 每个回合都提供充足的时间步， 保证智能可多次到达目标▲ 仿真环境以６ ０ 帧／秒的速度运行， 并在环境，中放置奖励刺激探索行为， 其中，苹果奖励为＋ １ ， 目标奖励为＋ １ ０ ．（ ａ） 前进（ ｂ ） 苹果（ Ｃ ） 目标（ ｄ） 门图１ ２ 像霧尋壌Ｓ，Ｌ２ 基錢方法在学习目标导向行为■实验中． 使用在深度强化孥习领域具有代表性的前馈（ Ｆ ｅ ｅｄＦ ｏｒ ｗａ ｒ ｄ ， ＦＦ ｝［ １ ６ ］機型和绩合长短＇财诏忆网铬＜ ＬＳＴＭ Ｊｉ＞ ］ 的機観与本文犧龜（ Ｎ ａ ｖｉｇ ａｔｉ ｏｎ ＋ Ｃｂ ｌ ｌ ｉ ｓ ｉ？１１ Ｐｒ ｅｄｉ ｃ ｔ ｉＱ．ｎ．， Ｎａ ｖ ＋Ｇｍ迸行比较． 其中， ＦＦ 檫型由３ 肩卷积和１ 层全连接构成， 每一层后都配有Ｒｅ Ｌ Ｕ 非线性单元， 策略和值函数由单轴的输出层计箅． ＬＳ？ 模塑结构与ＦＦ 模型类似， 只是在全连接棲后增加１ ｇＬＳＴＭ，此外， 没有结合碰揸预测的本文方法ｆＮａ ｙ ） 也在迷宫中迸行测试．在＃有动态堵搴猶环＃ 中进行测试时， 共有三种方法用来验怔拓扑地图在擦塑中的作用， 其中＾第一种Ｒ使用学习到的导航策略￡沁〃＋ ０？ ） 在环境寻找目标， 第二种将目标导向行为与空间拓扑地图相爾合（ Ｎ４ ｙ＋Ｃ：Ｐ＋ Ｓｐ祕ｔＴ Ｔ ｏ ｐｏ ｌ ｏｇｉ ｃ ｆｔ ｌＷ歸Ｎ‘ ｖ＋ＣＰ ＋Ｓ ＴＭ ） 甩于叢成导航任务， 第三种是基：于智能体■翁标． 置（ ？！＇：的鑛抚：路备（ Ｏ ｐｔ ｉｍｄ Ｐａｔ ｈ， ＯＰ ）方法由于使甩了环德特权ｉｆ 息， 这种方法可将环境直接离散化为二维地图从而选择最优路径．１？  １ ． ３ 愼纖禽规细，由圏４ 可知， 本文导航模型与Ｆ Ｆ 和Ｌ ＳＴ Ｍ 模型结构不同？ 它是由２ 层＃积、１ 层全连接和１ 层ＬＳＴＭ 组成其中， 第一层卷积核尺寸为８／８， 跨度为４ ／ ４ ， 输出１ ６ 张特征圈＊ 第二层卷积核尺寸为士／ ４ ， 跨度为２ ／ ２ ， 输出３ ２ 张特征图； 全连接鳥具６ ０ ２ 计導机攀报 ：＿１苹有２ ５５ 个神经元４ 前三层神经网络都配有Ｒ ｅ Ｌ Ｕ 非线性单元． 在得到卷轵编码器输出后， 将其与智能体上一时间步的动作和奖励串联作为Ｌ 承ＣＭ 层的输人， ＬＳ．．Ｔ Ｍ 层与全连接层具有相同神经元数且配有遗忘单元＿ ＿ 策赂和ｆｔ 函数由Ｌ ＳＸＭ 层输出线性预测所得Ｊ並瘇概率则由单层感知器预测所得．综合预谓练獏灌的输人为Ｗ 个观测， 两者都要Ｍ过Ｒ ｅｓＮｅ ｔ－１ ８ 编码器处埋并生成Ｓ １ ２ 维特征向量？ 在摸遭内部， 动作网络首先将两个观测的特征串联， 然巵结合２ 层全连接《每．层具有２ 部个神■元）和Ｓ ｏｆｔｍ ａ ｘ 层输出动作概率？ 而时间相关牲网络则是分别对两个观测的特征进行处理， 并使租４ｇ：金．连接Ｃ 每层ｆｔ有５ １ ２ 个神经元） 计算两个观测是否邻近？ 除输出层外， 每一肩神经网络后？ 都配有Ｒ ｅＬ Ｕ非钱性单元，１１ ． ４ 超参魏为展现各模型莅视觉丰■窵环境中的导航性能，不对智能体观测进行黑白化预处連， 而是直接以Ｓ ＜ ＸＭ ＲＧＢ 樹像作为模型输入？ 与之前方法［ １ ６如相比， 彩色图像可提供更多坏攙詹息， 但也在一定餐度上增加了模型训练难度？ 学３ 过程中， 借蓥文献〔１４ ］中所介绍的Ａ ３ Ｃ 范例引导强化学习， 使用８ 线程及投有动纛和方差干预的ＲＭＳ Ｐｒ ｏ ｐ 算法训练神经网络， 毎个动作依然重复４ 次？ 孥习攀从［ １ Ｘ １ ０４，５ Ｘ １ ０３］ 盧， 间＿ 掛对数均勻分布来样， 熵代价赢［ ５ Ｘ １ ０＾Ｓ １ Ｚ １ ０２］ 艮间内按对数均匀分布来祥，杈值从［ １／ １ ０—２， １ Ｚ１ ０—１］ 区间内按对数均匀分布采样．纏＃猜训纖： 模邀的输人是分辨率为１抑， １ ２０像章的两个Ｒ ＧＢ 厨像， 该训练数据通过一个随机探索环境的智能体产生． 训练过程中使用学习率Ａ＝０ ． ００ ０ １ 的Ａ ｄａｍ 优化器Ｍ 进行学习， 近期数据储存ｔ ｉｍｅ／ｈ（ Ｘ ｌ 〇６）（ ａ ） 不同碰撞阈值实验结果＿容量为ｂ 簡■ 冲厲ｓ 每：次从■ 冲隱中随机采样ｍ 对观测蜜新网珞参数．５ ． ２ 参数选择实验本文致力于研究更加通用的导航策略？ 在测试模麵性能之前＊轍親先设定一些参數？ 这些参数主薺涉及两方霄：一是辅助任务中的碰瘇阈值Ｉ 另一个是动作网条和时间相关性网络中的训练细节， 这些参数将在如圈１ ３ 所示的迷宫中进行定性确认．Ｂ １ ３＿顯＿Ｍ． １＿ ＿ ＇僂翁验在本文导航模型中， 使用一种名为碰撞预测的辅助任务＊ 而碰撞貴生与否取决于智能体与障碍物之间的最小阻离． 因此． 需确定不同约束值对导航性能的影响． 同时对利用不词类＿ 深度信息的导航方法进行比较在测试期间， Ｒ 执行Ｓ 标导向行为， 不．构建环：境地菌《实验结果如图１４ 所示 ＜ 数据为？ ５ 个具有最佳性能的智能体平均所得． 从图１ ４ （ ａ） 可以看出， 当阈值＿［〇： ， ３］ 内采样时， 替能体探參繳率？和学习酸藥各本枏同． 如果阈植嫌置为〇， 也就是ｉ兑，．只有在智能体撞到障碍物后才认为碰瘇发生ｓ ：会导致探索效率低下． 相反， 如果阈值较大智能体则会过早执行避障动作， ｉｉ而间接干扰导航策略， 导致需要更多的时间步才能到达目标？ ａ 阈值为１ 或２ 时．智能体不仅可有效躲避障碍物， 还能保待高＇数的目标导向行为？ 然而考虑到策略稳定性间题５ 碰撞阈值在本文中设耸为１ ．， １ ４ 碰屢＿＿＿舉Ｋ娆爾等： 基ｆ＿ 顯等向行为議 期 ■空 间第朴记忆的班鹙导航 操 ６ ０ ３从画１ ４《ｂ ） 可以看出＊ 当智能体直接将探度信息作为碰撞判别依据时， 在探索环境过程中可有效躲避障碍物， 钽此时碰撞预测误差仅甩于动作惩罚．对导航策略没有实质性的帮助． 通过将深度图作为输人＾■智能体同禪可学３ 到控制策略， 弁使用其快速遍历环境， 但这种方法忽略了环境的颜色特征， 使智能体无法进一步理解状套空间． 而对于Ｎａｖ ＋ Ｃ Ｐ 模Ｓｂ 虽然其探索效率不如将猓度图作为输人的方法，钽辅助任务的使用给予智能体更多的环境锗构信息， 从而实现更高效的目标导向行为．Ｓ － ２ ． ２ 分割阈值实验在刺练时间相关性网络过程中＊ 需要时间步间隔点分割瓦负祥本， 动作网络的训练样本同样使用阈值６ 进行区分． 由于网络性能与々值的选取密切相关， 现将不疴分割阈值对动作网络、时间相关性网络和导航节点所占比例的影响总结为表１ ， 表中数据为５ 个具有最优超参数的智能体平均所锝． 由表１坷知， 隨着ｉ 的增加， 动作网络性能逐渐下降＊ 尤：真是在盾＿预＿ 精度下降明显． 时间相关性网络训练效巣与正负祥本间时養异成反比， 在起始阶段．由于正负样本几乎邻近＊ 敌时间相关性网络的预测准确率较低， 而随着々值的増加＿＊其性能茼步提升．但当盾痛于神经＿ 络本身的限制， 时间相关性两络的预测能力再次下降． 此夕卜＊ 蛊然测试环境特征较为单一， 但时间相关性网络准确率依然可达到９０％ 以上＿ 明其姓能并不依赖于环境特征？ 导航首京所占比例在理论上与＆ 值成正比， 即祖隔的时间步越大， 导航节点所占比例越低， 在实验数据中也体现出相似规律． 但＿Ｔ 时闻相关性柯络影响ｆ 隹Ａ ＞ ５ 后导航节京比例有所增加？ 南亍財问相笑牲网络为本太视養虜知養现方式， 爹敦智能体定位和目标检测， 其预测精度对导航性能至关重要． ＠ 此， 本文设定阈值々＝ ４ ， 此时时闻相关性网络准确率达到９ Ｘ ５ ６ ％ 满足视觉导航要求， 且动作网络预测精度也在９ ０％ 以上＊ 导航节点比例也处于較低水平．１２｜４５７表１ 分割阈值实验结果动作网络￣时间翁关性网络／ ．％＇￣￣导航节点比稠／ 难５ ． ２ ． ３ 环場交宜置实猶在整个学习过■ 中， 训练样举由两部分组成： 预训练和在线学习． Ｉ 标导询行为通过在线学寻完戚＞因此不必关心＃本数量问题． 而＇动作网络和时间相关性网络则需針对特定环境进行训练为节曹Ｍ练时间＾有泌要确定听需环境交苴暈． 训练数据量对网络性能影响如表２ 所示＊奢中数据为３ 个具有最优超参数的智能体平均所得． 由表２ 可知， 随着交’互量的增加， 动怍阿络预测准确性特键； 上升？，但增长比率逐浙下择；財间相关性网络的性能也随训练数据的增加而提高， 伹驾网络处于过拟合状态时、预测准确率会有所下降． 经过综合考虑？ 将顼训练部分与环境交互鏟饿置；＆２ ．５ Ｍ ， 此时两个网．络预测精度都达到９ ０％ 以上， 可满足算法要求，表２ 环境交互量实验结果交互量动作网ｌｉＴＴ ｉｉ时间相关性网络／ ．％＇￣￥〇〇ＫＳ ３ ． ５ ５５ ０ ０ Ｋ魏魏１ 祕９ ２ ．７ ５２，５ ！ ？９ ３ ． ８ ３５ 祕９ ４．１ ４５ ． ３ 静态迷宫实验本文所用测试坏漬如：圈： １Ｓ 所浪：雜中， Ｍａ ｚｅ － １为督规迷官， 其内部包含形状＃异的障碍物和多条通路；Ｍａｚ ｅ－２ 设计，歡感来源于Ｔ 型迷宫［３ ５］， 它具有对＿ 贈空间结构， 目極位于４ 个翁支贈導头ｒＭａ ２ｅ ３最初用宁验证认知地图理论， 其环境， 由３ 条不同长麗的逋．路組成． 截Ｍａ．？ｒ ｌ 和Ｍａ ？ ｅ － ３ 中， 目标和＇ 水皋位Ｍ 挺定， 而智能体起靖位餐在回合间随机变化？但由于Ｍａ ｚｅｄ 空向结构的特殊性， 其环境设覃方式与前两者相反， 即智能体起始位置固定， 目标布回合间随机重置＞ 此类环境鼓励智能体学习一种探索－利用策略． § Ｐ 在探索迷宫过程中记忆目标位萱， 以便于在每次童查后更快速地找到目标．１？＾ ［ｒｎｒ＾Ｊ乩［Ｃ运ａ ｒｉＪＬｎ： Ｍｉ（ ａ ） Ｍａｚ ｅ－１（ ｂ）  Ｍａ ｚｅ－２（ ｃ ） Ｍａｚｅ－３图１ ５ 静蠢迷宫顧试濯ｉ在不同测＇试环境中＃标导向行为學巧曲线（ 数据齿５ 个具有最隹性能的智能体平均所得＇） 展现出一些特殊的结果． 首先＊ 由宁单一观测很难决定全辰最优动作、智能体往往需要记．往过去的状态才能维持＃航功能， 獄如＿１ ５ ＜ ａ Ｘ：所薪＞ ＦＦ 犠型隹： Ｍａ獻１６ ０ ４ 计導机攀报 ：＿１苹中具有良好的动作规划能力＞ 表明可能存在不涉及记忆的目标导向行为＞ 即＊编码器控？制的＇纯反，应式行齿． 然后， Ａ 图Ｗ（ 吣可知， 在明显需要＇记忆功能的Ｍａ ｚ６ ２ 中， Ｌ Ｓ ＴＭ 模型所莸奖励是ＦＦ 模型的近两倍． 这充分说明具有记忆功能的智能体可在探索环境过程中编码目标位置＊ 并在随后的时间步内加以利用． 单钝依赖反ｉｔ 式行为的智能体也可找到目标， 但无法标记目标位置进多次使用， 最后， 图１ ６ （ ｅ）清晰地显示出增加速度和动作作齿额外输人以及使用碰嬙预测作为辅助任务的影响． 虽然ＬＳＴＭ 模型在所＿奖励上优于Ｆ Ｆ 模型， 但莫训练速度仍然相对较慢． 这主要甚由传统强化学习ｔ 法导致， 在增加碰撞预测后Ｊ？ａｖ＋ Ｃ Ｐ 模型实现在所有环揸中加速争习． 此外， 利用额外的输人和深度信息＿， 智能体賓更好地认知环境， 同时获得更高效的导航策略．在环境适应性方面， 通过对智能体观测迸行黑；白化预处理，Ｄ Ｑ Ｈ 已被证明可在多种Ａｔ ａ ｒ ｉ 游戏中学习人类级别的控制策略． 展现出良好的环境适应性． 而本文以ＲＧ Ｂ 图像作为环境感知信息， 为各模親学习控制策略提供了丰富的环璜视觉信息， 袒这也对各模型的适虚能力提也挑战． 由圈１ ６ 可知． Ｆ Ｆ及ＬＳＴ Ｍ 模猶可通过ＲＧ Ｂ 图像学巧目标导向行为， 特别是具有记忆功能的１＾１１尬模＿ ， 在３ 个迷宫中均具有良好的学习能力． 但无论蔫在学习效率上还是在所象奖励上， ＦＦ 和Ｌ Ｓ ＴＭ 樓型与本文模型迅存在一定差距， 表明．Ｎ＿＋ ＣＰ 模塑：更适用〒色彩环境， 且可吏禽效地将视觉信息转化为算： 法性能上的提升．（ ａ ） Ｍａ ｚｅ－１ 学习曲线图１ ６导航奖励时间（ ｒ ｅｗａ ｒｄ ／ ｔ ｉｍｅ ） 图表ｓ 总结了各摟型在不同环境内的性能参数及构建地图所需时间， 表中数据为５ 个具有最优超参数的智能体平均所得？ 其中， 学习曲线下面轵（ Ａ ｎａＩ讀Ｍｉｉ ｎ ｇＣＪ ｕ ｌ？ 劝， Ａ Ｕ Ｃ） 是一■： 种比糧攀习缴率的方法； 学《曲线覆盖的面积越大＊表明学习＇效率越离－ 构建地图所需时间是通过將＃ 习过程中构建的拓扑地＿与预采集的整个环境特征进行比较．． 当覆＇盖菹＿ 超过一定值后， 则认为地图＇构建完成， 并将此时的训练数据量紀为地图＆ 成时间． 由表３ 可知， 构建拓扑地图所用时间与智能体学习效率密切相关，环蠢Ｍａｚｅ － １Ｍａｚｅ－２Ｍａｚｅ － ３表３ 静态迷宫实验结果模型 ＡＵ Ｃ 奖励地图完成时间（ ｈｏ ｕ ｒ ／ ｌ ｅ ６ ）ＦＦＬＳＴＭＮａ ｖＮａ ｖ＋ ＣＰ ６ ３ ４５２ ４６ ３ １ ７ＦＦＬＳＴＭＮａ ｖＮａ ｖ＋ ＣＰ ４６ ６ ５ ２ ２ＦＦＬＳＴＭＮａ ｖＮａ ｖ＋ ＣＰ ８ ０ ．４４７．５ ３ ０ ４学习翁钱覆盖爾积越大， 构建地？ 所用时间越短． 因此， ＿ 尽可能地提高智能体学习效率． ＦＦ 和ＬＳＴＭ模型以图像作为输人， Ｎ ａ ｖ 模型在此基础上增加了动作和奖励， 但这都不足以克服传统强化学习的影响． 而与？碰撞预测相结合的Ｎ ａ ｖ＋ ＣＰ 模型则利用了学习过程中＇的额外损失．． 通过这些包含环埯结构信息． 的训练信号加速弓丨＃ 学习， 同时减少构建拓扑地图所数据量．５． ４ 动态堵塞实验在上一章节中，：Ｂ获得全连通环境下的目标导向行为和拓扑地图接下来的实验将测试该模＿ 在包含动态堵塞环境中的性能． 测试所甩坏境与Ｍ ａｗ－ ３相Ｉｔ， 但在通路中增加堵寒堵馨（ Ｉ置如图１ ？ 所示．（ ａ ） 无堵塞（ ｂ ） Ａ 处堵塞（ ｃ ） Ｂ处堵塞（ ｄ）  ＡＢ处堵塞图Ｉｆ 动．讀奪厕试环樣Ｋ娆爾等： 基ｆ＿ 顯等向行为議 期 ■空 间第朴记忆的班鹙导航 操 ６ ０ ５在实验过程中，．首先固定：智能体起始位置＊ 然后使用。在Ｍ ａｚ ｅ－３ 中训爾完成的智能体依次进行无堵塞、Ａ处堵塞、Ｂ 处堵寒＿、ＡＢ 处同时堵寒的实验？未樓用：及使用拓扑地图导航实蠢＿果如Ｂｉ ｓ所示？ 数据为５ 个具有最佳性能的昝能体平均所得，＿：親截爾数／时间步（ 雜丨ＵＢｒｆｕ ｎｅ ｔ ｉ ｃｍ／ ｓ ｔｔ ｐ： ；＊ 厲＿ 承，图中虚钱为＇鐘标． 如靡Ｉ Ｓ Ｃ ａｌ、（ Ｗ 所示， 在没有堵塞的情况卞， 拓扑地图的存在与否并不影响樓＿导航性能． 两种方法都使用中问路径完成导航任务， 它们的值函数变化趋势相似， 且均到达目标４ 次， 在接下奉餘实ＩＩ 中．， 两种方法的＿＃＿ 加谢显， 丛魔１ ８Ｃ： ？＇） 、（ｄ ） 可知， Ｍａｖ ＋ ＣＰ 襟潘ｆｔＡ 处停留， 且不能续过堵麗， 导致智能体无法到达Ｓ标和值涵：数持续下降■ Ｎ ａ ｖ＋ ＣＰ＋ Ｓ ＴＭ 繼窥：词样逍剷堵屬Ａ ， 怛譬前一种方法不同， 它错合拓扑地图利用＇左侧路径到达目标， 且由于左侧路径比中间路径长， 所以智能体到达目标的频率比在无堵寨环．境序低． 对于相对较远的堵塞； 从图１ ８ （ 、（￡） 可以看出，！％ｖ ＋ＣＰ 模＿ 仍然使用中间路径来引导目．标导向行为， 导致智能体＃質在：６ 处， 而Ｎ ａｒ＋ ＣＰ ＋ ｍＭ： 镇屬卿通过重蒙规划路径．到达＿ 标＿ 由于堵塞Ｂ 的特殊位置＊ 在使用拓扑地图规划路径时， 智能体并投肴试顧使用左侧路径錢过堵塞而是直接使用右侧路径． 同时， 由ｆ右侧通路是三者中鼋长的路径＞ 智能体需要更多德动作才能到达■霖ｆ ． 敦＿儀議＿ 的次幾进一步减少， 最后， 从图１ ８ （ ｇ ） 、＜上） 可知， 即使在包含两个堵塞的环境中Ｎａ ｖ＋ ＣＰ ＋ｇＴ Ｍ■ 型仍然可以找到一条可行的路径到达目标， 但探索过程较：为复杂， 具体来说？ 智能体首先会停俚在堵？Ａ 处，然后使用左侧路径绕过堵塞Ａ 弁遇到堵最后通过右侧路径绕过堵麗Ｂ 到达目标， 这也是智能体在５ ００ 〇个財Ｍ步内只到达目禄一次的原：面． ＃于＋ ＣＰ 模型， 与第二次实验类似， 智能体会始终停留顧堵暮Ａ 处．１ ６ｇ ｌ４Ｉ ｌ２０（ ａ ） Ｎａｖ＋ＣＰ（无堵塞）（ ｂ ） Ｎａ ｖ＋ＣＰ＋ＳＴＭ（无堵塞）（ ｃ ）  Ｎａｖ＋ＣＰ（Ａ处堵塞）（ｄ） Ｎａ ｖ＋ＣＰ＋ＳＴＭ（Ａ处堵塞）图１ ８值函数时间步（ ｖａ ｌ ｕ ｅ － ｆｕ ｎｃ ｔｉ ｏｎ ／ ｓ ｔ ｅ ｐ ） 图６ ０ ６ 计算机学报 ２ ０ ２ １年为更好展现拓扑地图在模型中的作用， 在实验过程中收集了更为详细的数据并总结为表４ ， 表中数据为５ 个具有最优超参数的智能体平均所得． 其中， 包括智能体在５ ０ ０ ０ 个时间步内到达目标的次数和所获奖励， 延迟为智能体首次找到目标与随后找到目标所用时间步之比． 从表４ 可以看出， 随着堵塞位置从Ａ 移动到Ｂ 及堵塞数量的增加， Ｎ ａ ｖ ＋ＣＰ＋Ｓ Ｔ Ｍ 模型需要更多的时间步才能到达目标， 导致智能体到达目标次数和所获奖励的减少． 但无论堵塞的位置和数量如何变化， 集成拓扑地图的智能体始终可以找到目标． 而对于Ｎ ａ ｖ＋ ＣＰ 模型， 由于不能动态规划路径，一旦环境中出现堵塞， 智能体将长时间停滞在堵塞位置． 这进一步证明拓扑地图可作为路径规划模块集成到模型中， 并用于引导动态环境下的绕路行为．表４ 动态堵塞实验结果环境 模型 目标次数 奖励 延迟Ｎ ａ ｖ ＋ ＣＰ ４ ． ６ ４ ８ ． ２ ０ ． ９ ９无堵塞 Ｎａ ｖ ＋ ＣＰ ＋ Ｓ ＴＭ ４ ． ５ ４ ７ ． ５ １ ． ０ ２ＯＰ ５ ． ２ ５ ４ ． ３ １ ． ０ １Ｎ ａ ｖ ＋ ＣＰ ０ ３ ． ３ ＯＯＡ 处堵塞 Ｎａ ｖ ＋ ＣＰ ＋ Ｓ ＴＭ ３ ． １ ３ ２ ． ４ １ ． ２ １ＯＰ ３ ． ７ ３ ９ ． ２ ０ ． ９ ９Ｎ ａ ｖ ＋ ＣＰ ０ ５．６ ＯＯＢ 处堵塞 Ｎａ ｖ ＋ ＣＰ ＋ Ｓ ＴＭ ２ ． １ ２ ３ ． ４ １ ． １ ６ＯＰ ２ ． ４ ２ ７ ．１ １ ． ０ ２Ｎ ａ ｖ ＋ ＣＰ ０ ３ ． ４ ＯＯＡＢ 处堵塞 Ｎａ ｖ ＋ ＣＰ ＋ Ｓ ＴＭ １ ． ７ ２ １ ． ６ １ ． ３ ８ＯＰ ２ ． ５ ２ ７ ． ８ １ ． ０ １６ 结论针对动态环境中的导航问题， 本文提出一种可同步学习目标导向行为和构建空间拓扑地图的视觉导航方法． 为在具有复杂结构且丰富视觉的状态空间中学习目标驱动的导航策略， 以深度强化学习为基本框架， 并在模型中结合碰撞预测提供密集训练信号， 以实现加速学习和提升导航性能． 对于编码环境， 利用图像之间的时间相关性祛除冗余观测和寻找导航节点， 并通过集成情景记忆描述环境结构． 实验结果表明， 本文方法可从原始传感器输人中学习目标导向行为， 同时构建空间拓扑地图， 即使在包含动态堵塞的环境中也可实现高效导航． 在接下来的研究中， 我们将进一步优化本文模型， 并力求在真实环境中验证其性能． 除此之外， 也将基于本文模型对非常大或终身学习场景中的导航方法进行深人探讨．参考文献［ １ ］Ｔ ｏ ｍｍａ ｓ ｉ Ｌ ， Ｃｈ ｉａｎ ｄ ｅ ｔ ｔｉＣ ？ Ｐ ｅ ｃ ｃ ｈ ｉａＴ ，ｅｔ  ａｌ ． Ｆ ｒ ｏ ｍ ｎ ａｔ ｕ ｒ ａｌｇｅ ｏ ｍｅ ｔｒｙｔ ｏ ｓ ｐ ａｔ ｉ ａ ｌ ｃ ｏｇｎ ｉ ｔ ｉ ｏ ｎ ．Ｎ ｅ ｕ ｒ ｏ ｓ ｃ ｉ ｅｎ ｃ ｅ ＆－ Ｂ ｉ ｏ ｂ ｅ ｈ ａ ｖｉ ｏ ｒ ａｌＲｅｖ ｉ ｅ ｗ ｓ ， ２ ０ １ ２ ， ３ ６ （ ２ ） ： ７ ９ ９ ８ ２ ４［ ２ ］Ｍｏ ｓ ｅｒ ＥＩ ， Ｋ ｒｏ ｐＬ ｆＥ， Ｍｏ ｓ ｅ ｒＭ Ｂ ．Ｐ ｌａ ｃ ｅ ｃ ｅｌ ｌ ｓ ， ｇｒ ｉ ｄ ｃ ｅｌ ｌ ｓ ，ａｎ ｄｔ ｈ ｅｂ ｒ ａｉｎ ’ｓ ｓ ｐａｔｉａｌｒ ｅｐｒ ｅ ｓ ｅ ｎ ｔａ ｔｉ ｏ ｎｓ ｙ ｓ ｔ ｅｍ ．Ａｎ ｎ ｕ ａｌＲｅｖ ｉ ｅ ｗ ｏ ｆ Ｎ ｅｕ ｒ ｏ ｓ ｃ ｉ ｅｎ ｃ ｅ ， ２ ０ ０ ８ ， ３ １： ６ ９ ８ ９［ ３ ］Ｔ ｏ ｌ ｍａ ｎ ＥＣ．Ｃｏ ｇｎ ｉ ｔｉ ｖ ｅｍａｐ ｓ  ｉ ｎ ｒ ａ ｔ ｓａ ｎ ｄ ｍｅ ｎ ．Ｐ ｓ ｙｃ ｈ ｏ ｌ ｏ ｇ ｉ ｃ ａｌＲｅｖ ｉ ｅ ｗ ，１ ９ ４ ８， ５ ５ （ ４ ） ：１ ８ ９ ２ ０ ８［ ４ ］Ｍａｄ ｌ Ｔ ？Ｆ ｒ ａ ｎ ｋ ｌｉ ｎ Ｓ ？ Ｃｈ ｅ ｎ Ｋ ？ ｅｔ ａｌ ． Ｂ ａｙｅ ｓ ｉ ａ ｎ ｉ ｎ ｔ ｅｇｒ ａ ｔ ｉ ｏ ｎ ｏ ｆｉ ｎ ｆｏ ｒ ｍａ ｔ ｉ ｏ ｎ ｉ ｎ ｈ ｉ ｐ ｐ ｏ ｃ ａ ｍｐ ａ ｌｐ ｌ ａ ｃ ｅｃ ｅ ｌ ｌ ｓ ．ＰＬｏ Ｓ Ｏ ｎ ｅ ， ２ ０ １ ４ ，９ （ ３ ）： ｅ ８ ９ ７ ６ ２［ ５ ］Ｙ ｏ ｎ ｅｌｉ ｎ ａ ｓ ＡＰ， Ｏ ｔｔ ｅ ｎ Ｌ Ｊ ， Ｓ ｈ ａｗ ＫＮ ， ｅｔ ａｌ．Ｓｅｐａ ｒ ａｔ ｉ ｎｇ ｔ ｈ ｅｂ ｒ ａｉ ｎｒ ｅｇ ｉ ｏ ｎ ｓ ｉ ｎ ｖ ｏ ｌ ｖ ｅ ｄｉ ｎｒ ｅｃ ｏｌ ｌｅ ｃ ｔｉ ｏｎａ ｎ ｄ ｆ ａｍｉｌｉ ａｒ ｉ ｔｙ ｉ ｎｒ ｅｃ ｏ ｇｎ ｉ ｔｉ ｏ ｎ ｍｅ ｍｏ ｒｙ ．Ｔ ｈ ｅ Ｊ ｏｕ ｒ ｎ ａｌ ｏ ｆＮ ｅ ｕ ｒ ｏ ｓ ｃ ｉ ｅｎ ｃ ｅ？２ ０ ０ ５，２５： ３ ０ ０ ２ ３０ ０８［ ６ ］Ｃｅｓ ａ ｒ Ｃ ， Ｌｕ ｃ ａＣ ， Ｉ ｌ ｅ ｎ ｒｙ Ｃ， ｅ ｔ ａｌ．Ｐ ａ ｓ ｔ ， ｐｒ ｅ ｓ ｅｎ ｔ ， ａｎ ｄ  ｆｕ ｔｕ ｒ ｅｏ ｆ ｓ ｉｍ ｕｌｔａ ｎ ｅｏ ｕ ｓ ｌ ｏ ｃ ａｌｉ ｚａ ｔ ｉｏ ｎ ａ ｎ ｄ ｍａｐ ｐ ｉ ｎｇ ：Ｔ ｏ ｗａ ｒ ｄ ｔｈ ｅ ｒ ｏ ｂ ｕ ｓ ｔｐｅ ｒ ｃ ｅｐ ｔ ｉ ｏ ｎ ａｇ ｅ． Ｉ ＥＥＥ Ｔ ｒａ ｎ ｓ ａ ｃ ｔｉ ｏ ｎ ｓ  ｏ ｎ Ｒｏ ｂ ｏ ｔｉ ｃ ｓ ？２ ０ １ ６ ， ３ ２ （ ６ ）：１ ３ ０ ９ １ ３ ３ ２［ ７ ］Ｓ ｕ ｎ ＹＬｉ ｕＭ ，Ｍｅｎｇ Ｍ ＱＩ Ｉ ．Ｉ ｍｐ ｒ ｏ ｖ ｉ ｎｇ ＲＧ Ｂ ＤＳ ＬＡＭｉ ｎｄ ｙｎ ａ ｍｉ ｃ  ｅｎ ｖ ｉ ｒｏ ｎｍ ｅｎ ｔ ｓ ：Ａｍ ｏ ｔｉ ｏ ｎ ｒｅ ｍｏ ｖ ａｌ ａｐ ｐｒｏ ａ ｃ ｈ ．Ｒ ｏ ｂ ｏｔ ｉ ｃ ｓａｎ ｄ Ａｕ ｔ ｏ ｎ ｏ ｍｏ ｕ ｓ Ｓｙ ｓ ｔｅ ｍｓ ，２ ０ １ ７，８ ９ ： １ １ ０ １ ２２［ ８ ］Ｓ ｏｎ ｇＩ ｌ ａｉ Ｔ ａ ｏ ， Ｈｅ Ｗｅｎ Ｉ Ｉ ａｏ ， Ｙｕ ａ ｎ Ｋｕ ｉ ．Ａｓ ｔ ｅｒ ｅｏ ｖｉ ｓｉ ｏ ｎ ｓ ｙ ｓｔ ｅｍｂ ａｓ ｅｄ ｏ ｎＳ ＩＦ Ｔ ｆ ｅ ａｔ ｕ ｒ ｅｆ ｏ ｒ ｒｏ ｂ ｏ ｔｅｎ ｖ ｉ ｒｏ ｎｍ ｅｎ ｔ ｐ ｅ ｒ ｃ ｅｐ ｔ ｉ ｏ ｎ ．Ｃｏ ｎ ｔｒ ｏｌ ａ ｎ ｄ Ｄｅ ｃ ｉ ｓ ｉ ｏ ｎ ， ２ ０ １ ９ ， ３４ （ ７ ） ： １ ５ ４ ５ １ ５ ５ ２ （ ｉ ｎ Ｃｈ ｉ ｎ ｅｓ ｅ ）（ 宋海涛， 何文浩， 原魁．一种基于ＳＩ Ｆ Ｔ 特征的机器人环境感知双目立体视觉系统． 控制与决策，２ ０ １ ９ ， ３ ４ （ ７ ）：１ ５ ４ ５１ ５ ５ ２ ）［ ９ ］Ｍｕ ｒ Ａｒ ｔ ａｌ Ｒ ， Ｔａ ｒ ｄ ｏ ｓ ＪＤ ．ＯＲ Ｂ Ｓ ＬＡＭ２ ；Ａｎ ｏ ｐｅｎ ｓ ｏ ｕ ｒ ｃ ｅＳ ＬＡＭｓ ｙ ｓ ｔ ｅｍ ｆｏ ｒ ｍｏ ｎ ｏ ｃ ｕｌａ ｒ，ｓ ｔ ｅ ｒ ｅｏ ？ ａ ｎ ｄ Ｒ ＧＢ Ｄ ｃ ａｍ ｅｒ ａ ｓ ．ＩＥＥ ＥＴ ｒ ａ ｎ ｓ ａ ｃ ｔ ｉ ｏ ｎ ｓ ｏ ｎ Ｒｏ ｂ ｏ ｔ ｉ ｃ ｓ ， ２ ０ １ ７， ３ ３ （ ５ ） ；１ ２ ５ ５ １ ２ ６ ２［ １ ０ ］Ｌｉ ｕＱｕ ａ ｎ ， Ｚ ｈ ａｉ Ｊ ｉ ａｎ Ｗｅ ｉ ，Ｚｈ ａｎｇ Ｚ ｏ ｎｇＺｈ ａ ｎｇ ， ｅ ｔａ ｌ ．Ａｓ ｕ ｒ ｖ ｅｙ  ｏ ｎ ｄ ｅｅ ｐ ｒ ｅｉ ｎ ｆｏ ｒ ｃ ｅ ｍｅ ｎ ｔ ｌ ｅａ ｒ ｎ ｉ ｎｇ ．Ｃｈ ｉ ｎ ｅ ｓ ｅＪ ｏｕ ｒ ｎ ａ ｌ ｏ ｆＣｏ ｍ ｐｕ ｔ ｅｒ ｓ ，２ ０ １ ８，４ １ （ １ ）： １ ２ ７ （ ｉ ｎ Ｃｈ ｉ ｎ ｅ ｓ ｅ）（ 刘全， 翟建伟， 章宗长等． 深度强化学习综述． 计算机学报， ２ ０ １ ８ ，４ １ （ １ ）： １ ２ ７ ）［ １ １ ］Ｙ ａ ｎ ｎ Ｌ ？ Ｙｏ ｓ ｈ ｕ ａＢ ？ Ｇ ｅ ｏ ｆｆ ｒ ｅｙ Ｉ Ｉ ．Ｄｅ ｅｐ Ｌｅａ ｒ ｎ ｉ ｎｇ ．Ｎ ａ ｔ ｕ ｒ ｅ ，２０ １ ５ ， ５ ２ １ （ ７ ５ ５ ３ ） ：４ ３ ６ ４ ４ ４［１ ２］Ｏｈ Ｊ ，Ｃ ｈｏ ｃ ｋ ａｌｉ ｎｇａｍ Ｖ ， Ｓｉ ｎｇ ｈ  ＳＰ，ｅ ｔ ａｌ ． Ｃｏ ｎ ｔｒ ｏ ｌ ｏ ｆ ｍｅｍｏ ｒｙ ，ａｃ ｔ ｉ ｖｅｐｅｒ ｃ ｅｐ ｔｉ ｏ ｎ，  ａｎ ｄ ａ ｃ ｔ ｉ ｏｎ  ｉｎＭｉｎ ｅｃ ｒ ａ ｆｔ ．ｈ ｔｔ ｐ ｓ： ／ ／ａｒ ｘｉ ｖ ． ｏ ｒｇ ／ｐｄ ｆ ／ １ ６ ０ ５ ． ０ ９ １ ２ ８ ． ｐ ｄ ｆ ．２ ０ １ ６ ， ０ ５ ，０ １［ １ ３ ］Ｚｈ ｕ Ｙ ， Ｍｏ ｔ ｔ ａｇ ｈ ｉ Ｒ ？ Ｋｏ ｌ ｖｅ Ｅ？ ｅｔ ａｌ ．Ｔ ａｒｇｅｔ ｄ ｒ ｉ ｖ ｅｎ ｖ ｉ ｓ ｕ ａｌｎ ａｖ ｉ ｇａｔ ｉ ｏｎ ｉ ｎ  ｉ ｎ ｄ ｏ ｏ ｒｓ ｃ ｅｎ ｅ ｓ ｕ ｓ ｉ ｎｇ ｄ ｅｅｐ ｒ ｅ ｉｎ ｆ ｏ ｒ ｃ ｅｍｅ ｎ ｔｌｅ ａｒ ｎ ｉ ｎｇ ．ｈ ｔ ｔｐ ｓ ： ／ ／ａｒ ｘｉ ｖ． ｏ ｒｇ ／ｐ ｄ ｊ ｙ ｉ ６ ０ ９ ． ０ ５ １ ４ ３ ． ｐ ｄ ｆ ．２ ０ １ ６ ， ０ ９ ， １ ６［ １ ４ ］Ｍｎ ｉ ｈ Ｖ ，Ｂ ａｄ ｉ ａＡ Ｐ ， Ｍｉ ｒ ｚａＭ ， ｅｔ ａ ｌ ． Ａｓ ｙｎ ｃ ｈ ｒ ｏｎ ｏ ｕ ｓ ｍｅ ｔ ｈ ｏ ｄ ｓｆｏ ｒ ｄ ｅｅｐ ｒ ｅｉ ｎ ｆ ｏ ｒ ｃ ｅ ｍｅｎ ｔｌｅ ａｒ ｎ ｉ ｎｇ ，ｈ ｔｔ ｐ ｓ  ：  ／ ／ａ ｒ ｘ ｉ ｖ ． ｏ ｒｇ ／ ａ ｂ ｓ ／１ ６ ０ ２ ． ０ １ ７ ８ ３． ｐ ｄ ｆ ． ２ ０ １ ６， ０ ６， １ ６［１ ５］Ｊ ａｄ ｅ ｒ ｂ ｅ ｒｇＭ ？ Ｍｎ ｉ ｈ Ｖ ， Ｃｚａ ｒ ｎ ｅｃ ｋ ｉ Ｗ Ｍ ？  ｅｔ ａｌ ．Ｒ ｅｉ ｎ ｆ ｏ ｒ ｃ ｅｍ ｅｎ ｔｌ ｅａ ｒ ｎ ｉ ｎｇ ｗ ｉ ｔ ｈ ｕ ｎ ｓ ｕ ｐ ｅｒ ｖ ｉ ｓ ｅｄ ａｕ ｘ ｉ ｌ ｉ ａｒｙ ｔ ａｓ ｋ ｓ ，ｈ ｔ ｔｐ ｓ ： ／ ／ ａ ｒ ｘ ｉ ｖ ．ｏ ｒｇ／ ａ ｂ ｓ ／ １ ６ １ １ ． ０ ５ ３ ９ ７ ． ｐ ｄ ｆ ． ２ ０ １ ６ ， １ １ ， １ ６阮晓钢等： 基于目标导向行为和３ 期 空间 拓扑记 忆的 视觉导航方法 ６ ０ ７［ １ ６ ］Ｖｏ ｌ ｏ ｄ ｙｍｙ ｒ Ｍ ， Ｋｏ ｒ ａ ｙＫ ， Ｓ ｉｌ ｖ ｅｒ Ｓ Ｄ ， ｅ ｔ ａｌ ．Ｈｕｍ ａｎ－ ｌ ｅ ｖ ｅｌｃｏ ｎｔ ｒ ｏ ｌ  ｔ ｈｒ ｏ ｕ ｇｈ ｄ ｅｅ ｐ ｒ ｅｉ ｎｆ ｏ ｒ ｃ ｅｍｅ ｎｔ ｌ ｅａ ｒ ｎｉ ｎｇ ． Ｎａ ｔ ｕ ｒ ｅ ， ２０ １ ５ ，５ １ ８ ：５ ２ ９－５ ３ ３［ １ ７ ］Ｍｉ ｒ ｏ ｗｓ ｋｉ Ｐ ， Ｐａｓ ｃａ ｎｕ Ｒ ， Ｖｉｏ ｌ ａ Ｆ， ｅｔ ａ ｌ ．Ｌｅａｒ ｎ ｉｎｇ  ｔｏ ｎａ ｖｉ ｇ ａｔ ｅ ｉｎｃｏｍｐ ｌ ｅｘ ｅｎｖｉ ｒ ｏ ｎｍｅ ｎｔ， ｈｔ ｔ ｐｓｉ ｆ ／ ａｒ ｘ ｉ ｖ．  ｏ ｒｇ ／ ｐ ｄ ｆ／ １ ６ １ １ ．  ０３ ６ ７ ３．  ｐｄ ｆ ．２ ０ １ ７， ０ １， １ ３［ １ ８ ］ＹｕＮａ ｉ－Ｇｏ ｎｇ ， Ｙｕ ａｎ Ｙｕ ｎ－Ｉ Ｉ ｅ ， Ｌｉ Ｔｉ ， ｅｔ  ａｌ ．Ａ ｃｏ ｇ ｎｉ ｔｉ ｖ ｅ ｍａｐｂ ｕ ｉｌ ｄ ｉ ｎｇａ ｌ ｇｏ ｒ ｉ ｔ ｈｍ ｂ ｙｍ ｅａ ｎｓｏ ｆ ｃｏｇ ｎｉ ｔ ｉ ｖ ｅｍｅ ｃｈａ ｎｉ ｓｍ ｏ ｆｈｉ ｐ ｐ ｏ ｃａ ｍｐ ｕ ｓ ．Ａ ｃｔ ａＡｕ ｔｏ ｍ ａｔ ｉ ｃ ａ Ｓｉ ｎｉ ｃ ａ， ２ ０ １ ８， ４ ４ （ １ ） ： ５ ２－ ７３（ ｉ ｎ Ｃｈｉ ｎｅ ｓ ｅ）（ 于乃功， 苑云鹤， 李倜等．一种基于海马认知机理的仿生机器人认知地图构建方法． 自动化学报， ２ ０ １ ８ ， ４ ４ （ １ ） ：５ ２ － ７ ３ ）［ １ ９ ］Ｐａｒ ｉ ｓ ｏ ｔｔ ｏ Ｅ ，  Ｓａｌ ａｋｈｕ ｔ ｄｉ ｎｏ ｖＲ． Ｎｅｕ ｒ ａｌ ｍａ ｐ ：Ｓｔ ｒ ｕ ｃｔ ｕｒ ｅｄ ｍｅｍｏ ｒ ｙｆｏ ｒｄ ｅｅ ｐｒ ｅ ｉ ｎｆ ｏ ｒ ｃｅ ｍｅｎ ｔｌ ｅ ａｒ ｎｉ ｎｇ ，ｈ ｔｔ ｐ ｓ ： ／＇／ａ ｒ ｘｉ ｖ ． ｏ ｒ ｇ ／ ａ ｂ ｓ ／１ ７０ ２ ． ０ ８３ ６ ０． ｐ ｄｆ ． ２ Ｇ １ ７，０ ２， ２ ７［ ２ ０ ］Ｇｕ ｐ ｔａ  Ｓ ，Ｄａ ｖ ｉ ｄ ｓ ｏ ｎ Ｊ ， Ｌｅｖ ｉ ｎｅ Ｓ ，ｅ ｔ ａｌ ． Ｃｏ ｇ ｎｉ ｔ ｉ ｖ ｅｍ ａｐ ｐ ｉ ｎｇ  ａｎｄｐ ｌ ａ ｎｎｉ ｎｇ  ｆｏ ｒ  ｖ ｉ ｓ ｕ ａ ｌ  ｎａｖ ｉ ｇａ ｔ ｉ ｏ ｎ， ｈｔ ｔｐ ｓ ： ／ ／ ａｒ ｘｉ ｖ．  ｏｒ ｇ ／ ａｂ ｓ ／ １ ７ ０ ２．０ ３ ９ ２ ０ ． ｐ ｄｆ ． ２ ０ １ ９，０ ２ ，  ０ ７［ ２ １ ］Ｓａｖ ｉ ｎ ｏｖ Ｎ，Ｄ ｏ ｓ ｏ ｖ ｉ ｔ ｓ ｋｉ ｙＡ ， Ｋｏ ｌ ｔｕ ｎＶ．Ｓ ｅｍｉ－ｐ ａ ｒ ａｍ ｅｔ ｒ ｉ ｃｔｏ ｐ ｏ ｌ ｏ ｇ ｉ ｃａｌ ｍｅ ｍｏ ｒ ｙｆ ｏｒｎａ ｖｉ ｇ ａ ｔｉ ｏ ｎ，ｈｔ ｔ ｐ ｓ ｊ／ ／ａｒ ｘｉ ｖ ．ｏ ｒ ｇ ／ ａｂｓ ／１ ８０ ３ ． ０ ０ ６５ ３． ｐ ｄｆ ． ２ Ｇ １ ８，０ ３， ０ １［ ２ ２ ］Ｉ ｌ ａ ｕ ｓ ｋｎｅ ｃｈｔ Ｍ ， Ｓ ｔｏ ｎｅ Ｐ ． Ｄｅ ｅｐｒ ｅ ｃｕ ｒ ｒ ｅｎｔ Ｑ－ｌ ｅ ａｒ ｎｉ ｎ ｇ ｆｏ ｒｐ ａｒ ｔｉ ａ ｌ ｌ ｙｏ ｂ ｓ ｅ ｒ ｖ ａ ｂ ｌ ｅＭＤＰ ｓ ． ｈｔ ｔ ｐ ｓ  ｊ ／ ／ ａ ｒ ｘｉ ｖ ． ｏｒ ｇ ／ ａｂ ｓ ／ １５ ０ ７．０ ６５ ２ ７ ． ｐ ｄｆ ． ２ ０ １ ７ ，０ １ ， １ １［ ２ ３ ］Ｍａｒ ｔｉ ｎＲ ．Ｎｅ ｕ ｒ ａｌ  ｆｉ ｔ ｔ ｅ ｄ Ｑｉ ｔ ｅ ｒ ａｔ ｉ ｏ ｎ－ｆｉ ｒ ｓ ｔ ｅｘ ｐ ｅｒ ｉ ｅ ｎｃｅ ｓ ｗｉ ｔ ｈ ａｄ ａｔ ａ ｅ ｆｆ ｉ ｃｉ ｅ ｎｔｎｅｕ ｒ ａ ｌｒ ｅ ｉ ｎｆ ｏｒ ｃｅｍ ｅｎ ｔｌ ｅ ａｒ ｎｉ ｎｇｍｅ ｔ ｈｏｄ ＃ ＃Ｐｒ ｏ ｃｅｅ ｄ ｉ ｎｇ ｓ ｏ ｆ ｔ ｈｅ Ｅｕ ｒ ｏ ｐ ｅ ａｎ Ｃｏｎ ｆｅ ｒ ｅｎ ｃｅｏ ｎ Ｍａ ｃｈｉ ｎｅ Ｌｅａ ｒ ｎｉ ｎｇ（ ＥＣＭＬ２ ０ ０５ ）． Ｂｅ ｒｌｉ ｎ ，  Ｈｅｉ ｄ ｅｌ ｂ ｅ ｒ ｇ ，Ｇｅｒｍａ ｎｙ ， ２０ ０ ５ ： ３ １ ７－３ ２８［ ２ ４ ］Ｌａｎ ｇｅ Ｓ ， Ｒｉ ｅｄｍｉｌ ｌ ｅｒＭ ， Ｖｏｉ ｇ ｔ ｌ ａ ｎｄ ｅｒＡ．Ａｕ ｔ ｏ ｎｏ ｍｏ ｕ ｓｒ ｅｉ ｎ ｆｏ ｒ ｃｅ ｍｅ ｎｔ ｌ ｅ ａ ｒ ｎｉ ｎｇｏ ｎ ｒ ａ ｗ ｖ ｉ ｓ ｕ ａ ｌｉ ｎｐ ｕ ｔ ｄａ ｔ ａｉ ｎ ａｒ ｅ ａｌｗｏ ｒ ｌ ｄａｐ ｐ ｌ ｉ ｃａ ｔｉ ｏ ｎ／／ Ｐ ｒ ｏ ｃ ｅｅ ｄｉ ｎｇ ｓｏｆ ｔ ｈｅ２ ０ １ ２ Ｉｎ ｔｅ ｒ ｎａ ｔｉ ｏｎ ａｌＪ ｏ ｉ ｎｔ Ｃｏ ｎｆ ｅｒ ｅ ｎｃｅ ｏ ｎＮｅ ｕ ｒ ａ ｌ Ｎｅ ｔ ｗｏ ｒ ｋｓ  （ ＩＪ ＣＮＮ ）． Ｂｒｉ ｓ ｂ ａ ｎｅ ，Ａｕ ｓ ｔ ｒ ａ ｌｉ ａ， ２ ０ １ ２ ： １ － ８［ ２ ５ ］Ｔｈｏ ｍ ａｓＧＴ ， Ｅｇ ｉ ｄ ｉｏＦ ， Ｆｅｄ ｅｒ ｉ ｃｏＲ ， ｅ ｔ ａ ｌ ． Ｍｏ ｄ ｅｌ－ｂ ａ ｓ ｅ ｄｒ ｅ ｉ ｎｆ ｏ ｒ ｃｅｍ ｅｎ ｔ ｌ ｅ ａｒ ｎｉ ｎｇ ｆ ｏ ｒ ｃｌ ｏ ｓ ｅｄ － ｌ ｏ ｏ ｐ ｄ ｙ ｎａ ｍｉ ｃ ｃｏ ｎｔ ｒ ｏ ｌ ｏ ｆ  ｓ ｏ ｆｔｒ ｏ ｂ ｏ ｔ ｉ ｃ ｍａ ｎｉ ｐ ｕ ｌ ａ ｔｏ ｒ ｓ ．Ｉ ＥＥＥＴｒ ａ ｎｓ ａ ｃｔ ｉ ｏ ｎｓ  ｏ ｎＲ ｏｂ ｏ ｔｉ ｃ ｓ， ２ ０ １ ９，３ ５ （ １ ） ： １ ２ ４－ １ ３ ４［２ ６］Ｌｉｕ Ｊ ｉａ ｎ－Ｗ ｅｉ ，  Ｇａ ｏ Ｆｅ ｎｇ ， Ｌｕ ｏ Ｘ ｉｏ ｎｇ－ Ｌｉｎ．Ｓｕ ｒ ｖｅ ｙ ｏ ｆ ｄ ｅｅ ｐｒ ｅ ｉ ｎｆ ｏ ｒ ｃｅｍ ｅｎ ｔ ｌ ｅ ａｒ ｎｉ ｎｇｂ ａ ｓ ｅ ｄｏ ｎ ｖ ａｌ ｕ ｅ ｆｕ ｎ ｃｔ ｉｏ ｎａ ｎｄｐｏ ｌｉ ｃｙｇ ｒ ａ ｄ ｉ ｅ ｎｔ ．Ｃｈｉ ｎ ｅｓ ｅ Ｊｏ ｕ ｒ ｎａ ｌ ｏ ｆＣｏ ｍｐ ｕ ｔｅ ｒ ｓ， ２０ １ ９，４ ２ （ ６） ： １ ４ ０ ６－１ ４ ３ ８ （ ｉ ｎＣｈｉ ｎｅ ｓ ｅ ）（刘建伟， 高峰， 罗雄霖． 基于值函数和策略梯度的深度强化学习综述． 计算机学报． ２ ０ １ ９， ４２ （ ６） ：１ ４ ０ ６－１ ４ ３ ８ ）［２ ７ ］Ｋａ ｅｌ ｂ ｌｉ ｎｇ ＬＰ ， Ｌｉ ｔ ｔ ｍａ ｎＭＬ ，Ｃａ ｓ ｓ ａ ｎｄ ｒ ａ Ａ Ｒ ．Ｐ ｌ ａｎｎｉ ｎ ｇ ａ ｎｄａ ｃｔ ｉ ｎｇ ｉ ｎｐａ ｒ ｔ ｉ ａ ｌ ｌ ｙ ｏ ｂ ｓ ｅ ｒ ｖ ａ ｂ ｌ ｅ ｓ ｔｏ ｃｈａ ｓ ｔ ｉ ｃ ｄ ｏ ｍａ ｉ ｎｓ ． Ａｒ ｔ ｉｆｉ ｃｉ ａ ｌＩ ｎｔ ｅ ｌ ｌ ｉ ｇ ｅ ｎｃｅ，１ ９ ９ ８，１ ０ １ （ １ ） ：９ ９ － １ ３４［２ ８ ］ｌ ｉ ｅＫ ， Ｚｈａ ｎｇ Ｘ ， Ｒｅ ｎＳ ， ｅｔ  ａｌ ．Ｄ ｅｅ ｐｒ ｅｓ ｉ ｄ ｕ ａ ｌ ｌ ｅ ａｒ ｎｉ ｎｇ ｆ ｏ ｒｉｍａ ｇ ｅ ｒ ｅ ｃｏ ｇ ｎｉ ｔ ｉ ｏ ｎ， ｈｔ ｔ ｐ ｓ： ／ ／ａｒ ｘｉ ｖ ．ｏ ｒｇ ／ ａｂ ｓ ／ １ ５ １ ２ ．０ ３ ３８ ５ ． ｐｄ ｆ ．２ ０ １ ５ ， １ ２ ，１ ０［２ ９］Ｍ ｃＮａ ｕ ｇ ｈｔ ｏｎ ＢＬ ， Ｂａ ｔ ｔａ ｇ ｌ ｉ ａ ＦＰ ， Ｊ ｅｎｓ ｅｎ Ｏ ， ｅｔ ａ ｌ． Ｐ ａ ｔ ｈｉ ｎ ｔｅ ｇ ｒ ａ ｔｉ ｏ ｎ ａｎｄ ｔ ｈｅｎｅ ｕ ｒ ａ ｌｂ ａ ｓ ｉ ｓ ｏｆ ｔ ｈｅ ４ ｃｏ ｇ ｎｉ ｔ ｉ ｖ ｅｍａ ｐ’．Ｎａ ｔ ｕ ｒ ｅ Ｒ ｅｖ ｉ ｅｗｓ Ｎｅ ｕ ｒ ｏ ｓ ｃｉ ｅｎｃ ｅ，２０ ０ ６，７ ： ６ ６ ３－ ６ ７ ８［３ ０ ］Ｓａ ｖ ｉｎｏ ｖ Ｎ ，Ｒ ａｉｃ ｈｕ ｋ Ａ ，Ｍａ ｒｉｎｉｅ ｒ Ｒ ， ｅ ｔ ａ ｌ ．Ｅｐ ｉｓ ｏ ｄ ｉｃｃ ｕ ｒｉｏ ｓｉｔ ｙｔ ｈｒ ｏｕ ｇｈｒ ｅａ ｃｈａ ｂ ｉｌｉ ｔｙ ， ｈｔ ｔ ｐ ｓ ： ／ ／ ａ ｒｘｉ ｖ ． ｏｒ ｇ ／ ａｂ ｓ ／ １ ８ １ ０ ． ０ ２ ２ ７４ ． ｐ ｄ ｆ．２ ０ １ ９， ０ ８， ０ ６［３ １ ］Ｔｈｏ ｍａ ｓ ｈＩ ＩＣ ，  Ｃｈａ ｒ ｌ ｅｓ  ＥＬ ， Ｒ ｏｎ ａｌ ｄ  ＬＲ ， ｅｔ ａ ｌ．Ｉ ｎｔ ｒ ｏｄ ｕ ｃｔ ｉ ｏ ｎｔ ｏ Ａｌ ｇ ｏ ｒ ｉ ｔ ｈｍｓ ． Ｃａ ｍｂ ｒ ｉ ｄ ｇ ｅ，ＵＳ Ａ ： ＭＩＴ Ｐｒ ｅ ｓ ｓ，２ ０ ０ ５［３ ２ ］Ｂｅａ ｔ ｔ ｉ ｅＣ ， Ｌｅｉ ｂ ｏ  ＪＺ ， Ｔｅｐ ｌ ｙ ａ ｓ ｈｉ ｎＤ ， ｅｔ ａ ｌ ．Ｄ ｅｅ ｐＭｉ ｎｄ Ｌａ ｂ ．ｈ ｔｔ ｐ ｓ ａ ｒ ｘｉ ｖ ． ｏ ｒ ｇ ／ ａ ｂ ｓ ／ １ ６ １ ２ ． ０ ３ ８ ０ １ ． ｐ ｄ ｆ ．２ ０ １ ６ ， １ ２ ， １ ２［３ ３ ］Ｇｅｒ ｓ ＦＡ ， Ｓ ｃｈｍ ｉ ｄ ｈｕ ｂ ｅ ｒ Ｊ ， Ｃｕｍｍｉ ｎｓ  Ｆ． Ｌｅ ａｒ ｎｉ ｎｇ ｔｏ ｆ ｏ ｒ ｇ ｅｔ ：Ｃｏ ｎ ｔｉ ｎｕ ａｌｐ ｒ ｅ ｄ ｉ ｃｔ ｉ ｏ ｎｗｉ ｔ ｈＬＳＴＭ．Ｎｅ ｕ ｒ ａ ｌＣｏ ｍ ｐ ｕ ｔ ａｔ ｉ ｏ ｎ，２ ０ ０ ０，１ ２ （ １ ０ ） ：２ ４ ５ １ － ２ ４ ７ １［３ ４ ］Ｄ ｉｅｄ ｅ ｒｉ ｋＰ Ｋ ， Ｊｉｍ ｍｙ Ｂ．Ａｄ ａｍ：Ａｍｅｔ ｈｏ ｄ ｆｏ ｒ ｓ ｔｏ ｃ ｈａ ｓ ｔ ｉｃｏ ｐ ｔ ｉｍｉ ｚ ａｔ ｉｏ ｎ， ｈｔ ｔｐ ｓ ： ／／ ａｒ ｘｉ ｖ ． ｏ ｒ ｇ ／ ａ ｂ ｓ ／ １ ４ １ ２ ． ６ ９ ８ ０ ． ｐ ｄ ｆ ． ２ ０ １ ７ ，０ １，３ ０［３ ５ ］Ｄ ａｖ ｉ ｄ Ｏ Ｓ ， Ｊ ａ ｍｅｓ  Ｔ Ｂ ， Ｇａｉ ｌ  Ｅ ｌ ｉ ． Ｈｉ ｐ ｐ ｏ ｃａ ｍｐ ｕ ｓ，ｓ ｐａ ｃｅ，ａ ｎｄｍｅ ｍｏ ｒ ｙ ． Ｂｅｈａ ｖ ｉ ｏ ｒ ａ ｌ ａ ｎｄ Ｂｒ ａ ｉ ｎＳｃｉ ｅｎｃ ｅ， １ ９７ ９，２ （ ３ ） ：  ３ １ ３－３ ２ ２ＲＵＡＮＸｉａｏ－Ｇ ａｎｇ ， Ｐ ｈ． Ｄ．， ｐｒｏｆｅ ｓｓ ｏｒ．Ｈｉｓ ｒ ｅ ｓ ｅａ ｒ ｃ ｈｉｎ ｔ ｅ ｒ ｅｓ ｔ ｓ ｉｎ ｃ ｌｕ ｄ ｅ ａ ｕ ｔ ｏｍａ ｔｉｃｃ ｏｎｔ ｒｏｌ ， ａｒ ｔｉ ｆ ｉｃｉ ａ ｌ ｉｎｔ ｅ ｌｌ ｉ ｇｅｎ ｃｅ ａｎｄ ｉ ｎｔ ｅｌ ｌｉ ｇ ｅｎｔｒ ｏｂ ｏｔ．Ｌ ＩＰｅｎｇ ， Ｐ ｈ．  Ｄ． ｃ ａｎｄ ｉ ｄａ ｔ ｅ ． Ｈｉ ｓ ｒ ｅｓ ｅ ａ ｒｃ ｈ ｉｎ ｔ ｅｒ ｅ ｓｔ ｓ ｉ ｎｃ ｌｕ ｄｅｄ ｅ ｅ ｐｒ ｅｉｎ ｆｏｒ ｃ ｅｍｅ ｎ ｔ ｌ ｅａ ｒ ｎｉ ｎｇ ａｎ ｄｒ ｏｂ ｏｔ ｎ ａ ｖｉ ｇ ａ ｔｉ ｏ ｎ ｐｒｏ ｂｌ ｅｍ．ＺＨＵ Ｘｉａｏ －Ｑｉｎｇ ， Ｐ ｈ． Ｄ． ， ｌｅ ｃｔ ｕｒ ｅｒ． Ｈｉｓｒ ｅ ｓ ｅ ａ ｒｃ ｈ ｉｎ ｔ ｅ ｒ ｅｓ ｔ ｓｉ ｎｃ ｌ ｕｄ ｅ ｉｎ ｔ ｅ ｌｌ ｉ ｇ ｅ ｎｔ ｒ ｏｂ ｏｔ ａｎ ｄ ｍａ ｃｈ ｉｎ ｅ ｌ ｅａ ｒ ｎ ｉｎｇ ．Ｌ ＩＵＰｅｎｇ－Ｆｅ ｉ， Ｍ． Ｓ．ｃａｎ ｄ ｉ ｄａ ｔ ｅ．Ｈｉｓｒ ｅｓ ｅ ａ ｒ ｃｈ ｉｎ ｔ ｅ ｒ ｅｓ ｔ ｓｉ ｎｃ ｌ ｕｄ ｅ ａ ｒｔｉｆｉｃｉ ａ ｌｉｎ ｔ ｅ ｌｌｉ ｇ ｅｎ ｃ ｅ  ａｎｄ ｒｏ ｂｏ ｔ ｎ ａｖ ｉ ｇ ａ ｔｉ ｏ ｎｐ ｒｏ ｂｌ ｅｍｓ．Ｂ ａｃｋｇｒ ｏｕｎｄＬ ｅａ ｒ ｎ ｉｎｇ ｔ ｏｎ ａ ｖ ｉ ｇａ ｔ ｅｉｎｃｏ ｍｐ ｌｅ ｘｅ ｎｖ ｉｒｏ ｎｍ ｅｎ ｔｗｉｔｈｄｙ ｎａｍｉｃ ｅｌ ｅｍｅ ｎｔ ｓ ｉｓ ａ ｃｈ ａ ｌ ｌｅ ｎ ｇ ｅｉ ｎ ｄ ｅｖ ｅ ｌｏ ｐｉ ｎｇ Ａｌ ａ ｇｅ ｎｔ ａ ｎｄｍｏｓ ｔ ｏ ｆ ｔｏ ｄａ ｙ’ｓ ｒｏ ｂｏ ｔ ａ ｌ ｇｏｒｉｔｈｍ ｓｔ ｒｕ ｇｇ ｌｅ ｗｉｔｈｓ ｕ ｃｈ ｃ ｏｎ ｄｉｔｉ ｏ ｎ．Ｉｎｓ ｐ ｉｒｅ ｄｂｙｔｈ ｅ ｒ ｅ ｓｅ ａ ｒｃ ｈ ｅｓ  ａ ｂｏｕ ｔ  ｃｏ ｇｎ ｉｔｉ ｖｅ  ｂｅ ｈａ ｖ ｉ ｏｒ ｉ ｎａ ｎｉｍａ ｌ ｓ，ｔｈ ｅｒ ｅ ａ ｒ ｅｍａｎｙ ｎａ ｖ ｉ ｇａ ｔ ｉ ｏｎ ｍ ｅｔｈ ｏ ｄｓ ｄ ｅ ｓ ｉ ｇｎ  ｔｈ ｅ ａ ｇ ｅ ｎｔ  ｔ ｏ ｅ ｎｃ ｏｄ ｅｅ ｎｖ ｉｒｏ ｎｍ ｅｎ ｔ ａ ｌ ｓ ｔｒ ｕ ｃｔ ｕｒ ｅ ｄ ｕ ｒｉ ｎｇ ｅｘ ｐｌ ｏｒ ａ ｔｉ ｏ ｎ ｐ ｒｏ ｃｅ ｓ ｓ，ａｎ ｄｔｈ ｅｔ ｙ ｐｉｃａ ｌ ｌｙ ｕｓ ｅｄ ａ ｐｐ ｒｏ ａ ｃ ｈｉｓＳＬＡＭ．Ｔ ｈ ｉｓ ｋｉｎ ｄ ｏｆａ ｐ ｐ ｒｏａ ｃ ｈｂｕ ｉｌ ｄ ｓｍ ｅｔ ｒｉｃ ｍａ ｐｏ ｆｕ ｎｋ ｎｏ ｗｎｅ ｎ ｖｉｒｏｎｍｅ ｎ ｔ ｂｙｕ ｓｉｎ ｇｓ ｅ ｎ ｓｏ ｒｙｉｎ ｆｏｒ ｍａ ｔｉ ｏ ｎ ｆｒ ｏｍｌａ ｓｅ ｒ， ｏ ｄｏｍ ｅ ｔ ｅｒ， ｓｏ ｎａ ｒ ｏ ｒｖ ｉｓｉ ｏ ｎ． Ｔｈ ｒｏ ｕ ｇｈａ ｐ ｐｌｉｃ ａ ｔｉ ｏ ｎｍｏｔｉ ｏｎ ｉ ｎｆｏ ｒｍａ ｔｉ ｏ ｎ ｏ ｆｒ ｏｂ ｏｔ  ａｎ ｄ ｆｅａ ｔ ｕｒ ｅ ｓ ｏｆ ｏ ｂｓ ｅ ｒ？ｖａ ｔ ｉ ｏｎ， ｔｈ ｅ  ａ ｇ ｅｎ ｔ ｃ ａｎｇ ｅ ｔ ａ ｃ ｃ ｕｒａ ｔ ｅ ｅ ｓ ｔ ｉｍａ ｔ ｉ ｏ ｎ ｏｆ ｅ ｎｖ ｉｒｏ ｎｍｅ ｎ ｔａｎ ｄｕ ｓｅ ｉｔｔ ｏｒｅ ａ ｌｉｚ ｅ ａ ｕ ｔ ｏｎ ｏｍｏ ｕｓ ｎａ ｖ ｉ ｇ ａ ｔｉ ｏｎ．Ｐ ａｒ ｔｉｃ ｕ ｌａ ｒ ｌｙ６ ０ ８ 计算机学报 ２ ０ ２ １年ｒｅ ｌ ｅｖａ ｎ ｔ ｔ ｏ ｏ ｕｒｗ ｏ ｒ ｋ ｉ ｓ ｖ ｉｓ ｕ ａｌ Ｓ Ｌ ＡＭ （ ＶＳ ＬＡＭ） ｔ ｈ ａ ｔ ｕ ｓｅ  ｉｍａ ｇｅａ ｓ ｔ ｈ ｅｍａ ｉ ｎ ｐｅ ｒ ｃｅ ｐ ｔ ｉ ｏ ｎｏ ｆ  ｓ ｔａ ｔ ｅ ｓｐ ａ ｃ ｅ，ａ ｎ ｄａ ｉ ｍ ｔ ｏ ｒ ｅ ｃｏ ｎｓ ｔ ｒ ｕｃ ｔ３ Ｄ ｍａ ｐ ｂ ｙ ｃａｍ ｅｒ ａｐｏ ｓ ｅ ａ ｎ ｄｍｕ ｌｔ ｉ ｖ ｉ ｅ ｗ ｇ ｅｏ ｍｅ ｔ ｒｙｔ ｈ ｅ ｏ ｒ ｙ． Ｉ ｎｏ ｒ ｄ ｅｒ ｔ ｏ ｉｍｐ ｒｏ ｖ ｅ ｔｈ ｅ ｓ ｐｅ ｅ ｄｏ ｆ  ｄａ ｔ ａ ｐｒ ｏ ｃ ｅ ｓｓ ｉ ｎｇ ， ｓｏ ｍｅ ＶＳＬ ＡＭａ ｌｇｏ ｒｉ ｔ ｈ ｍｓ ｅ ｘ ｔ ｒａ ｃ ｔ ｆ ｅ ａ ｔ ｕ ｒｅ ｐｏ ｉ ｎｔ ｓ ｏ ｆ ｏ ｂ ｓｅ ｒ ｖａ ｔ ｉ ｏ ｎ ｆ ｉ ｒｓ ｔｌ ｙ ， ａ ｎｄｔ ｈ ｅ ｎｐ ｅ ｒｆ ｏ ｒｍｉ ｎｔ ｅ ｒ ｆｒ ａｍｅ ｅ ｓｔ ｉｍａ ｔ ｉ ｏ ｎ ａ ｎｄ ｃ ｌｏ ｓ ｅ ｄ ｌｏ ｏｐｄ ｅ ｔ ｅ ｃｔ ｉ ｏ ｎｔ ｈ ｒｏ ｕｇｈｍａ ｔ ｃ ｈ ｉ ｎｇｔ ｈ ｅ ｓ ｅｐｏ ｉ ｎｔ ｓ ． Ｔｈ ｅ Ｓ ＬＡＭ ｂ ａ ｓ ｅｄ ａ ｐｐ ｒｏ ａ ｃ ｈｅ ｓｃ ａ ｎ ｐｒｏ ｖ ｉ ｄ ｅｈ ｉ ｇｈｑ ｕ ａ ｌ ｉ ｔ ｙ ｅ ｎｖ ｉ ｒ ｏ ｎ ｍｅｎ ｔ ｍａ ｐ ， ｂ ｕｔｔ ｈｅ ｙ ａ ｒｅｅ ｘｐ ｌ ｉ ｃ ｉ ｔ  ｆｏ ｃ ｕ ｓｏ ｎｐｏ ｓ ｉ ｔ ｉ ｏ ｎｉ ｎ ｆ ｅ ｒｅ ｎ ｃ ｅａ ｎｄｍａ ｐ ｐｉ ｎｇ ， ａ ｎｄｎ ｅ ｅｄｅ ｘｔ ｅｒ ｎ ａ ｌ ｌ ｙｐ ｒｏ ｖｉ ｄｅ ｄ ｃａｍｅ ｒａ ｐｏ ｓｅ ｏ ｒ ｅ ｇｏ ｍｏ ｔ ｉ ｏ ｎｉ ｎｆ ｏ ｒｍａ ｔ ｉ ｏ ｎ，ａ ｎｄ ｄ ｏ ｎ ｏ ｔ ｎ ａ ｔ ｕ ｒａ ｌ ｌｙ ａ ｃｃ ｏ ｍｍｏ ｄａ ｔ ｅｄ ｙｎ ａｍｉ ｃ ｅ ｎ ｖｉ ｒ ｏ ｎ ｍｅ ｎ ｔ ．Ｍｏ ｒｅ ｒｅ ｃｅ ｎｔ ｌｙ ， ｍａ ｎｙｒｅ ｓｅａ ｒｃ ｈ ｅｒｓ ｈ ａｖ ｅ ｎｏ ｔ ｅ ｄ ｔ ｈｅ ｏ ｕ ｔ ｓｔ ａ ｎｄｉ ｎｇａ ｂ ｉ ｌ ｉ ｔ ｙｏ ｆ ｄ ｅｅ ｐ ｌｅ ａ ｒ ｎｉ ｎｇ（ ＤＬ ）ｉ ｎｏ ｖｅ ｒ ｃｏ ｍｅ ｔ ｈ ｅ ｐｒ ｏ ｂ ｌ ｅｍｓ ｓ ｔ ｅ ｍｆ ｒｏ ｍ ｄｉ ｍｅ ｎｓ ｉ ｏ ｎａ ｌ ｄ ｉ ｓ ａ ｓ ｔ ｅｒ，ａ ｎ ｄ ｔ ｒｙｔ ｏ  ｔ ａ ｋ ｅ ａ ｄｖ ａ ｎｔ ａ ｇ ｅ ｏ ｆ  ｉ ｔ ｔ ｏｈ ｅｌｐ ｎａ ｖｉ ｇ ａｔ ｉ ｏ ｎｉ ｎ ｈｉ ｇｈ ｄ ｉｍｅ ｎｓ ｉ ｏ ｎａ ｌ ｓｔ ａ ｔ ｅ ｓ ｐａ ｃｅ ． Ｓｏ ｗｅ  ｃｏ ｎｓ ｉ ｄｅ ｒｅ ｄｕ ｓｉ ｎｇｔ ｈ ｅ ｄ ｅｅ ｐｒｅ ｉ ｎ ｆ ｏ ｒｃ ｅ ｍｅ ｎｔ ｌ ｅ ａ ｒｎ ｉ ｎｇ（ ＤＲ Ｌ）  ， ｗｈ ｉ ｃｈ ｃ ｏ ｎ ｓ ｉ ｓ ｔｏ ｆ ＤＬ ａ ｎ ｄ ｒｅ ｉ ｎ ｆｏ ｒｃ ｅ ｍｅｎ ｔ ｌ ｅａ ｒ ｎｉ ｎｇ （ Ｒ Ｌ） ａ ｎｄ ａ ｐｐ ｌｙｔ ｏ ｎａ ｖ ｉ ｇａ ｔ ｉ ｏ ｎｖａ ｒ ｙｂ ｏ ｔ ｈ ｉ ｎｌ ｅ ａ ｒｎ ｉ ｎｇｍｅｔ ｈｏ ｄａ ｎｄｍｅ ｍｏ ｒ ｙｒ ｅ ｐｒ ｅ ｓ ｅｎ ｔ ａ ｔ ｉ ｏ ｎ，ａ ｓｂ ａ ｓ ｉ ｃｌ ｅ ａ ｒ ｎｉ ｎｇｆ ｒ ａｍｅ ｗｏ ｒｋ ｔ ｏｇ ｅｔ ｇｏ ａ ｌ ｄｒ ｉ ｖ ｅｎ ｂ ｅｈ ａ ｖｉ ｏ ｕ ｒａ ｎ ｄｍｅ ｍｏ ｒ ｙｓ ｐ ａ ｔ ｉ ａ ｌ ｓｔ ｒｕ ｃ ｔ ｕｒ ｅ ．Ｉ ｎ ｔ ｈ ｉ ｓ ｐ ａ ｐ ｅｒ，ｗ ｅｐｒ ｏｐｏ ｓ ｅ ｄａｎｏ ｖｅ ｌａ ｒ ｃ ｈｉ ｔ ｅ ｃｔ ｕｒ ｅ ｏ ｆｎ ａ ｖｉ ｇａ ｔ ｉ ｏ ｎ ｗｈ ｉ ｃ ｈｃ ａ ｎ ｂｕ ｉ ｌ ｄｓ ｐ ａ ｃｅ ｔ ｏｐｏ ｌｏｇ ｉ ｃ ａ ｌｍａ ｐｄ ｕｒ ｉ ｎｇｌ ｅａ ｒ ｎ ｉ ｎｇｎａ ｖ ｉ ｇａ ｔ ｉ ｏ ｎ ａ ｌ ｐｏ ｌ ｉ ｃ ｙ ．Ｔ ｏｄ ｉ ｒ ｅｃ ｔｌ ｙｐ ｅ ｒｃ ｅ ｉ ｖ ｅｅ ｎｖ ｉ ｒｏ ｎｍｅ ｎ ｔ ａ ｌｉ ｎｆ ｏ ｒｍａ ｔ ｉ ｏ ｎｆ ｒｏ ｍｖ ｉ ｓ ｕａ ｌ ｉ ｎｐｕｔ ｓ，ｕｓ ｉ ｎｇａ ｎａ ｇ ｅ ｎｔ ｗ ｉ ｔ ｈＤＲＬ ｆ ｒａｍｅ ｗ ｏ ｒｋ ｔｏｌ ｅ ａ ｒｎ ｃ ｏ ｎｔ ｒ ｏ ｌｐｏ ｌ ｉ ｃ ｙ ，ａ ｎ ｄｔ ｈ ｅｍａ ｐｉ ｓｆ ｏ ｒ ｍｅｄ ｂａ ｓ ｅ ｄｏ ｎｔ ｅ ｍｐｏ ｒａ ｌｃ ｏ ｒ ｒｅ ｌａ ｔ ｉ ｏ ｎ ．Ｃ ｒｕ ｃ ｉ ａ ｌ ｌｙ ，ｔ ｈｅ ｔ ｅ ｍｐｏ ｒａ ｌｃ ｏ ｒｒ ｅ ｌａ ｔ ｉ ｏ ｎ ｉ ｓａ ｐ ｒｅ ｄ ｉ ｃ ｔ ｉ ｖ ｅ ｖａ ｌ ｕｅ ｗ ｈ ｉ ｃ ｈｓ ｈ ｏｗ ｓｗｈ ｅ ｔ ｈ ｅ ｒｔ ｈｅｐ ａ ｉ ｒ ｓｏ ｆ ｏ ｂ ｓ ｅｒ ｖａ ｔ ｉ ｏ ｎ ｔ ｅｍｐｏ ｒ ａ ｌ ｌ ｙｃ ｌｏ ｓ ｅ ｏ ｒｎ ｏ ｔ ． Ｔ ｈ ｉ ｓａ ｌ ｌｏ ｗｓ ｕｓｔ ｏ  ｆ ｉ ｎ ｄｎ ａ ｖ ｉ ｇａ ｔ ｉ ｏ ｎ ａ ｌｎ ｏ ｄ ｅ ｓｔ ｈｒ ｏ ｕｇｈｃ ｏ ｍｐａ ｒ ｉ ｎｇ ｔ ｈ ｅ ｔ ｒａｊｅ ｃ ｔ ｏ ｒ ｙｒ ｅ ｃｏ ｒｄ ｉ ｎｇｗｉ ｔ ｈｔ ｈ ｅｍａ ｐ ， ａ ｎ ｄｉ ｎｃ ｒ ｅ ｍｅｎ ｔ ａ ｌ ｌ ｙｄ ｅｓ ｃ ｒｉ ｂｅ ｔ ｈｅｅ ｎ ｖｉ ｒ ｏ ｎ ｍｅ ｎｔ  ｂｙ ｉ ｎ ｔ ｅｇ ｒ ａ ｔ ｉ ｎｇｅ ｖ ｅ ｒｙｏ ｂｓ ｅ ｒｖ ａ ｔ ｉ ｏ ｎｓ ｅｑｕｅ ｎ ｃ ｅ．Ｔ ｈｉ ｓｗｏ ｒｋ ｉ ｓｓ ｕｐｐｏ ｒｔ ｂ ｙｔ ｈ ｅＮａ ｔ ｉ ｏ ｎ ａ ｌＮ ａ ｔ ｕｒ ａ ｌＳ ｃ ｉ ｅ ｎ ｃｅＦｏ ｕ ｎｄ ａ ｔ ｉ ｏ ｎ ｏ ｆＣ ｈ ｉ ｎ ａ （ Ｎｏ ． ６ １ ７ ７ ３ ０ ２ ７ ）  ，ｔ ｈ ｅＮ ａ ｔ ｕｒ ａ ｌＳ ｃ ｉ ｅ ｎ ｃｅＦｏ ｕ ｎｄ ａ ｔ ｉ ｏ ｎｏ ｆＢｅ ｉｊｉ ｎｇ（ Ｎ ｏ ．４ ２ ０ ２ ０ ０ ５ ） ， ａ ｎ ｄｔ ｈｅ Ｐ ｒｏ ｊ ｅ ｃ ｔ ｏ ｆＳ ＆ＴＰ ｌａ ｎ ｏ ｆＢ ｅ ｉｊｉ ｎｇＭ ｕｎ ｉ ｃ ｉ ｐ ａ ｌＣ ｏ ｍｍｉ ｓ ｓ ｉ ｏ ｎ ｏ ｆＥ ｄｕ ｃ ａ ｔ ｉ ｏ ｎ（ Ｎ ｏ ．Ｋ Ｍ２ ０ １ ８ １ ０ ０ ０ ５ ０ ２ ８ ） ．