第４ ５ 卷第９ 期计算机学报Ｖｏ ｌ ． ４ ５Ｎ ｏ ．９２ ０ ２ ２ 年 ９ 月Ｃ Ｈ Ｉ Ｎ Ｅ Ｓ Ｅ Ｊ Ｏ Ｕ Ｒ Ｎ Ａ ＬＯ ＦＣ Ｏ Ｍ Ｐ Ｕ Ｔ Ｅ Ｒ ＳＳ ｅ ｐ ｔ ． ２ ０ ２ ２人机对抗中的博弈学习方法周雷尹奇跃黄凯奇（ 中国科学院自动化研究所智能系统与工程研究中心北京１ ０ ０ １ ９ ０ ）摘要近年来， 人机对抗智能技术作为人工智能领域的前沿方向取得了一系列突破性的进展， 如Ａｌ ｐ ｈ ａ Ｇ ｏ 和Ｄ ｅ ｅ ｐ Ｓ ｔ ａ ｃ ｋ 分别在围棋和二人无限注德州扑克中击败了人类专业选手． 这些突破离不开博弈论和机器学习的深度结合． 本文通过梳理当前人机对抗智能技术领域的重要工作， 深人分析博弈论和机器学习在其中发挥的作用， 总结了面向人机对抗任务的博弈学习研究框架， 指出博弈论为人机对抗任务提供博弈模型和定义求解目标， 机器学习帮助形成稳定高效可扩展的求解算法． 具体地， 本文首先介绍了人机对抗中的博弈学习方法的内涵， 详细阐述了面向人机对抗任务的博弈学习研究框架， 包括博弈模型构建、解概念定义、博弈解计算三个基本步骤， 之后利用该框架分析了当前人机对抗智能技术领域的典型进展， 最后指出了人机对抗中的博弈学习未来发展可能面临的挑战．本文梳理总结的人机对抗中的博弈学习研究框架为人机对抗智能技术领域的发展提供了方法保障和技术途径， 同时也为通用人工智能的发展提供了新思路．关键词人工智能； 人机对抗； 博弈论； 机器学习； 博弈学习中图法分类号Ｔ Ｐ １ ８Ｄ Ｏｌ 号１ ０ ．  １ １ ８ ９ ７ ／ Ｓ Ｐ ．  Ｊ ．  １ ０ １ ６ ．  ２ ０ ２ ２ ．  ０ １ ８ ５ ９Ｇａｍｅ － Ｔ ｈ ｅ ｏ ｒ ｅ ｔ ｉ ｃＬ ｅ ａ ｒｎ ｉ ｎ ｇｉ ｎＨｕｍ ａｎ － Ｃ ｏｍｐ ｕ ｔ ｅ ｒＧ ａｍ ｉ ｎ ｇＺ Ｈ Ｏ ＵＬ ｅ ｉＹ Ｉ ＮＱ ｉ Ｙ ｕ ｅＨ Ｕ Ａ Ｎ ＧＫ ａ ｉ Ｑ ｉ｛ Ｃ ｅ ｎ ｔ ｅ ｒ ｆｏ ｒ  Ｒ ｅ ｓ ｅ ａ ｒ ｃ ｈ  ｏ ｎ  Ｉ ｎ Ｌ ｅ ｌ ｌ ｉ ｇ ｅ ｎ Ｌ  Ｓ ｙ ｓ Ｌ ｅ ｍ ａ ｎ ｄ  Ｅｎ ｇ ｉ ｎ ｅ ｅ ｒ ｉ ｎ ｇ ，Ｉ ｎ ｓ Ｌ ｉ Ｌ ｕ Ｌ ｅ  ｏ ｆ Ａ ｕ Ｌ ｏ ｍａ Ｌ ｉ ｏ ｎ， Ｃ ｈ ｉ ｎ ｅ ｓ ｅ  Ａ ｃ ａ ｄ ｅ ｍｙ ｏ ｆ Ｓ ｃ ｉ ｅ ｎ ｃ ｅ ｓ， Ｂ ｅ ｉｊｉ ｎ ｇ１ ０ ０ １ ９ ０ ）Ａ ｂ ｓ ｔ ｒ ａ ｃ ｔＲ ｅ ｃ ｅ ｎ ｔ  ｄ ｅ ｖ ｅ ｌ ｏ ｐ ｍ ｅ ｎ ｔ  ｉ ｎ  ｔ ｈ ｅ  ｆ ｉ ｅ ｌ ｄ ｏ ｆ ｈ ｕ ｍ ａ ｎ ｃ ｏ ｍ ｐ ｕ ｔ ｅ ｒ  ｇ ａｍ ｉ ｎ ｇ ，ｏ ｎ ｅ ｏ ｆ  ｔ ｈ ｅ  ｆ ｒ ｏ ｎ ｔ ｉ ｅ ｒ ｓ ｉ ｎａ ｒ ｔ ｉ ｆ ｉ ｃ ｉ ａ ｌ  ｉ ｎ ｔ ｅ ｌ ｌ ｉ ｇ ｅ ｎ ｃ ｅ  （ Ａ Ｉ ）  ，ｈ ａ ｓ ｗ ｉ ｔ ｎ ｅ ｓ ｓ ｅ ｄ  ａ  ｓ ｅ ｒ ｉ ｅ ｓ  ｏ ｆ  ｂ ｒ ｅ ａ ｋ ｔ ｈ ｒ ｏ ｕ ｇ ｈ ｓ，ｓ ｕ ｃ ｈ  ａ ｓ Ａ ｌ ｐ ｈ ａ Ｇ ｏ  ａ ｎ ｄＤ ｅ ｅ ｐ Ｓ ｔ ａ ｃ ｋｂ ｅ ａ ｔ  ｐ ｒ ｏ ｆ ｅ ｓ ｓ ｉ ｏ ｎ ａ ｌ ｈ ｕ ｍ ａ ｎ  ｐ ｌ ａ ｙ ｅ ｒ ｓ  ｉ ｎ Ｇ ｏ  ａ ｎ ｄ ｈ ｅ ａ ｄ ｓ ｕ ｐ  ｎ 〇ｌ ｉ ｍ ｉ ｔ Ｔ ｅ ｘ ａ ｓ Ｈ ｏ ｌ ｄ？ｅ ｍ ， ｒ ｅ ｓ ｐ ｅ ｃ ｔ ｉ ｖ ｅ ｌ ｙ ．Ｓ ｕ ｃ ｈｓ ｕ ｃ ｃ ｅ ｓ ｓ ｅ ｓ  ｄ ｅ ｍ ｏ ｎ ｓ ｔ ｒ ａ ｔ ｅ  ｓ ｙ ｎ ｅ ｒ ｇ ｉ ｓ ｔ ｉ ｃ  ｉ ｎ ｔ ｅ ｒ ａ ｃ ｔ ｉ ｏ ｎ ｓ  ｂ ｅ ｔ ｗ ｅ ｅ ｎ  ｇ ａ ｍ ｅ  ｔ ｈ ｅ ｏ ｒ ｙ ａ ｎ ｄ ｍ ａ ｃ ｈ ｉ ｎ ｅ  ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ ．Ｇ ａ ｍ ｅｔ ｈ ｅ ｏ ｒ ｙ ｉ ｓ  ａ  ｔ ｈ ｅ ｏ ｒ ｅ ｔ ｉ ｃ ａ ｌ  ｆ ｒ ａ ｍ ｅ ｗ ｏ ｒ ｋ  ｔ ｈ ａ ｔ  ｄ ｅ ａ ｌ ｓ ｗ ｉ ｔ ｈ ｓ ｔ ｒ ａ ｔ ｅ ｇ ｉ ｃ  ｉ ｎ ｔ ｅ ｒ ａ ｃ ｔ ｉ ｏ ｎ ｓ  ａｍ ｏ ｎ ｇ ｍ ｕ ｌ ｔ ｉ ｐ ｌ ｅ  ｒ ａ ｔ ｉ ｏ ｎ ａ ｌｐ ｌ ａ ｙ ｅ ｒ ｓ ．Ｃ ｏ ｍ ｂ ｉ ｎ ｅ ｄ ｗ ｉ ｔ ｈ ｍ ａ ｃ ｈ ｉ ｎ ｅ  ｌ ｅ ａ ｒ ｎ ｉ ｎｇ ，ｉ ｔ  ｉ ｓ ｗ ｅ ｌ ｌ  ｓ ｕ ｉ ｔ ｅ ｄ ｆ ｏ ｒ ｍ ｏ ｄ ｅ ｌ ｉ ｎｇ ，ａ ｎ ａ ｌ ｙ ｚ ｉ ｎｇ ，ａ ｎ ｄ ｓ ｏ ｌ ｖ ｉ ｎｇｄ ｅ ｃ ｉ ｓ ｉ ｏ ｎ ｍ ａ ｋ ｉ ｎｇ  ｐ ｒ ｏ ｂ ｌ ｅ ｍ ｓ  ｉ ｎ ｈ ｕｍ ａ ｎ ｃ ｏｍ ｐｕ ｔ ｅ ｒ ｇ ａｍ ｉ ｎｇ  ｔ ａ ｓ ｋ ｓ  ｔ ｈ ａ ｔ  ｏ ｆ ｔ ｅ ｎ ｉ ｎ ｖ ｏ ｌ ｖ ｅ  ｔ ｗ ｏ  ｏ ｒ ｍ ｏ ｒ ｅ  ｄ ｅ ｃ ｉ ｓ ｉ ｏ ｎｍ ａ ｋ ｅ ｒ ｓ ．Ｇ ａｍ ｅ  ｔ ｈ ｅ ｏ ｒ ｙ  ｂ ａ ｓ ｅ ｄ  ｌ ｅ ａ ｒ ｎ ｉ ｎｇ ｍ ｅ ｔ ｈ ｏ ｄ ｓ  ｔ ｈ ｕ ｓ  ｒ ｅ ｃ ｅ ｉ ｖ ｅ  ｉ ｎ ｃ ｒ ｅ ａ ｓ ｉ ｎｇ  ａ ｔ ｔ ｅ ｎ ｔ ｉ ｏ ｎ ｉ ｎ ｒ ｅ ｃ ｅ ｎ ｔ  ｙ ｅ ａ ｒ ｓ ．Ｂ ｅ ｓ ｉ ｄ ｅ ｓ  ｔ ｈ ｅ ｐ ｏ ｐ ｕ ｌ ａ ｒ ｍ ｕ ｌ ｔ ｉ ａ ｇ ｅ ｎ ｔ  ｒ ｅ ｉ ｎ ｆ ｏ ｒ ｃ ｅ ｍ ｅ ｎ ｔｌ ｅ ａ ｒ ｎ ｉ ｎ ｇａ ｐ ｐ ｒ ｏ ａ ｃ ｈ ｅ ｓ，ｔ ｈ ｅ ｒ ｅ ａ ｒ ｅ ｓ ｏ ｍ ｅ ｏ ｔ ｈ ｅ ｒ ｇ ａ ｍ ｅｔ ｈ ｅ ｏ ｒ ｙ ｂ ａ ｓ ｅ ｄｌ ｅ ａ ｒ ｎ ｉ ｎ ｇｍ ｅ ｔ ｈ ｏ ｄ ｓ，ｉ ．  ｅ ．， ｇ ａｍ ｅ ｔ ｈ ｅ ｏ ｒ ｅ ｔ ｉ ｃｌ ｅ ａ ｒ ｎ ｉ ｎ ｇｍ ｅ ｔ ｈ ｏ ｄ ｓ，ｔ ｈ ａ ｔａ ｒ ｅｄ ｅ ｓ ｉ ｇ ｎ ｅ ｄｔ ｏｃ ｏ ｎ ｖ ｅ ｒ ｇ ｅ  ｔ ｏ  ｅ ｑ ｕ ｉ ｌ ｉ ｂ ｒ ｉ ａ  ａ ｎ ｄ  ｃ ａ ｎ  ｂ ｅ  ｄ ａ ｔ ｅ ｄ  ｂ ａ ｃ ｋ  ｔ ｏ  ｔ ｈ ｅ  ｆ ａ ｍ ｏ ｕ ｓ  ｆ ｉ ｃ ｔ ｉ ｔ ｉ ｏ ｕ ｓ  ｐ ｌ ａ ｙ  ｐ ｒ ｏ ｐ ｏ ｓ ｅ ｄ  ｉ ｎ  １ ９ ５ １ ．Ｉ ｎ  ｔ ｈ ｉ ｓｐ ａ ｐ ｅ ｒ， ｗ ｅ  ｇ ｉ ｖ ｅ  ａ  ｓ ｅ ｌ ｅ ｃ ｔ ｉ ｖ ｅ  ｏ ｖ ｅ ｒ ｖ ｉ ｅｗ ｏ ｆ  ｓ ｕ ｃ ｈ  ｇ ａ ｍ ｅ ｔ ｈ ｅ ｏ ｒ ｅ ｔ ｉ ｃ  ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ ｍ ｅ ｔ ｈ ｏ ｄ ｓ  ｉ ｎ ｈ ｕ ｍ ａ ｎ ｃ ｏ ｍ ｐ ｕ ｔ ｅ ｒｇ ａｍ ｉ ｎ ｇ ．Ｂ ｙ ａ ｎ ａ ｌ ｙ ｚ ｉ ｎ ｇｋ ｅ ｙ ｐ ｒ ｏ ｇ ｒ ｅ ｓ ｓ ｅ ｓｉ ｎ ｔ ｈ ｅ ｆ ｉ ｅ ｌ ｄ  ｏ ｆ ｈ ｕ ｍ ａ ｎ ｃ ｏ ｍ ｐ ｕ ｔ ｅ ｒ ｇ ａ ｍ ｉ ｎ ｇａ ｎ ｄ ｇ ａ ｍ ｅ ｔ ｈ ｅ ｏ ｒ ｙ（ ｉ ｎ ｃ ｌ ｕ ｄ ｉ ｎｇ ｇ ａｍ ｅ ｔ ｈ ｅ ｏ ｒ ｅ ｔ ｉ ｃ  ｌ ｅ ａ ｒ ｎ ｉ ｎｇ ） ， ｗ ｅ  ｏ ｂ ｔ ａ ｉ ｎ  ａ  ｒ ｅ ｓ ｅ ａ ｒ ｃ ｈ ｆ ｒ ａｍ ｅ ｗ ｏ ｒ ｋ  ｆ ｏ ｒ ｇ ａ ｍ ｅ ｔ ｈ ｅ ｏ ｒ ｅ ｔ ｉ ｃ  ｌ ｅ ａ ｒ ｎ ｉ ｎｇｉ ｎ  ｈ ｕ ｍ ａ ｎ ｃ ｏ ｍ ｐｕ ｔ ｅ ｒ  ｇ ａ ｍ ｉ ｎｇ ．Ｉ ｎ  ｔ ｈ ｉ ｓ  ｆ ｒ ａｍ ｅ ｗ ｏ ｒ ｋ，ｔ ｈ ｅ ｒ ｏ ｌ ｅ ｏ ｆ  ｇ ａｍ ｅ  ｔ ｈ ｅ ｏ ｒ ｙ ａ ｎ ｄ ｍ ａ ｃ ｈ ｉ ｎ ｅ ｌ ｅ ａ ｒ ｎ ｉ ｎｇｅ ａ ｃ ｈ ｐ ｌ ａ ｙ ｓ  ｉ ｓ  ｉ ｄ ｅ ｎ ｔ ｉ ｆ ｉ ｅ ｄ ：ｇ ａｍ ｅ  ｔ ｈ ｅ ｏ ｒ ｙ  ｐ ｒ ｏ ｖ ｉ ｄ ｅ ｓ ｍ ｏ ｄ ｅ ｌ ｓ  ｏ ｆ  ｓ ｔ ｒ ａ ｔ ｅ ｇ ｉ ｃ  ｉ ｎ ｔ ｅ ｒ ａ ｃ ｔ ｉ ｏ ｎ ｓ  ａ ｎ ｄ  ｄ ｅ ｆ ｉ ｎ ｅ ｓ  ａ ｓ ｓ ｏ ｃ ｉ ａ ｔ ｅ ｄｌ ｅ ａ ｒ ｎ ｉ ｎｇ  ｏ ｂｊｅ ｃ ｔ ｉ ｖ ｅ ｓ （ ｉ ．  ｅ ．  ，ｓ ｏ ｌ ｕ ｔ ｉ ｏ ｎｃ ｏ ｎ ｃ ｅ ｐ ｔ ｓ ）ｗ ｈ ｉ ｌ ｅ ｍ ａ ｃ ｈ ｉ ｎ ｅｌ ｅ ａ ｒ ｎ ｉ ｎｇｈ ｅ ｌ ｐ ｓｇ ｉ ｖ ｅ ｒ ｉ ｓ ｅ ｔ ｏｓ ｔ ａ ｂ ｌ ｅ，收稿日期： ２ ０ ２ １ ０ ９ １ ４； 在线发布日期： ２ ０ ２ ２ ０ ３ ２ ２ ． 本课题得到中国科学院战略性先导科技专项（ Ａ 类） （ Ｘ Ｄ Ａ ２ ７ ０ １ ０ １ ０ ３ ） 资助． 周雷， 博士， 助理研究员， 主要研究方向为演化博弈论、机器学习、博弈学习． Ｅ ｍ ａ ｉ ｌ：  ｌ ｅ ｉ ． ｚ ｈ ｏ ｕ ＠ ｉ ａ ． ａ ｃ ． ｃ ｎ ． 尹奇跃， 博士， 副研究员， 硕士生导师， 中国计算机学会（ Ｃ Ｃ Ｆ ） 会员， 主要研究领域为机器学习、数据挖掘、博弈决策． 黄凯奇（ 通信作者） ， 博士， 研究员， 博士生导师， 主要研究领域为计算机视觉、模式识别、认知决策． Ｅ ｍ ａ ｉ ｌ：  ｋ ｑ ｈ ｕ ａ ｎ ｇ ＠ ｎ ｌ ｐ ｒ ．  ｉ ａ ．  ａ ｃ ．  ｃ ｎ ．１ ８ ６ ０ 计算机学报 ２ ０ ２ ２ 年ｅ ｆ ｆ ｉ ｃ ｉ ｅ ｎ ｔ， ａ ｎ ｄ ｓ ｃ ａ ｌ ａ ｂ ｌ ｅ ｇ ａ ｍ ｅ  ｓ ｏ ｌ ｖ ｉ ｎ ｇ ａ ｌ ｇ ｏ ｒ ｉ ｔ ｈ ｍ ｓ ．Ｉ ｎ  ｄ ｅ ｔ ａ ｉ ｌ， ｗ ｅ  ｆ ｉ ｒ ｓ ｔ  ｒ ｅ ｖ ｉ ｅｗ ｉ ｍ ｐ ｏ ｒ ｔ ａ ｎ ｔ  ｐ ｒ ｏ ｇ ｒ ｅ ｓ ｓ ｅ ｓ  ｉ ｎｔ ｈ ｅ  ｆ ｉ ｅ ｌ ｄｏ ｆｈ ｕ ｍ ａ ｎ ｃ ｏ ｍ ｐ ｕ ｔ ｅ ｒｇ ａｍ ｉ ｎ ｇａ ｎ ｄｇ ａ ｍ ｅｔ ｈ ｅ ｏ ｒ ｙ ．Ｔ ｈ ｅ ｎ ，ｗ ｅｉ ｎ ｔ ｒ ｏ ｄ ｕ ｃ ｅｔ ｈ ｅｄ ｅ ｆ ｉ ｎ ｉ ｔ ｉ ｏ ｎｏ ｆｇ ａｍ ｅ ｔ ｈ ｅ ｏ ｒ ｅ ｔ ｉ ｃ ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇｉ ｎｈ ｕ ｍ ａ ｎ ｃ ｏ ｍ ｐ ｕ ｔ ｅ ｒｇ ａ ｍ ｉ ｎ ｇａ ｎ ｄｃ ｏ ｍ ｐ ａ ｒ ｅｉ ｔｗ ｉ ｔ ｈｔ ｒ ａ ｄ ｉ ｔ ｉ ｏ ｎ ａ ｌｍ ａ ｃ ｈ ｉ ｎ ｅｌ ｅ ａ ｒ ｎ ｉ ｎ ｇｍ ｅ ｔ ｈ ｏ ｄ ｓｓ ｕ ｃ ｈａ ｓｓ ｕ ｐ ｅ ｒ ｖ ｉ ｓ ｅ ｄｌ ｅ ａ ｒ ｎ ｉ ｎ ｇａ ｎ ｄｓ ｉ ｎ ｇ ｌ ｅ ａ ｇ ｅ ｎ ｔｒ ｅ ｉ ｎ ｆ ｏ ｒ ｃ ｅ ｍ ｅ ｎ ｔｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ ．Ａ ｆ ｔ ｅ ｒｔ ｈ ａ ｔ，ｗ ｅ ｅ ｌ ａ ｂ ｏ ｒ ａ ｔ ｅ  ｏ ｎ  ｉ ｔ ｓ  ｒ ｅ ｓ ｅ ａ ｒ ｃ ｈ  ｆ ｒ ａ ｍ ｅ ｗ ｏ ｒ ｋ ．Ｉ ｎ ｔ ｕ ｉ ｔ ｉ ｖ ｅ ｌ ｙ ，ｔ ｈ ｉ ｓ  ｒ ｅ ｓ ｅ ａ ｒ ｃ ｈ  ｆ ｒ ａ ｍ ｅ ｗ ｏ ｒ ｋ  ｅ ｑ ｕ ｉ ｖ ａ ｌ ｅ ｎ ｔ ｌ ｙｏ ｒ  ａ ｐ ｐ ｒ ｏ ｘ ｉ ｍ ａ ｔ ｅ ｌ ｙ  ｔ ｒ ａ ｎ ｓ ｆ ｏ ｒ ｍ ｓ  ｔ ｈ ｅ  ｐ ｒ ｏ ｂ ｌ ｅ ｍｏ ｆ  ａ ｃ ｈ ｉ ｅ ｖ ｉ ｎｇ  ａ  ｇｏ ｏ ｄ ｐ ｅ ｒ ｆ ｏ ｒ ｍ ａ ｎ ｃ ｅ  ｉ ｎ  ａ ｃ ｌ ａ ｓ ｓ  ｏ ｆ  ｈ ｕ ｍ ａ ｎｃ ｏ ｍｐｕ ｔ ｅ ｒ ｇ ａ ｍ ｉ ｎｇ  ｔ ａ ｓ ｋ ｓ  ｉ ｎ ｔ ｏｔ ｈ ｅ ｐ ｒ ｏ ｂ ｌ ｅ ｍ ｏ ｆ ｓ ｏ ｌ ｖ ｉ ｎｇａ ｃ ｌ ａ ｓ ｓｏ ｆ ｇ ａｍ ｅ ｓ ．Ａ ｓ ｗ ｅ ｓ ｕ ｍ ｍ ａ ｒ ｉ ｚ ｅ，ｓ ｕ ｃ ｈｔ ｒ ａ ｎ ｓ ｆ ｏ ｒ ｍ ａ ｔ ｉ ｏ ｎｕ ｓ ｕ ａ ｌ ｌ ｙｔ ａ ｋ ｅ ｓｔ ｈ ｒ ｅ ｅｂ ａ ｓ ｉ ｃｓ ｔ ｅ ｐ ｓ ：ｇ ａ ｍ ｅｍ ｏ ｄ ｅ ｌｆ ｏ ｒ ｍ ｕ ｌ ａ ｔ ｉ ｏ ｎ ，ｓ ｏ ｌ ｕ ｔ ｉ ｏ ｎｃ ｏ ｎ ｃ ｅ ｐ ｔｄ ｅ ｆ ｉ ｎ ｉ ｔ ｉ ｏ ｎ ， ａ ｎ ｄ  ｇ ａ ｍ ｅ  ｓ ｏ ｌ ｕ ｔ ｉ ｏ ｎ  ｃ ｏ ｍ ｐ ｕ ｔ ａ ｔ ｉ ｏ ｎ ．Ｅ ｍ ｐ ｌ ｏ ｙ ｉ ｎ ｇ  ｔ ｈ ｉ ｓ  ｆ ｒ ａｍ ｅ ｗ ｏ ｒ ｋ，ｗ ｅ  ａ ｌ ｓ ｏ  ａ ｎ ａ ｌ ｙ ｚ ｅ  ａ  ｒ ｅ ｃ ｅ ｎ ｔｇ ａｍ ｅ ｔ ｈ ｅ ｏ ｒ ｅ ｔ ｉ ｃ  ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ  ａ ｌ ｇ ｏ ｒ ｉ ｔ ｈ ｍ ｔ ｈ ａ ｔ  ｃ ｏ ｍ ｂ ｉ ｎ ｅ ｓ ｆ ｉ ｃ ｔ ｉ ｔ ｉ ｏ ｕ ｓ ｐ ｌ ａ ｙ ａ ｎ ｄ ｄ ｅ ｅ ｐ  ｒ ｅ ｉ ｎ ｆ ｏ ｒ ｃ ｅ ｍ ｅ ｎ ｔ  ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇｃ ａ ｌ ｌ ｅ ｄｎ ｅ ｕ ｒ ａ ｌｆ ｉ ｃ ｔ ｉ ｔ ｉ ｏ ｕ ｓｓ ｅ ｌ ｆ ｐ ｌ ａ ｙ ，ａ ｎ ｄａ ｌ ｓ ｏｔ ｈ ｒ ｅ ｅｍ ｉ ｌ ｅ ｓ ｔ ｏ ｎ ｅ ｓｉ ｎｔ ｈ ｅｆ ｉ ｅ ｌ ｄｏ ｆｈ ｕ ｍ ａ ｎ ｃ ｏ ｍ ｐ ｕ ｔ ｅ ｒｇ ａｍ ｉ ｎ ｇ ，ｉ ．  ｅ ．， Ａ ｌ ｐ ｈ ａ Ｇ ｏ  Ｚ ｅ ｒ ｏ ，Ｌ ｉ ｂ ｒ ａ ｔ ｕ ｓ， ａ ｎ ｄ Ａ ｌ ｐ ｈ ａ Ｓ ｔ ａ ｒ ． Ａ ｔ  ｔ ｈ ｅ  ｅ ｎ ｄ， ｗ ｅ ｐ ｏ ｉ ｎ ｔ  ｏ ｕ ｔ  ｐ ｏ ｓ ｓ ｉ ｂ ｌ ｅ ｐ ｒ ｏ ｂ ｌ ｅ ｍ ｓａ ｎ ｄ  ｃ ｈ ａ ｌ ｌ ｅ ｎｇ ｅ ｓ  ｉ ｎ  ｔ ｈ ｅ  ｆ ｕ ｔ ｕ ｒ ｅ  ｒ ｅ ｓ ｅ ａ ｒ ｃ ｈ  ｏ ｆ ｇ ａｍ ｅ ｔ ｈ ｅ ｏ ｒ ｅ ｔ ｉ ｃ  ｌ ｅ ａ ｒ ｎ ｉ ｎｇ  ｉ ｎ ｈ ｕ ｍ ａ ｎ ｃ ｏ ｍｐｕ ｔ ｅ ｒ ｇ ａｍ ｉ ｎｇ ，  ｓ ｕ ｃ ｈａ ｓ  ｔ ｈ ｅ  ｄ ｅ ｆ ｉ ｎ ｉ ｔ ｉ ｏ ｎ  ｏ ｆ  ｌ ｅ ａ ｒ ｎ ｉ ｎｇ  ｏ ｂｊｅ ｃ ｔ ｉ ｖ ｅ ｓ ｉ ｎ ｇ ｅ ｎ ｅ ｒ ａ ｌ ｓ ｕｍ ｇ ａｍ ｅ ｓ， ｔ ｈ ｅ  ｉ ｎ ｔ ｅ ｒ ｐ ｒ ｅ ｔ ａ ｂ ｉ ｌ ｉ ｔ ｙ ｏ ｆ  ｇ ａｍ ｅ ｔ ｈ ｅ ｏ ｒ ｅ ｔ ｉ ｃｌ ｅ ａ ｒ ｎ ｉ ｎｇ  ａ ｌ ｇｏ ｒ ｉ ｔ ｈ ｍ ｓ  ｂ ａ ｓ ｅ ｄ  ｏ ｎ  ｄ ｅ ｅ ｐ ｎ ｅ ｕ ｒ ａ ｌ  ｎ ｅ ｔ ｗ ｏ ｒ ｋ ｓ，  ｔ ｈ ｅ  ｄ ｅ ｓ ｉ ｇｎ  ｏ ｆ  ｄ ｉ ｖ ｅ ｒ ｓ ｅ  ｅ ｎ ｖ ｉ ｒ ｏ ｎ ｍ ｅ ｎ ｔ  ｓ ｕ ｉ ｔ ａ ｂ ｌ ｅ  ｆ ｏ ｒｇ ａｍ ｅ ｔ ｈ ｅ ｏ ｒ ｅ ｔ ｉ ｃ  ｌ ｅ ａ ｒ ｎ ｉ ｎｇ ， ａ ｎ ｄ ｔ ｈ ｅ  ｅ ｆ ｆ ｉ ｃ ｉ ｅ ｎ ｔ  ｓ ｏ ｌ ｖ ｉ ｎｇ ｏ ｆ  ｃ ｏ ｍｐ ｌ ｅ ｘ  ｌ ａ ｒ ｇ ｅ ｓ ｃ ａ ｌ ｅ  ｇ ａ ｍ ｅ ｓ  ｔ ｈ ａ ｔ ｍ ａ ｙ ｅ ｘ ｈ ｉ ｂ ｉ ｔｎ ｏ ｎ ｔ ｒ ａ ｎ ｓ ｉ ｔ ｉ ｖ ｅ  ｇ ａｍ ｅ  ｂ ｅ ｈ ａ ｖ ｉ ｏ ｒ ｓ ．Ｗ ｅ  ｂ ｅ ｌ ｉ ｅ ｖ ｅ  ｔ ｈ ａ ｔ  ｔ ｈ ｅ  ｒ ｅ ｓ ｅ ａ ｒ ｃ ｈ  ｆ ｒ ａｍ ｅｗ ｏ ｒ ｋ  ｏ ｆ  ｇ ａ ｍ ｅ ｔ ｈ ｅ ｏ ｒ ｅ ｔ ｉ ｃ  ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇｉ ｎ  ｈ ｕ ｍ ａ ｎ ｃ ｏｍ ｐ ｕ ｔ ｅ ｒ  ｇ ａｍ ｉ ｎ ｇ  ｏ ｆ ｆ ｅ ｒ ｓ  ｇ ｕ ｉ ｄ ａ ｎ ｃ ｅ  ｆ ｏ ｒ  ｔ ｈ ｅ  ｆ ｕ ｔ ｕ ｒ ｅ  ｄ ｅ ｖ ｅ ｌ ｏ ｐ ｍ ｅ ｎ ｔ  ｏ ｆ  ｈ ｕ ｍ ａ ｎ ｃ ｏ ｍ ｐ ｕ ｔ ｅ ｒ  ｇ ａｍ ｉ ｎ ｇ ，ａ ｎ ｄ  ｉ ｔ  ａ ｌ ｓ ｏ  ｐ ｒ ｏ ｖ ｉ ｄ ｅ ｓ  ｎ ｅ ｗ ｐ ｅ ｒ ｓ ｐ ｅ ｃ ｔ ｉ ｖ ｅ ｓ  ｏ ｎ  ｔ ｈ ｅ  ｄ ｅ ｖ ｅ ｌ ｏ ｐ ｍ ｅ ｎ ｔ  ｏ ｆ  ａ ｒ ｔ ｉ ｆ ｉ ｃ ｉ ａ ｌ  ｇ ｅ ｎ ｅ ｒ ａ ｌ  ｉ ｎ ｔ ｅ ｌ ｌ ｉ ｇ ｅ ｎ ｃ ｅ ．Ｋ ｅ ｙｗ ｏ ｒ ｄ ｓａ ｒ ｔ ｉ ｆ ｉ ｃ ｉ ａ ｌｉ ｎ ｔ ｅ ｌ ｌ ｉ ｇ ｅ ｎ ｃ ｅ；ｈ ｕ ｍ ａ ｎ ｃ ｏ ｍ ｐ ｕ ｔ ｅ ｒｇ ａｍ ｉ ｎ ｇ ；ｇ ａ ｍ ｅｔ ｈ ｅ ｏ ｒ ｙ ；ｍ ａ ｃ ｈ ｉ ｎ ｅｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ ；ｇ ａｍ ｅ ｔ ｈ ｅ ｏ ｒ ｅ ｔ ｉ ｃ  ｌ ｅ ａ ｒ ｎ ｉ ｎｇｉ 引言人机对抗智能技术研究计算机博弈中机器战胜人类的方法， 是当前人工智能研究领域的前沿方向，它以人机（ 人类与机器） 和机机（ 机器与机器） 对抗为主要形式研究不同博弈场景下， 机器智能战胜人类智能的基础理论与方法技术［１］． 人机对抗智能技术通过人、机、环境之间的博弈对抗和交互学习， 探索巨复杂、高动态、不确定的对抗环境下机器智能快速增长的机理和途径， 以期最终达到或者超越人类智能？．人机对抗智能技术的突破离不开机器学习的发展， 机器学习主要研究如何让机器通过与数据的交互实现能力的提升． 然而， 与传统的机器学习关注单智能体（ ｓ ｉ ｎｇ ｌ ｅ ａ ｇ ｅ ｎ ｔ ） 与环境的交互不同， 人机对抗智能技术研究的场景往往包含两个或两个以上智能体， 也就是多智能体（ ｍ ｕ ｌ ｔ ｉ ａ ｇ ｅ ｎ ｔ ） 的情形， 这些智能体都拥有自己的优化目标， 比如最大化自身收益． 此时， 如果直接应用单智能体机器学习方法， 得到的智能体（ 称为中心智能体）一般表现欠佳［４ ５］． 这是因为传统机器学习方法假设数据的产生机制是平稳的（ ｓ ｔ ａ ｔ ｉ ｏ ｎ ａ ｒ ｙ ）［ ６ ］（ 即数据均来自于同一个分布，简称为环境的平稳性） ， 这一假设忽略了研究场景中的其他智能体， 而这些智能体也同时在进行学习， 因此其行为模式会随着时间发生变化， 从而破坏中心智能体所处环境的平稳性， 进而导致传统机器学习方法失去理论保证＆ ３ ］． 更为严峻的是， 随着人机对抗场景中智能体数量的增加， 环境非平稳的问题将会愈发凸显， 多个趋利的智能体在学习的过程中相互影响的情况将不可避免．为了处理环境非平稳的问题， 有学者考虑将博弈论引人机器学习方法中［７］． 这主要是因为博弈论本身就是为了研究多个利己个体之间的策略性交互（ ｓ ｔ ｒ ａ ｔ ｅ ｇ ｉ ｃ  ｉ ｎ ｔ ｅ ｒ ａ ｃ ｔ ｉ ｏ ｎ ｓ ） 而发展的数学理论． 博弈论诞生于 Ｉ ９ ４ ４ 年 ｖ ｏ ｎ Ｎ ｅ ｕ ｍ ａ ｎ ｎ 和Ｍ ｏ ｒ ｇ ｅ ｎ ｓ ｔ ｅ ｒ ｎ合著白句Ｔ ｈ ｅ ｏ ｒ ｙ ｏ ｆ Ｇ ａ ｍ ｅ ｓ  ａ ｎ ｄＥ ｃ ｏ ｎ ｏ ｍ ｉ ｃ Ｂ ｅ ｈ ａ ｖ ｉ ｏ ｒ［８］ ？ 在完全理性的假设下， 博弈论给出了一系列解概念来预测博弈最终可能的结果． 博弈论早期的大部分工作关注不同博弈场景下解概念（ ｓ ｏ ｌ ｕ ｔ ｉ ｏ ｎ  ｃ ｏ ｎ ｃ ｅ ｐ ｔ ｓ ） 的定义、精炼（ ｒ ｅ ｆｉ ｎ ｅ ｍ ｅ ｎ ｔ ） 、存在性及其拥有的性质［ ９ ］． 随① 人机对抗智能技术门户网站． 网址： ｈ ｔ ｔ ｐ ： ／ ／ ｔ ｕ ｒ ｉ ｎ ｇ ａ ｉ ．  ｉ ａ ．  ａ ｃ ．  ｃ ｎ ／，爵輝： 人机对拣中繼灣学：爾＊＆ Ｊ１ ＩＩ着博弈论的发展， 部分研究者开始研究在？ 歲全理性的倩形下， 个体是否可以通过迭代孛习的方式来达到这些解概念ｓ 其中著名的工作包栝Ｂｒ ｏｗ ｎ 提出的虚ＩＫ ｌ＾ｌｉ Ｑｉ ｃ ｔ ｉｔ ｉｏ ｔｓ  ｐ ｌ ａ ｙ ，）Ｃｌ ０］ ＾ Ｈ ａｎｎａｎ ｆＨ Ｂｌ ａｃｋｗ ｅ ｌ ｌ －ｆｆｌ（ ｎ ｏ ｒ ｅｇｒ ｅｉ  ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ ｊ  ｒ ｅｇｒｅ ｔ ｍ ｉ ｎ ｉ ｍｉ ｚａ ｔ ｉ ｏ ｎ ．ｏｒ Ｈ ｓ ｎ ｎ ａ ｎ  Ｃ Ｄ ｎ ｓｆｅｔｅ ｕ ｅｙ ）［ １ １ １ ３ ］ 等，近年来， 得益于机器算力的提升和深＇度学习的兴起． 人机对抗智能技术领域取得了一系列突破， 如Ｄ ｅ ｅｐ Ｍ ｉ ｎ ｄ 团队开发的Ａ ｌ ｐｈ‘〇Ｍ首次击败了人类■模顶尖选手李世右， 阿尔伯塔大学团队开发的Ｄ枕ｐＳｔａ ｃ ｋ？在二人无限注德州扑克中击败了专＇家铁人翁＿ 等＿Ａｌ ｐｔｏＧｏ ：中？ ＿ 裱義機为二人零和完美信息扩展形式博弈， 并利用１ 我对局蒙特卡洛树搜索以及探度禅经网络近似来对博弈进行求解＃ 在Ｄ ｅ ｅ ｐ Ｓ ｔ ａｃ ｋ 中， 二人德州扑克被建模为二人零和非完錢值息扩展形式博穽． ， 求解方法结合了自我对鳥、萬事实遽憾最小化算法以及深度神■ 网络近似． 从这些例子可以看衝． 人机对抗智能技术领域的突破离不开博弈论和机器学习的探度结合．然而， 虽然人机对抗智能技术领域目前取得Ｔ一系列突破， 博弈论与机器学习交叉方向的研究却缺焉猜晰的研究框架． 基于此， 本文通过梳琿人机对揉智猶技术领域的麗蘩：工推， 介＇绍了人机对養中的博：＿攀５ ＃法他内涵总錯了Ｗ 向人机对秔任务的博弈擧习研究框架ｆ 包括其组成婆素和基本步骤， 并利用该框架对人机对抗智能技术领域的典型进展进行了分析． ．本文作者认为， 随着人机对抗智能技术领域实验场景和测试环境逐渐接近真实场景， 场景的复杂性和对抗性急剧增加． 结合现代机器学习方法和博弈论的博弈学习方法将会在未来人机对抗领域的发展中发挥越来越重要的作用．２ 发展历史自图灵测试这一人机对抗模式在１ ３ ５ ０ 年被提出＆ ６］ 以来． 博弈论和机器学习就在人工智能的发展中发挥着：越来越黨要的作用ｒ并呈现出交叉融合的趋势． 本文梳理了人机对抗智能技术和博弈论铒域开创性的工作和里程碑事；件． 并将其发展历史分为两条路线，一条是博弈论绪合专家系统（ 见图１ 中绿色实线） ． 另一条是博弈论结合学习方法（ 见图１ 中橙色虚钱） ，Ｓ ｈ ａ ｎ ｎ ｏ ｎ 发表第篇利用计算机编程设计国际象棋走子程序的论文Ｎ ｅ ｗｅ ｌ ｌ，  Ｓ ｈ ａｗ 和Ｓ ｉ ｍｏ ｎ 使用ａ ｌ ｐｈ ａ ｂ ｅｔ ａ 前枝算法设计Ｗ 际象棋走子程序Ｌ ｉ ｕｍａ ｎ 建立随机博弈与多智能体强化学习之间的联系Ｓ ａｍｕ ｅ ｌ 发表论文阐述４ ： 学习跳棋程序的设计原理Ｂ ｅ ｎ ｓ ｔ ｅ ｉ ｎ 完成并展示了第一个能完成整局的国际象棋程序圓 Ｉ Ｂ Ｍ 公； ｅ ｐ Ｂ ｌ ｕ ｅ 击败国际Ｊｆ ｐ Ｋａ ｓ ｐａ ｒ ｏｖＴ ｃ ｓ ａ ｕ ｒ ｏ利用强化学习和人工神经Ｍ 络训练出了自主提升的双陆棋程序Ｔ Ｄ －Ｇ ａ ｍ ｍｏ ｎ＼Ａ＿Ｓ ｔ ａ ｒ击败星际争霸２ 专业Ａｌ ｐ ｈ ａＧｏ Ｚ ｅ ｒ ｏ无需人类级选手， 达到经验从零自学， ３ 天后宗师级段位以１ ０ ０ 比０ 击败Ａｌ ｐ ｈ ａＧ ｏＤ ｅ ｅｐＭ ｉ ｎ ｄ 团队Ａ ｌ ｐ ｈ ａ Ｇ ｏ击败人类囤棋顶级ｌ选手李世石Ｔ ． ｉ ｂ ｒ ａ ｔ ｕ ｓ 在一人无限注德Ｐ ｌ ｕ ｒ ｉ ｂ ｕ ｓ 在六人无限注州扑克中击败人类专业德州扑克中击败人类级选手专、Ｉ ｋ 级选手／１ ９ ４ ４ １ ９ ５ ０１ ９ ５ １１ ９ ５ ３１ ９ ５ ６１ ９ ５ ７１ ９ ５ ８  １ ９ ５ ９Ｎ Ｉ ）  Ｋ Ｃ Ｏ Ｎ Ｏ Ｍ Ｉ ＩＢ Ｉ Ｓ Ｈ Ａ Ｖ Ｉ Ｏ ＫＮ ａ ｓ ｈ 提出策ｖ ｏｎ  Ｎ ｅ ｕｍ ａ ｎ ｎ 和略均衡的概Ｍ ｏｒ ｇ ｅ ｎ ｓ ｔ ｅｍ念（ 即纳什合著Ｔ ｈ ｅ ｏ ｒ ｙ ｏ ｆ均衡）Ｇ ａ ｍ ｅ ｓ  ａ ｎ ｄＥ ｃ ｏ ｎ ｏ ｍ ｉ ｃＢ ｅ ｈ ａ ｖ ｉ ｏ ｒ ，标志着博弈论的诞生１ ９ ９ ２１ ９ ９ ４１ ９ ９ ７１ ９ ９ ８  ２ ０ ０ ０２ ０ ０ ８＼＼２ ０ １ ６２ ０ １ ７２ ０ １ ９Ｈａ ｎ ｎ ａ ｎ证明Ｂ ａｙｅ ｓ ｉ ａ ｎｒ ｅ ｇ ｒ ｅ ｔ： ｉ 理（ 即Ｈａ ｎ ｎ ａ ｎｃ ｏ ｎ ｓ ｉ ｓ ｔ ｅ ｎ ｃ ｙ 概念）Ｈａ ｒ ｔ 和Ｍａ ｓ Ｃ ｏ ｌ ｅ ｌ ｌ 提出遗憾匹配算法Ｚ ｉ ｎ ｋ ｅ ｖ ｉ ｃ ｈ等人提出反事实遗憾最小化算法Ｂ ｒ ｏｗｎ 提出虚拟对局（ｆ ｉ ｃ ｔ ｉ ｔ ｉ ｏｕ ｓ ｐ ｌ ａｙ ） 算法ａｐ ｐ ｒ ｏ ａ ｃ ｈ ａ ｂ ｉ ｌ ｉ ｔｙ 定理Ｆ ｕ ｄ ｅ ｎ ｂ ｅ ｒ ｇ和Ｌ ｅ ｖ ｉ ｎ ｅ合著Ｔ ｈ ｅ  Ｔ ｈ ｅ ｏ ｒ ｙ ｏ ｆ  Ｌ ｅ ａ ｒ ｎ ｉ ｎｇｉ ｎ  Ｇ ａ ｍｅ ｓ博弈论＋ 专家系统博弈论＋ 学哥方法图１ 入机＃抗臀懂技求与撙虜％ 的麗展ｗ史２ ． １ 路线一： 博弈论结合专家系统在衮展路缘一中， 为了取得较好的人机对拉表现， 研究者们：主賽是Ｉｔ 对＇基于博露论的ｍ ｉ ｎ － ｍａ ｘ 树搜索算法进行优化， 并错含专家经验来改进评估函数． 路线一的简襄发展历程如下：１ ９ Ｓ ？ 年ｓ Ｓ ｂａ ｍｉ Ｑ ｎ 翁參了第一簾荆顧编． 乘实现国际象棋走子裎序的论文［１ ７］， 论文中Ｓ ｈ ａ ｎ ｎ ｏ ｎ 参者￥〇ｉｉ Ｎｓ ｕｍａ ｎ ｎ班明前 ｔｎ ｉ ｎ ｉｍａ ｘ定靡设？ 了腿ｍ ａ ｘ 搜索算法和揭面评估翼数， 对于局面评估函数的设计， 参考的爱如下定連； 在鼠标象祺中， 最终的绪局只可能是以下三种彎中的一种： Ｃ１ ） 不论白方如何奉子， 裏方有一种策略总能保证赢４力不１ ８ ６ ２ 计算机学报 ２ ０ ２ ２ 年论黑方如何走子， 白方有一种策略总能保证赢；（ ３ ） 黑白双方都有一种策略保证至少平局．１ ９ ５ ６ 年，Ｓ ａ ｍ ｕ ｅ ｌ 利用第一台商用计算机Ｉ ＢＭ７ ０ １ 编写了跳棋（ ｃ ｈ ｅ ｃ ｋ ｅ ｒ ｓ ） 走子程序， 并在１ ９ ５ ９ 年发表论文总结了该程序的设计思想和原理［１ ９］． 该跳棋走子程序使用了ｍ ｉ ｎ ｍ ａ ｘ 搜索．１ ９ ５ ７ 年， Ｂ ｅ ｒ ｎ ｓ ｔ ｅ ｉ ｎ 带领的团队在ＩＢ Ｍ７ ０ １ 上完成了第一个能下完整局的国际象棋走子程序， 该程序使用了ｍ ｉ ｎ ｍ ａ ｘ 搜索， 但每次最多向后搜索４ 步，每步只能考虑７ 个备选走法．１ ９ ５ ８ 年， Ｎ ｅｗ ｅ ｌ ｌ 、Ｓ ｈ ａ ｗ和Ｓ ｉ ｍ ｏ ｎ 第一■ 次在国际象棋程序中使用ａ ｌ ｐｈ ａ ｂ ｅ ｔ ａ 剪枝搜索算法［２ °］．Ａ ｌ ｐ ｈ ａ ｂ ｅ ｔ ａ 剪枝算法是ｍ ｉ ｎ ｍ ａ ｘ 搜索算法的改进，通过剪掉明显次优的子树分支， 该算法极大地降低了搜索空间． 该算法最初由Ｍ ｃ Ｃａ ｒ ｔ ｈ ｙ 在１ ９ ５ ６ 年提出．此后， 跳棋和国际象棋程序的优化大多围绕评估函数和搜索算法进行改进． 随着计算能力的增强，Ｉ Ｂ Ｍ 公司开发的国际象棋程序Ｄ ｅ ｅ ｐ Ｂ ｌ ｕ ｅ 在１ ９ ９ ７年利用总结了大量人类经验的评估函数和强大的搜索能力击败国际象棋大师Ｋ ａ ｓ ｐ ａ ｒ ｏ ｖ ， — 时轰动． 该事件从此成为人机对抗智能技术发展历史上的标志性事件．２ ． ２ 路线二： 博弈论结合学习方法路线一中采用的方法很难称得上实现了机器的“ 学习” 能力， 在路线二中， 研究者们试图克服机器对专家数据的过度依赖， 希望能够打造自主学习的智能机器． 路线二的简要发展历程如下：最早在人机对抗研究中引人学习的是Ｓ ａ ｍ ｕ ｅ ｌ，他１ ９ ５ ７ 年完成的跳棋走子程序不仅使用了ｍ ｉ ｎ ｍ ａ ｘ搜索， 同时也引人了两种“ 学习” 机制［１ ９］： 死记硬背式学习（ ｒ ｏ ｔ ｅ ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ ） 和泛化式学习（ ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇｂ ｙｇ ｅ ｎ ｅ ｒ ａ ｌ ｉ ｚ ａ ｔ ｉ ｏ ｎ ） ． 前者通过存储之前下棋过程中计算得到的局面得分来减少不必要的搜索， 后者则根据下棋的不同结果来更新评估函数中不同参数的系数来得到一个更好的评估函数． 此外， 该论文也第一次提到了自我对局（ ｓ ｅ ｌ ｆ ｐ ｌ ａ ｙ ） ． 此后， 这种通过学习来提升机器能力的思想就一直没能引起重视． 直到１ ９ ９ ０ 年前后， 才陆续出现了能够学习的棋类程序． 这其中比较知名的是１ ９ ９ ４ 年Ｔ ｅ ｓ ａ ｕ ｒ ｏ 结合神经网络和强化学习训练出的双陆棋程序Ｔ Ｄ Ｇ ａｍ ｍ 〇ｎ［２ １］．Ｔ Ｄ Ｇ ａｍ ｍ 〇ｎ 的成功引起了许多学者对学习算法的兴趣， 并促成了博弈论与机器学习的初步结合，其中著名的工作是Ｌ ｉ ｔ ｔ ｍ ａ ｎ 在１ ９ ９ ４ 年正式建立了Ｍ ａ ｒ ｋ ｏ ｖ 博弈（ 或随机博弈） 与多智能体强化学习之间的联系． 之后， Ｍ ａ ｒ ｋ ｏ ｖ 博弈便作为多智能体强化学习的理论框架， 启发了众多学者的研究． 同时， 在该论文中Ｕ ｔ ｔ ｍ ａ ｎ 也提出了第一个多智能体强化学习算法ｍ ｉ ｎ ｉ ｍ ａ ｘ Ｑ ［２ ２］． Ｍ ｉ ｎ ｉ ｍ ａ ｘ Ｑ 是针对二人零和博弈的学习算法， 当博弈的双方都使用该算法时， 最终博弈双方的策略都会收敛到二人零和博弈的最优解极大极小策略上．值得指出的是， 除了人工智能领域， 博弈论领域的研究者们很早也开始了对学习方法的研究． 与人工智能领域学者的出发点不同， 他们关注的是在博弈模型给定的情形下， 如何设计迭代学习的规则能使个体的策略收敛到均衡． 此类方法之后被称为博弈学习（ ｇ ａ ｍ ｅ ｔ ｈ ｅ ｏ ｒ ｅ ｔ ｉ ｃ  ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ ） 方法． 博弈学习方法的思想最早可以追溯到１ ９ ５ １ 年Ｂ ｒ ｏ ｗ ｎ 提出的虚拟对局（ ｆ ｉ ｃ ｔ ｉ ｔ ｉ ｏ ｕ ｓ  ｐ ｌ ａ ｙ ）［１ °］， 即采用迭代学习的方式来计算二人零和博弈的极大极小策略， 之后著名的博弈学习方法包括无悔学习（ ｎ ｏ ｒ ｅ ｇ ｒ ｅ ｔ  ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ ）［１ １ １ ３］ 和复制动力学（ ｒ ｅ ｐ ｌ ｉ ｃ ａ ｔ ｏ ｒ  ｄｙ ｎ ａｍ ｉ ｃ ｓ ）［２ ３］ ？ 在 １ ＂ ８年， 几乎与Ｌ ｉ ｔ ｔ ｍ ａ ｎ 等人同一■ 时期， Ｆ ｕ ｄ ｅ ｎ ｂ ｅ ｒ ｇ 和Ｌ ｅ ｖ ｉ ｎ ｅ 出版了著作Ｔ ｈ ｅ Ｔ ｈ ｅ ｏ ｒ ｙ ｏ ｆ Ｌ ｅ ａ ｒ ｎ ｉ ｎｇ  ｉ ｎ Ｇ ａ ｍ ｅ ｓ［２ ４］， 对之前博弈学习方法的研究进行了汇总、总结和扩展．博弈学习方法的研究为博弈论中的解概念（ 主要是纳什均衡） 提供了非理性假设下的解释， 换言之， 非理性的个体在一定学习规则的指导下也能达到均衡．此后， 博弈论和机器学习领域的研究兴趣和研究内容开始交叉， 逐步形成了博弈论与机器学习结合的博弈学习方法［２ ５  ３ °］． 相关工作包括： （ １ ） 利用强化学习方法计算博弈的解， 比如Ｎ ａ Ｓ ｈ Ｑ ［３ １］ 等；（ ２ ） 利用博弈论中的学习方法进行游戏Ａ Ｉ 的算法设计， 比如针对不完美信息博弈的反事实遗憾最小化算法（ 属于无悔学习算法的一种） ； （ ３ ） 利用机器学习加强博弈论中学习方法的可扩展性， 比如虚拟自我对局（ Ｆ ｉ ｃ ｔ ｉ ｔ ｉ ｏ ｕ ｓ Ｓ ｅ ｌ ｆ Ｐ ｌ ａ ｙ ， Ｆ Ｓ Ｐ ）［２ ９］． 相比于传统解决单智能体与环境交互问题的机器学习方法， 与博弈论结合的学习方法有两个优势：一是充分考虑了多个智能体同时最大化收益时环境的非平稳问题， 学习的目标是任务的均衡解而不是让某个智能体的收益最大化； 二是在满足模型的假设时， 这些算法一般具有收敛的理论保证． 特别地， 面向人机对抗任务， 人机对抗中的博弈学习方法在此基础上添加了人机对抗任务建模， 为的是能更好地利用和拓展现有的博弈学习方法来处理复杂的人机对抗任务．，爵輝： 人机对拣中繼灣学：爾＊＆ Ｊ１？近年来＊ 随看深食学习的兴起， 深度神经网络被广泛应甩于人机对抗任务， 形成了一系．列优秀的樓型和博羿攀习算法， 这也促迸Ｔ 人机对抗智能技术近期一系列的突破， 包括２ ０ １ Ｓ 年Ａ ｌ ｐ ｈ ａ Ｇｏ击败围祺９ 段选芋李世石， ２〇１ ７ 年， Ｌ ｉ ｔｏ ａ ｔ ｕ ｓＷ３ 和Ｄｅ＾ ｐ Ｓｔａ ｃ ｋ＾ 分别在二人无限注德州扑克： 中击败人类专业选手以及２ 〇１ ９ 年Ａ ｌ ｐ ｌｉ ａ ＳｔＷ４ １］ 在星标争霸２中击败人类ＩＩ 级选手，３ 人机对抗中的博弈学习方法内涵入机着抗：中的＿難学謂方法是一种顶向人机对抗任务＞ 以博弈论为埋论基础、以机器攀习为主要技术手段、＊通过智能体与环境、智能体身其他智能体的交互来获得具有良好性质（ 比如适应牲、鲁：俸性等等？ 博弈策略的学习方法是实现人机对？抗智能技术的核心《墨体地， ｖ人机对抗中的傳＿攀３ 方：齒基于博弈论建模人机对抗住务和定义学眉目标＾ 并利用机器学习方法来帮助援计裔缴， 稳健 ＞ 可扩展的荸习箕法ａ：完威人机对搲任务，为了阐述博弈孛习方法与灣＃ 机器学习方法的区別与联系， 本文按照系统中信：息的流向以及债息产生的机制将已有的学３ 框架划分为一元、二元以及三元（ 或多元） 学习． 在一元学习中，智能体从数据中获取知识ｋ并且这个过程Ｒ 渉及数据到智能体的单向信息流动， 监督学习、无监督学习以及深度学；习都属于一元学习（ 见菌２ （ ａ？ ． 在二元学习中， 智能体通过与环境互动撙到数据． 进而获取知识， 与＾ 元擧习不同的是此时数据的产生不仅取决于环境也取决于智能体， 即智能体决策的好坏影响它自身学万的效巣， 必鼕时智能体还畫荽对环境动力学进行建模， 单智能体强化学习属于二元学３ （ 见图２ （ ｂ ） ）、在三元学石中， 智能体通过与环境和其他替能体的交Ｓ 获轉数据， 此时智能体學习的效果＾ 到环境和其他智能体的共同澎响， 必蘩吋智能体需要对环境动方＃ 和其他智能体进行Ａ 樓（ 见Ｍ ２ （ ｃ ＞ ） ， 博＊ ＃习属于三元学（ ａ） —元学习（ ｂ ） 二元学习。｜＾备一＾＝ 赛厲３＿学聲Ｉｆｆｉ 餚学河的区爾与联辜４ 人机对抗中的博弈学习研究框架通过对博弈论和人机对抗智能技术发展历程的梳遽， ＿翁合人机对抗中的鐵＃寧３ 方法悔＿， 率文总结出了如图３ 所示的人机对抗中的博弈学习研食獄架人机）ｔ截： 中的傳＃ 学习研＿截架以人机对抗任务为输人， ｆ 先通过博弈模塑构寒获得博弈模型＊ 然后通过解概念定义得到博弈的可行解， 最后通过博弈解计算输出满足霈求的傳弈策略组合， 也就基学召任务的解？ 直观来讲， 人机对抗中的博弈学习研究框架将一类人机对抗任务的解决近似或等价转换为对某一类搏弈问题的求解， 诙框架ｆｅ 含两个组成要素【博弈模型和博弈解＞ 和三个基本步骤（：博弈模型构建、解概念定义和博弈解计算： ） ？博弈模型 解概念 博弈解图３ 人机对抗參擔看參习研究輕架接下来， 本文翁人机对抗中的傳弈擎习翁＿