第４４ 卷 第２期２０２１ 年２ 月计 算机 学 报ＣＨＩＮＥＳＥＪＯＵＲＮＡＬＯＦＣＯＭＰＵＴＥＲＳＶｏｌ ．４４Ｎｏ．２Ｆｅｂ． ２０２１生成对抗网络及其在图像生成中的应用研究综述吴清潇 郝颖明ｗ’ ＂崔芸阁中国科学院沈阳自动化研究所 沈阳 １１０ ０１６）２）（ 中国科学院机器人与智能制造创新研究院 沈阳 １１０ ０１６）３）（ 中国科学院大学 北京 １０００４９）？（ 中国科学院光电信息处理重点实验室 沈阳 １１０ ０１６）摘 要 生成对抗网络（ＧＡＮ）是无监督学习领域最近几年快速发展的一个研究方向， 其主要特点是能够以一种间接的方式对一个未知分布进行建模． 在计算机视觉研究领域中， 生成对抗网络有着广泛的应用， 特别是在图像生成方面， 与其他的生成模型相比， 生成对抗网络不仅可以避免复杂的计算， 而且生成的图像质量也更好． 因此， 本文将对生成对抗网络及其在图像生成中的研究进展做一个小结和分析： 本文首先从模型的架构、 目标函数的设计、 生成对抗网络在训练中存在的问题、以及如何处理模式崩溃问题等角度对生成对抗网络进行一个详细地总结和归纳；其次介绍生成对抗网络在图像生成中的两种方法； 随后对一些典型的、用来评估生成图像质量和多样性的方法进行小结， 并且对基于图像生成的应用进行详细分析； 最后对生成对抗网络和图像生成进行总结， 同时对其发展趋势进行一个展望．关键词 生成模型； 生成对抗网络； 图像生成； 生成图像质量评估中图法分类号ＴＰ１８ＤＯＩ号１０．１１８９７／ＳＰ．Ｊ．１０１６．２０２１．００３４７ＡＳｕｒｖｅｙＡｂｏｕｔＩｍａｇｅＧｅｎｅｒａｔｉｏｎｗｉｔｈＧｅｎｅｒａｔｉｖｅＡｄｖｅｒｓａｒｉａｌＮｅｔｓＣＨＥＮＦｏＪｉ１） ，２） ，３） ，４）ＺＨＵＦｅｎｇ１） ，２） ，４）ＷＵＱｉ ｎｇＸｉ ａｏ１） ，２） ，４）ＨＡＯＹｉ ｎｇＭｉ ｎｇ１） ，２） ，４）ＷＡＮＧＥｎＤｅ１） ，２） ，４）ＣＵＩＹｕｎＧｅ１） ，２） ，３） ，４）｛ＳｈｅｎｙａｎｇＩｎｓｉ ｉ ｉｕｉ ｅｏｆＡｕＬｏｍａＬ ｉｏｎ－， Ｃｈｉ ｎｅｓｅＡｃａｄｅｍｙｏｆＳｃｉ ｅｎｃｅｓ－， Ｓｈｅｎｙａｎｇ１１００１６）２）（ ＩｎｓＬ ｉ ＬｕＬｅｓｆｏｒＲｏｂｏｔｉｃｓａｎｄＩｎＬｅｌ ｌｉｇｅｎＬＭａｎｕｆａｃｔ ｕｒｉｎｇ？ ＣｈｉｎｅｓｅＡｃａｄｅｍｙｏｆＳｃｉｅｎｃｅｓ， Ｓｈｅｎｙａｎｇ１１００１６）３）（ Ｕｎｉ ｖｅｒｓｉｔｙｏｆＣｈｉｎｅｓｅＡｃａｄｅｍｙｏｆＳｃｉ ｅｎｃｅｓ？Ｂｅｉｊｉｎｇ１００ ０４ ９）４ ）（ ＫｅｙＬａｂｏｒａｔｏｒｙｏｆＯｐｉｏ ＥＬ ｅｃｉ ｒｏｎｉｃＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓ？Ｃｈｉ ｎｅｓｅＡｃａｄｅｍｙｏｆＳｃｉｅｎｃｅｓ ，Ｓｈｅｎｙａｎｇ１ １００１６）ＡｂｓｔｒａｃｔＩｎｔａｓｋｓｏｆｕｎｓｕｐｅｒｖｉｓｅｄｌ ｅａｒｎｉ ｎｇ，ｔｈｅｇｅｎｅｒａｔｉ ｖｅｍｏｄｅｌｉｓｏｎｅｏｆｔｈｅｍｏｓｔｃｒｉｔｉｃａｌｔｅｃｈｎｉｑｕｅｓ． Ｔｈｅｇｅｎｅｒａｔｉ ｖｅｍｏｄｅｌ ｃｏｎｓｉｓｔｓｏｆｐｒｏｂａｂｉ ｌ ｉ ｔｙｄｅｎｓｉｔｙｅｓｔｉｍａｔｉ ｏｎａｎｄｓａｍｐｌ ｉ ｎｇ， ｗｈｉ ｃｈｃａｎｌｅａｒｎｄａｔａｄｉｓｔｒｉ ｂｕｔｉｏｎｂｙｌ ｏｏｋｉ ｎｇａｔｅｘｉｓｔｉ ｎｇｓａｍｐｌｅｓａｎｄｇｅｎｅｒａｔｅｎｅｗｓａｍｐｌｅｓｔｈａｔｏｂｅｙｔｈｅｓａｍｅｄｉｓｔｒｉ ｂｕｔｉ ｏｎａｓｔｈｅｏｒｉｇｉ ｎａｌ ｓａｍｐｌ ｅｓ． Ｆｏｒｃｏｍｐｌ ｅｘｄｉｓｔｒｉ ｂｕｔｉｏｎｓｉ ｎａｈｉｇｈｄｉ ｍｅｎｓｉ ｏｎａｌｓｐａｃｅ，ｄｅｎｓｉｔｙｅｓｔｉ ｍａｔｉｏｎａｎｄｓａｍｐｌ ｅｇｅｎｅｒａｔｉ ｏｎａｒｅｏｆｔｅｎｈａｒｄｔｏｒｅａｌｉｚｅ． Ｓｉ ｎｃｅｈｉｇｈ ｄｉ ｍｅｎｓｉ ｏｎａｌｒａｎｄｏｍｖｅｃｔｏｒｓａｒｅｇｅｎｅｒａｌ ｌｙｄｉ ｆｆｉ ｃｕｌ ｔｔｏｍｏｄｅｌｄｉ ｒｅｃｔｌｙ，ｉ ｔｉ ｓｎｅｃｅｓｓａｒｙｔｏｓｉｍｐｌｉ ｆｙｔｈｅｍｏｄｅｌ ｗｉ ｔｈｓｏｍｅｃｏｎｄｉｔｉ ｏｎｉｎｄｅｐｅｎｄｅｎｃｅｈｙｐｏｔｈｅｓｉｓ． Ｅｖｅｎｇｉ ｖｅｎａｃｏｍｐｌ ｅｘｄｉｓｔｒｉ ｂｕｔｉ ｏｎｔｈａｔｈａｓｂｅｅｎｍｏｄｅｌ ｅｄ，ｔｈｅｒｅｉ ｓａｌ ａｃｋｏｆｅｆｆｅｃｔｉ ｖｅｓａｍｐｌ ｉ ｎｇｍｅｔｈｏｄｓ．Ｗｉ ｔｈｔｈｅｒａｐｉ ｄｄｅｖｅｌ ｏｐｍｅｎｔｏｆｄｅｅｐｎｅｕｒａｌｎｅｔｗｏｒｋｔｅｃｈｎｏｌ ｏｇｙ，ｔｈｅｇｅｎｅｒａｔｉ ｖｅｍｏｄｅｌｈａｓｍａｄｅｇｒｅａｔｐｒｏｇｒｅｓｓ． Ｉｎｔｈｅｐａｓｔｆｅｗｙｅａｒｓ，ｔｈｅｒｅｈａｓｂｅｅｎ收稿日期：２０１９ ０８ ２８； 在线发布日期：２０２０ ０５ １９． 本课题得到国家自然科学基金（ Ｕ１７１３２１６） 和机器人学重点实验室自主课题项目（２０１７ Ｚ２１） 资助． 陈佛计， 硕士， 主要研究方向为图像生成、 机器学习、模式识别、 视觉测量． Ｅｍａｉｌ： ｃｈｅｎ丨ｏｊｉ＠Ｓｉａ．ｃｎ． 朱 枫（ 通信作者），博士， 研究员， 博士生导师， 主要研究领域为机器人视觉、 视觉测量、 视觉检测、 红外图像仿真、 ３Ｄ物体识别． Ｅｍａｉｌ ： １７５４ ２０８５２９ ＠ｑｑ．ｃｏｍ．吴清潇， 博士， 研究员， 硕士生导师， 主要研究领域为机器人视觉、 机器视觉． 郝颖明， 博士， 研究员， 硕士生导师， 主要研究领域为图像处理、 空间视觉测量． 王恩德， 博士， 研究员， 硕士生导师， 主要研究领域为小型飞行器控制、 图像目标检测、 识别与跟踪、 微弱信号检测预处理． 崔芸阁， 硕士， 主要研究方向为ＳＬＡＭ和图像生成．３４８ 计 算机 学 报 ２０２１年ａｄｒａｓｔｉｃｇｒｏｗｔｈｏｆｒｅｓｅａｒｃｈｉ ｎＧｅｎｅｒａｔｉ ｖｅＡｄｖｅｒｓａｒｉａｌＮｅｔｗｏｒｋ（ ＧＡＮ）ｗｈｉｃｈｃａｎｍｏｄｅｌａｎｕｎｋｎｏｗｎｄｉ ｓｔｒｉｂｕｔｉ ｏｎｉｎａｎｉ ｎｄｉｒｅｃｔｗａｙａｎｄｃａｎａｖｏｉ ｄｓｔａｔｉ ｓｔｉ ｃａｌａｎｄｃｏｍｐｕｔａｔｉ ｏｎａｌｃｈａｌ ｌ ｅｎｇｅｓ．Ａｔｔｈｅｓａｍｅｔｉ ｍｅ，ｇｅｎｅｒａｔｉ ｖｅａｄｖｅｒｓａｒｉａｌｎｅｔｗｏｒｋｓａｒｅｔｈｅｌ ａｔｅｓｔａｎｄｍｏｓｔｓｕｃｃｅｓｓｆｕｌｔｅｃｈｎｏｌ ｏｇｙａｍｏｎｇｇｅｎｅｒａｔｉｖｅｍｏｄｅｌ ｓ．Ｅｓｐｅｃｉ ａｌ ｌｙｉｎｔｅｒｍｓｏｆｉｍａｇｅｇｅｎｅｒａｔｉ ｏｎ，ｃｏｍｐａｒｅｄｗｉｔｈｏｔｈｅｒｇｅｎｅｒａｔｉ ｏｎｍｏｄｅｌ ｓ，ｇｅｎｅｒａｔｉ ｖｅａｄｖｅｒｓａｒｉａｌｎｅｔｗｏｒｋｓｃａｎｎｏｔｏｎｌ ｙａｖｏｉ ｄｃｏｍｐｌ ｉ ｃａｔｅｄｃａｌ ｃｕｌ ａｔｉ ｏｎｓ，ｂｕｔａｌ ｓｏｇｅｎｅｒａｔｅｂｅｔｔｅｒｑｕａｌｉｔｙｉ ｍａｇｅｓ．Ｔｈｅｒｅｆｏｒｅ，ｔｈｉｓｐａｐｅｒｗｉｌｌｍａｋｅａｓｕｍｍａｒｙａｎｄａｎａｌ ｙｓｉｓｏｆｇｅｎｅｒａｔｉ ｖｅａｄｖｅｒｓａｒｉａｌｎｅｔｗｏｒｋｓａｎｄｉｔ ｓａｐｐｌ ｉ ｃａｔｉ ｏｎｓｉ ｎｉｍａｇｅｇｅｎｅｒａｔｉ ｏｎ． Ｆｉ ｒｓｔｌ ｙ，ｆｒｏｍｔｈｅｔｈｅｏｒｅｔｉ ｃａｌａｓｐｅｃｔ，ｔｈｅｂａｓｉｃｉ ｄｅａａｎｄｗｏｒｋｉ ｎｇｍｅｃｈａｎｉｓｍｏｆｇｅｎｅｒａｔｉ ｖｅａｄｖｅｒｓａｒｉａｌｎｅｔｗｏｒｋｓａｒｅｅｘｐｌａｉ ｎｅｄｉ ｎｄｅｔａｉｌ ；Ｈｏｗｔｏｄｅｓｉｇｎｔｈｅｌ ｏｓｓｆｕｎｃｔｉ ｏｎｏｆｇｅｎｅｒａｔｉ ｖｅａｄｖｅｒｓａｒｉａｌｎｅｔｗｏｒｋｓｂａｓｅｄｏｎＦ ｄｉ ｖｅｒｇｅｎｃｅｏｒｉｎｔｅｇｒａｌｐｒｏｂａｂｉｌｉｔｙｍｅｔｒｉｃｉｓｉ ｎｔｒｏｄｕｃｅｄ，ａｎｄｉｔｓａｄｖａｎｔａｇｅｓａｎｄｄｉｓａｄｖａｎｔａｇｅｓａｒｅｓｕｍｍａｒｉ ｚｅｄ；Ｆｒｏｍｔｈｅｔｗｏａｓｐｅｃｔｓｏｆｃｏｎｖｏｌ ｕｔｉｏｎａｌ ｎｅｕｒａｌｎｅｔｗｏｒｋｓｔｒｕｃｔｕｒｅａｎｄａｕｔｏｅｎｃｏｄｅｒｎｅｕｒａｌｎｅｔｗｏｒｋｓｔｒｕｃｔｕｒｅ，ｔｈｅｍｏｄｅｌｓｔｒｕｃｔｕｒｅｃｏｍｍｏｎｌ ｙｕｓｅｄｉｎｇｅｎｅｒａｔｉ ｎｇａｄｖｅｒｓａｒｉａｌｎｅｔｗｏｒｋｓｉｓｓｕｍｍａｒｉ ｚｅｄ；Ａｔｔｈｅｓａｍｅｔｉｍｅ，ｔｈｅｐｒｏｂｌ ｅｍｓａｎｄｃｏｒｒｅｓｐｏｎｄｉｎｇｓｏｌ ｕｔｉ ｏｎｓｉ ｎｔｈｅｐｒｏｃｅｓｓｏｆｔｒａｉ ｎｉ ｎｇｇｅｎｅｒａｔｉ ｖｅａｄｖｅｒｓａｒｉａｌｎｅｔｗｏｒｋｓａｒｅａｎａｌ ｙｚｅｄｆｒｏｍｂｏｔｈｔｈｅｏｒｅｔｉ ｃａｌａｎｄｐｒａｃｔｉ ｃａｌｐｅｒｓｐｅｃｔｉ ｖｅｓ；Ｓｅｃｏｎｄｌ ｙ，ｂａｓｅｄｏｎｔｈｅｄｉｒｅｃｔｍｅｔｈｏｄａｎｄｔｈｅｉｎｔｅｇｒａｔｉ ｏｎｍｅｔｈｏｄａｓｔｈｅｃｌ ａｓｓｉｆｉｃａｔｉｏｎｃｒｉｔｅｒｉａ，ｃｕｒｒｅｎｔｍｅｔｈｏｄｓｏｆｇｅｎｅｒａｔｉｎｇｉ ｍａｇｅｓｂａｓｅｄｏｎｇｅｎｅｒａｔｉ ｎｇａｄｖｅｒｓａｒｉ ａｌ ｎｅｔｗｏｒｋｓａｒｅｓｕｍｍａｒｉ ｚｅｄ，ａｎｄｔｈｅｂａｓｉ ｃｉ ｄｅａｓｏｆｔｈｅｓｅｍｅｔｈｏｄｓａｒｅｅｘｐｌａｉ ｎｅｄｉ ｎｄｅｔａｉ ｌｓ．Ｔｈｅｎ，ｆｒｏｍｔｈｅｔｈｒｅｅａｓｐｅｃｔｓｏｆｉ ｍａｇｅｇｅｎｅｒａｔｉ ｏｎｂａｓｅｄｏｎｍｕｔｕａｌｉｎｆｏｒｍａｔｉ ｏｎ，ｉ ｍａｇｅｇｅｎｅｒａｔｉ ｏｎｂａｓｅｄｏｎａｔｔｅｎｔｉｏｎｍｅｃｈａｎｉｓｍ，ａｎｄｉ ｍａｇｅｇｅｎｅｒａｔｉ ｏｎｂａｓｅｄｏｎａｓｉｎｇｌ ｅｉｍａｇｅ，ｔｈｅｍｅｔｈｏｄｏｆｄｉｒｅｃｔｌ ｙｇｅｎｅｒａｔｉｎｇｉｍａｇｅｓｂａｓｅｄｏｎｒａｎｄｏｍｎｏｉｓｅｖｅｃｔｏｒｓｉｓｓｕｍｍａｒｉ ｚｅｄ．Ｔｈｅｃｕｒｒｅｎｔｍｅｔｈｏｄｓｏｆｇｅｎｅｒａｔｉ ｎｇｉ ｍａｇｅｓｂａｓｅｄｏｎｉ ｍａｇｅｔｒａｎｓｌ ａｔｉ ｏｎａｒｅｅｘｐｌ ａｉｎｅｄｉｎｄｅｔａｉｌ ｓｆｒｏｍｔｈｅａｓｐｅｃｔｓｏｆｓｕｐｅｒｖｉｓｅｄａｎｄｕｎｓｕｐｅｒｖｉｓｅｄｍｅｔｈｏｄｓ．Ｌａｔｅｒ，ｆｒｏｍａｑｕａｌｉｔａｔｉ ｖｅａｎｄｑｕａｎｔｉｔａｔｉ ｖｅｐｏｉ ｎｔｏｆｖｉｅｗ，ｔｈｅｅｘｉｓｔｉ ｎｇｍｅｔｈｏｄｓｕｓｅｄｔｏｅｖａｌ ｕａｔｅｔｈｅｑｕａｌｉｔｙａｎｄｄｉ ｖｅｒｓｉｔｙｏｆｇｅｎｅｒａｔｅｄｉ ｍａｇｅｓｂａｓｅｄｏｎｇｅｎｅｒａｔｉ ｖｅａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋｓａｒｅａｎａｌｙｚｅｄ，ａｎｄｃｏｎｔｒａｓｔｅｄ．Ｆｉ ｎａｌ ｌｙ，ｔｈｅａｐｐｌｉｃａｔｉ ｏｎｏｆｇｅｎｅｒａｔｉｖｅａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋｓｉ ｎｔｈｅｆｉｅｌ ｄｏｆｓｍａｌ ｌｓａｍｐｌ ｅｓ，ｄａｔａｃａｔｅｇｏｒｙｉ ｍｂａｌ ａｎｃｅ，ｔａｒｇｅｔｄｅｔｅｃｔｉｏｎａｎｄｔｒａｃｋｉ ｎｇ， ｉ ｍａｇｅａｔｔｒｉ ｂｕｔｅｅｄｉ ｔｉｎｇ，ａｎｄｍｅｄｉ ｃａｌｉ ｍａｇｅｓｐｒｏｃｅｓｓｉ ｎｇｉｓｉｎｔｒｏｄｕｃｅｄｉ ｎｄｅｔａｉ ｌｓ． Ａｎｄｓｏｍｅｐｒｏｂｌｅｍｓｉ ｎｔｈｅｏｒｙａｎｄｐｒａｃｔｉｃｅｏｆｇｅｎｅｒａｔｉｖｅａｄｖｅｒｓａｒｉａｌｎｅｔｗｏｒｋｓａｎｄｉ ｍａｇｅｇｅｎｅｒａｔｉ ｏｎａｒｅａｎａｌ ｙｚｅｄ；Ｔｈｅｄｅｖｅｌ ｏｐｍｅｎｔｔｒｅｎｄｏｆｇｅｎｅｒａｔｉ ｖｅａｄｖｅｒｓａｒｉａｌｎｅｔｗｏｒｋｓａｎｄｔｈｅｄｅｖｅｌ ｏｐｍｅｎｔｔｒｅｎｄｏｆｉ ｍａｇｅｇｅｎｅｒａｔｉ ｏｎａｒｅｓｕｍｍａｒｉｚｅｄａｎｄｐｒｏｓｐｅｃｔｅｄ．Ｋｅｙｗｏｒｄｓｅｎｅｒａｔｉ ｖｅｍｏｄｅｌ；ｇｅｎｅｒａｔｉ ｖｅａｄｖｅｒｓａｒｉａｌｎｅｔｗｏｒｋ；ｉ ｍａｇｅｇｅｎｅｒａｔｉ ｏｎ；ｇｅｎｅｒａｔｅｉｍａｇｅｓｑｕａｌｉｔｙａｓｓｅｓｓｍｅｎｔｉ 引 言生成模型是无监督学习任务中一类重要的方法． 生成模型可以直接学习样本数据中的分布， 然后从学到的分布中进行采样可以得到类似于样本数据、 服从同一分布的样本． 伴随着深度神经网络的快速发展， 基于神经网络的生成模型取得了显著的成果． 在神经网络兴起之前， 生成模型主要是对数据的分布进行显式地建模， 例如： 基于有向图模型的赫姆霍兹机［１］（ Ｈｅｌ ｍｈｏｌｔｚｍａｃｈｉ ｎｅｓ）、 变分自动编码器（Ｖａｒｉ ａｔｉ ｏｎａｌＡｕｔｏ Ｅｎｃｏｄｅｒ，ＶＡＥ）［２ ］、 深度信念网络［ ３ ］（ＤｅｅｐＢｅｌｉｅｆＮｅｔｗｏｒｋ， ＤＢＮ） 等和基于无向图模型的受限玻尔兹曼机［４］（ ＲｅｓｔｒｉｃｔｅｄＢｏｌ ｔｚｍａｎｎＭａｃｈｉ ｎｅｓ， ＲＢＭ）、深度玻尔兹曼机［ ５］（ＤｅｅｐＢｏｌｔｚｍａｎｎＭａｃｈｉ ｎｅｓ， ＤＢＭ） 等， 以及自回归模型［ ６ ］（ＡＲ模型）．由于被建模随机变量的高维度， 学习十分困难． 其主要体现在统计上的挑战和计算上的挑战， 统计上的挑战就是这些生成模型不能很好地泛化生成的结果， 计算上的挑战主要来自于执行难解的推断和归一化的分布． 面对这些难以处理的计算，一种方法就是近似它们； 另一种方法就是通过设计模型， 完全避免这些难以处理的计算． 基于这样的想法， 研究者们提出了一系列新的模型， 而由 Ｇｏｏｄｆｅｌ ｌ ｏｗ等人ｍ（２０１４） 提出的生成对抗网络（ Ｇｅｎｅｒａｔｉ ｖｅＡｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ，ＧＡＮ） 是生成模型目前最好緣佛肩： ４麟卵赛具纖興像生ｆｔ中餘麵研露雜 ３４９ ２： 期的一种方法．受博弈论中两人零和博弈思想的启发，ＧＡＮ主荽由生成器和鉴别器商个部分组成？ 生成器的目的暴生成真实的样本去骗过鉴别器， 而氅别器是去鼠分真实餘＃＇本和生成的样本．纖该对救训练難不断的提高各自的能力．？ 最终达到一个纳什均衡的状态．因为生獻対抗网络歡生成厳像方面的能力超过了其他的方法， 所以其成为了一个热门的研究方向．ＧＡＮ中的对抗箏习風想逐靳与深度－习中的其他研究方向梱互渗遂， 从而诞生了很多新． 的研究方向和Ｓ用？ 相笑综述性的文章包括： 隹． 成对抗网络教職＿（ ２０１６ＮＩＰＳ）：、 Ｃｗｓｗｅｌ Ｉ 等人［ ？的銳成对抗网络综述、 Ｋｉｍｉｃｈ等人 从掼失函数、神？网络架构、芷则化和．！ ＆一化等：角度做的嫁述、林懿伦等人［１１］的生成式对抗ｆｔ導、Ｚａｍａｒｓｋｉ等入［１ ２］：，生成对抗网翁的最新进展． 从这些文：章中可踩教出， 关于生成对抗网络的研究主繁是以下两个方面＾（１） 在理论研究方面， 主要的丈作是糖除生成对抗网铬的不稳定性和模式崩溃的问题？Ｇｏｐｄｆｄｌｏｗ在ＮＩＰＳｍｉＳ 会议期间做的一个关ｆＧＡＮ的报贅中 他阐述Ｔ＂生珙壤＇塑的重蘩牲， ，并且解释了生成对抗：网络如何工作以通；一蠢前沿的谱题， ＆６Ｓ，ｅｌ ｌ等人Ｍ在生成对抗网络的综述中， 主要介绍了几种ＧＡＮ的网络架构和ＧＡＮ的应用， 并且从倩＇号处理的角度， 除了确定狐练和构造ＧＡＮ的方法， 还指出了在ＧＡＮ的理论和实际斑用中仍然存在的挑战？Ｋｕｒａｃｈ等人［ １ °］从损失函数、 网络架构、 疋则化以及批标准化等角度对ＧＡＮ的一些两题和可重复性进行了研究－ 林懿伦等人》？对ＧＡＮ常见的网络结构、训练方法、集成方法、 以及一些应用场鼙迸行了介鼙？Ｚａｍｏｒｓｋｉ 等人Ｍ从学习隐空间表示的衔虔出发， 对ＧＡＮ嫌新的进展进行论述．（２） 莅应用方面＼主要关注的是生成对抗网络在计算机视觉（ＣＶ）， Ｓ然语曹处理《ＮＬＰ） 和其他领．域的应用． 目前生成对抗网络在计算机视觉任务中已盗有了很多的应用， 例如■像生成、谣义分割、 图像编辑、超分＿率．、 图像修复，域转换、 视频生成和预测等Ｉ而生戚对抗网络在自然语言处理中的应用也呈现Ｈ益增长的趋势， 例如： 从文本ｆｔ成图像、 字体的生成、对请生成、 机器麵译等＇＊同时生成对抗网络＿语音生成：＃Ｗ也有一链斑甩． 生成对抗＿＿在视觉中的应用情况如表１ 所示？在生成对抗网络的众多应用中， 被研究最多的领域是图像生成？其目标是通过生成器．来生成斯望的图像．表ＩＧＡｆＴ在视觉任务中的应用视觉任务 ＧＡＮ模型图像转换Ｐｉｘ２ｐｉｘ［１ ３］， Ｃｙｃｌｅ－ＧＡＪ Ｓｆ［１４］， Ｄｂｃ〇－ＧＡｌＳｆ［１ ５］Ｄ２ＧＡＮ［１ ６］， ＡＣＧＡＮ［１ ７］超分辨率 ＳＲＧＡＮ［ｌ ｓ］属性编辑ＳＤ－ＧＡＮ［１ ９］ＳＬ－ＧＡＮ［２ ０］， ＤＲ－ＧＡＮ［２１］ＡＧＥ－ＧＡＮ［２２］， ＡｔｔＧＡＮ［２３］目标检测 ＳｅＧＡＮ［２ ４］， ＰｅｒｃｅｐｔｕａｌＧＡＮＥ２ Ｓ］视频生成 ＶＧＡＮ［２ ６ ］， ＭｏＣｏＧＡＮ［叼图像修复 ＧｅｎｅｒａｔｉｖｅＦａｃｅＣｏｍｐｌｅｔｉｏｎ［ ２８ ］姿态估计 ＰｏｓｅＧｕｉｄｅｄＰｅｒｓｏｎＧｅｎｅｒａｔｉｏｎＮｅｔｗｏｒｋ（ＰＧ２）［２ ９］：本文首先分紹龜成对抗网络胁： 塞本慕理痛存在的问题， 以及针对存在问题做的改进． 靠次对生成对抗两络在图像生成中应用＊ 以及对生成菌像的威量的评估迸行探讨． 然后对基于图像生． 成的应用做一个详细介绍＜最后射＆成对抗网络的发展趋勢和其在图像生成领域中的应用进行展望４２ＧＡＮ的介绍２． １ＧＡＮ的工作机理生成对抗阿络由生成器（Ｇ） 和鉴别器（ Ｄ＞两个部分祖成４卩图１ 所示． Ｇ是由０秦数化的神经网络实现 的输人暴一个服从宁慕一－分布九的随机＿營 而Ｇ的输出可以着成是． 采禅于某一分布九的一个祥本Ｇ＜ ｄ？假设真实数据的分布为 在给定一定量寘实数据集的条件下， 对生成对抗网络进行训练， 让Ｇ学到一个近似于真实数据分布的函数． ＧＡＭ中Ｇ的主要目的基座成类似于真实数据的祥：率以骗过 商Ｄ的输人＿寫实的样： 本和生成的样本两个部分组成，Ｄ的目标躭是判断输人的数琚是来自于寘实的样本还是来自于Ｇ生成的样本．Ｇ和Ｄ经． 过对抗训练达到一个纳什平衡状态， 即Ｄ判断不出其输人＊来；§于真实的样本＊ 还是来自于Ｇ生成的＃本， 此时就可以认为Ｇ学召到了真实数据的分布． 在理论上？假设在生成对抗网络中真实数据分布齿 ， 弁且有一＾被＾参数化的： 生成分帝馬“； 仍？ 如舉想ｉｔ高实歡堪分布和生成分事予分接近， 首先从ＰｊｍＷ随机采样数＃为《的样嵐１ 進成对抗网络■龜构３ ５０ 计 算机 学 报 ２０２１年本， 并且计算出 最后通过最大似然函数：Ｌ＝ＪＪＰＧ（＾ｊ ｄ）（１）ｉ ｉ来求出参数Ａ其结果如下：ｄ＊＾ａｒｇｍｉ ｎＫＬ（ Ｐｄａ ｔａ（ ＾）Ｐ〇（ ＾；＾） ）（２）０知当ＩＴ（ Ｘ）＝ｐｒ 、 时， 似然函数的值最大； 此时， 将 （ ｄ代人到似然函数中就可以得到生成分布和真实数据分布之间的ＪｅｎｓｅｎＳｈａｎｎｏｎ散度（ＪＳＤ）． 最终就可以将一个分布逼近另一个分布的问题转化为最小化两分布之间的ＪＳＤ． 基于这样的思想可以设计出ＧＡＮ的目标函数如下式所示：ｍｉ ｎｍａｘ＝ｍｉ ｎｍａｘＥｐ。［ｌ ｏｇＤ（ａ：）］＋ＧＤＧＤｄ ａｔａＥ＿＃Ｊｌ ｏｇ（ ｌ Ｄ（Ｇ（ ｚ） ） ）］（３）其中Ｖ（ Ｇ， Ｄ） 是一个二分类的交叉熵函数， 该损失函数的最终目标是最小化生成分布和真实分布之间的ＫＬ散度． 通过分析对抗网络的目标函数， 并且从Ｄ的角度来看的话， 如果Ｄ的输人是来自于真实样本， Ｄ将会最大化输出； 如果Ｄ的输人来自于Ｇ生成的样本， 则Ｄ将会最小化输出； 同时Ｇ想要去欺骗Ｄ， 那当Ｇ生成的样本作为Ｄ的输人的时候， 必须最小化损失函数Ｖ（Ｇ， Ｄ）． 但是当Ｄ被训练得非常好的时候， 他将以很高的置信度直接将来自于Ｇ的样本判别为假． 此时ｌ 〇ｇ（ｌ Ｄ（Ｇ（ Ｚ） ） ）就会饱和，从而导致梯度为〇 ， 最终参数得不到更新． 此时可以将ｌ 〇ｇ（ ｌ Ｄ（Ｇ（ Ｚ） ） ） 换成ｌ 〇ｇＤ（ Ｇ（ｚ） ）． 尽管新的目标函数可以提供不同于原始损失函数的梯度， 但是仍然存在梯度消失的问题； 同时在理论上假设Ｄ和Ｇ具有充分的能力去对一个未知的分布进行建模，但实际上这种建模能力是有限的．因此有很多学者尝试通过改变目标函数和神经网络结构等技巧来解决这些问题， 接下来我们将分析这些ＧＡＮ的变体，然后重点关注如何处理ＧＡＮ训练中的存在问题以及模式崩溃．２．２ＧＡＮ的目标函数ＧＡＮ的主要目标就是去最小化真实数据分布与生成数据分布＆之间的距离， 怎么样度量分布之间的距离对于ＧＡＮ极其关键． 标准的对抗网络通过ＪＳＤ来度量两分布之间的差异， 然而这种度量方式存在很多缺陷． 针对这些问题， 研究人员最近几年提出了不同的距离度量方式和散度度量方式来代替ＪＳＤ， 以提高ＧＡＮ的性能． 这节我们将讨论如何基于这些距离或者散度的度量方式来对分布之间的差异进行准确地度量． 目前常见的度量方式分为以下几类， 如表２ 所示．表２ 分布之间距离的度量方式Ｍｅｔ ｒｉｃ 度量方式 ＧＡＮ模型ＦｄｉｖｅｒｇｅｎｃｅＫＬＤＪＳＤＰｅａｒｓｏｎＸ２标准ＧＡＮ［７］ＬＳＧＡＮ［３０］Ｉｎｔ ｅｇｒａｌＰｒｏｂａｂｉｌｉｔｙＷａｓｓｅｒｓｔ ｅｉ ｎＤｉｓｔ ａｎｃｅＷＧＡＮ［３ １］ＷＧＡＮＧＰ［３２］Ｍｅｔ ｒｉｃ（ＩＰＭ） ＭａｘｉｍｕｍＭｅａｎ ＧＭＭＮ［ ３３ ］Ｄｉｓｃｒｅｐａｎｃｙ（ ＭＭＤ） ＭＭＤＧＡＮ［３ ４ ］在接下来的小节中， 将按照表２ 的分类方式， 分别对每一种方法进行详细地分析．２．２．１Ｆ散度（ Ｆｄｉ ｖｅｒｇｅｎｃｅ）Ｆ散度［３ ５］是用一种特殊的凸函数／来度量两分布之间差异的一种方法， 基于两分布之间的比值， 可以将两分布之间的Ｆｄｉ ｖｅｒｇｅｎｃｅ定义为如下的形式：Ｄｒ（ＰｄａｌａＰｇ）＝Ｏｒ ）／（ 》〇：！： （ ４）在采用式（４） 对两分布之间的差异进行度量时，必须满足这样的前提条件： ／（１）＝〇 并且／是一个凸函数， 即当两个分布是一致的时候， 其比值为１，而相应的散度应该为〇． 由于任意满足／（１）＝〇 条件的凸函数， 都可以衍生一种ＧＡＮ的目标函数， 这样就在很大程度上拓展了标准ＧＡＮ． 但实际操作过程中， 并不能准确地求出数据分布的函数形式， 所以应该采用一种可以计算的方法将式（４） 给估计出来．／ＧＡＮ采用了变分估计的方法来估计模型的参数，首先求出凸函数／（ 也叫作生成器函数） 的共轭函数尸， 也称为Ｆｅｎｃｈｅｌ 共轭， 其形式如式（５） 所示：ｆ＊（ｔ）—ｓｕｐ｛ ｕｔｆ（ｕ）｝（５）ｕ＾ｄｏｍ／由于Ｆｅｎｃｈｅｌ 共轭是可逆， 也可以将／表示为ｆ（＇ｕ）—ｓｕｐ｛ｕｔｆ＊（ｔ）｝（ ６）ｕ＾ｄｏｍ／＊将式（６） 代人到式（４） 中可以得到／的下界， 如式（７）所示：）ｓｕｐ（７）（ｘ）ｆ＊（Ｔ（ ｘ＇）＇）ｐｇ（ ｘ＇）＾ｄｘ（８）＝ｓｕｐＣ Ｅ＾＾［Ｔ（＾＞］ Ｅｘ＾ｐｓ［／＊（Ｔ（ｘ＇）＇） Ｊ）（ ９）其中／＃是凸函数／的Ｆｅｎｃｈｅｌ 共轭函数， ｄｏｍ／＃是尸的域．因为最大值的和大于其和的最大值， 所以式（７） 可以变为式（ ８）； 在公式中了表示满足％—的一类函数， 因此可以用ＴＸ：ｒ） 来代替公式中的ｒ；而且ＴＸ：ｒ） 可以用式（ １０） 来表示：Ｄ，（》ｄａ ｔａ 》裏）叫＞ｓｕｐ（＼Ｔ（ ｘ） ｐｄ陈佛计等： 生成对抗网络及其在图像生成中的应用研究综述 ３５ １２ 期Ｔ（ｘ）＝ａ（Ｄｍ（ ｘ） ），ａ（＊）： Ｒ ？ｄｏｍ／＊Ｄｍ（ｘ）：％＞－Ｒ（１０）在式（１０） 中， 可以将７Ｘ：ｒ） 看成是带有一个特别激活函数ａＯ） 的鉴别器； 用不同的生成器函数／以及与其对应的激活函数ａ〇） 可以导出很多ＧＡＮ的变体． 与标准ＧＡＮ—样， ／ＧＡＮ首先最大化等式（ ９） 关于Ｔ（：ｒ） 的下界， 然后最小化近似的散度，使得生成器学到的分布更加类似于真实数据的分布． ＫＬ散度（ＫＬＤ）、 逆ＫＬ散度、ＪＳＤ以及一些其他的散度都可以由带有特殊生成器函数／的／ＧＡＮ架构衍生出来． 在这些衍生出来的ＧＡＮ的变体中，ＬＳＧＡＮ［ ２ ９ ］的性能是最好的一个； 但是在标准的ＧＡＮ中， 当生成器学到的分布 和真实的数据分布 之间没有交集的时候， 即＆距离 还是很远时， 他仍会以很高的置信度将生成器生成的样本判别为假， 此时就会导致目标函数值是一个常量， 反向传播的时候梯度为〇， 最终导致梯度消失． 基于这些问题ＬＳＧＡＮ采用最小二乘损失函数来代替原始ＧＡＮ中的交叉熵损失函数． 最小二乘损失函数相较于容易饱和的交叉熵损失函数有一个优势， 即只在某一个点是饱和的． 最小二乘损失函数不仅骗过鉴别器， 而且还让生成器把距离决策边界比较远的样本拉向决策边界． 类似于等式（ ３） ， ＬＳＧＡＮ［ ３ °１４损失函数如下所示：ｍｉ ｎＪ＂（＿Ｄ）＝ｍｉ ｎ０．５Ｘ＾Ｄ（ ｘ）ａ］２＋ＤＤ細０？５ＸＥ？ｚ［Ｄ（ Ｇ（ｚ） ）ｂ］２（１１）ｍｉ ｎＪ（ Ｄ）＝ｍｉ ｎ０．５Ｘ ［Ｄ（Ｇ（ｚ） ）ｃ］２（ １２）ＧＧｚ其中， Ｄ（：ｒ） 表示鉴别器的输出、 Ｇ（ ｚ） 表示生成器生成的样本， ｚ 表示服从某一分布的随机向量． 常数ａ、６分别是表示生成图像和真实图像的标记；ｃ 是生成器为了让鉴别器判定生成的图像是真实数据而设定的一个阈值．因此， 与标准ＧＡＮ目标函数不同的一点是， 最小二乘损失函数不仅仅对真实样本和生成的样本进行分类， 而且还迫使生成的样本数据更加靠近真实数据的分布． 我们总结ＬＳＧＡＮ的优势如下， 首先是稳定了训练， 解决了标准ＧＡＮ在训练过程中容易饱和的问题； 其次是通过惩罚远离鉴别器的决策边界的生成样本来改善生成图像的质量．２．２．２ＩｎｔｅｇｒａｌＰｒｏｂａｂｉ ｌ ｉ ｔｙＭｅｔｒｉ ｃ（ ＩＰＭ）ＩＰＭ［３ ６］是与散度相似的一种、 用来对两个分布之间的差异进行度量的一种方式， 并且在ＩＰＭ中定义了属于某一个特殊函数类，的评价函数／． 在一个空间中ＸＣ７＾， Ｐ（；（） 是定义在Ｘ上的概率测度， 基于这个测度， 和 之间的ＩＰＭ可以被定义为下边的形式：Ｍｆｅ＾（ Ｐｄ＾， Ｐｇ）＝ ｓｕｐ！ＥＰｄ ａａＵ）［ｆ］ ＥＰｇ（ａ［／］ ｜ （１３）在式（１３） 中， 基于评价函数／的度量标准ＩＰＭ决定了＆和Ｐ 之间的差异的大小． 在这里评价函数可以用一个被 参数化的神经网络和激活函数＾的乘积来表示． 如式（１４） 所示：＝｛ ｆ（ｘ）＝｛ｖ， ｖｕ（ ｘ））＼ ｖ＾：Ｒｍ，ｚｖ（ｘ）： Ｘ＾Ｒｍ｝（ １４）类似于Ｆ散度， 基于不同的评价函数就有ＩＰＭ的不同的变体， 典型的性能比较好的变体有ＷａｓｓｅｒｓｔｅｉｎｄｉｓｔａｎｃｅｍｅｔｒｉｃＣ３ １］ｆＷＭａｘｉ ｍｕｍＭｅａｎＤｉｓｃｒｅｐａｎｃｙＣ３ ７］（ ＭＭＤ）． 接下来， 分别对这两种距离度量方法进行详细地分析．首先对Ｗａｓｓｅｒｓｔｅｉ ｎ 距离进行详细地讨论，ＷＧＡＮ［３ １］采用最优传输理论中Ｗａｓｓｅｒｓｔｅｉ ｎ距离（ 也称作Ｅａｒｔｈ ｍｏｖｅｒ（ ＥＭ） 距离） 来度量两个分布ｈ和 之间的差异． 并且Ｗａｓｓｅｒｓｔｅｉ ｎ距离被定义为如式（ １５） 所示的形式：Ｗ（ Ｐ，， Ｐｄａ ｌａ）＝ｍｆ 瓦（工， ３〇？ｔ［￥ｙ］（ １５）７￣ｉｌ（＾，Ｐｄａｔａ）其中ＩＩ（圮， Ｐｄａｌａ） 是九和ｆｄａｌａ 组合起来的所有可能的联合分布的集合． 对于每一个联合分布ｙ而言， 可以从联合分布中采样， 从而得到一个真实的样本＿ｙ和一个生成的样本：ｃ， 并且求出这两个样本之间的距离ｚ ， 然后计算在联合分布７下的期望值Ｅ（＾［ｋ ＿ｙ ］． 最后在所有可能的联合分布中求出期望值的下界， 而此下界就定义为Ｗａｓｓｅｒｓｔｅｉ ｎ距离； 直观上可以将Ｗａｓｓｅｒｓｔ ｅｉ ｎ距离理解为在最优路径规划下的最小能量消耗． 由于直接对式（１５） 进行求解是很困难的， ＷＧＡＮ利用Ｋａｎｔｏｒｏｖｉｃｈ Ｒｕｂｉ ｎｓｔｅｉｎｄｕａｌｉｔｙ 的技巧将式（ １５） 转换成以下形式：， ｆ＊ｄａｌａ）＝尺戸（／（工） ） （／（工） ）ｆｌ＜ｉ（１６）在式（１６） 中ｓｕｐ表示的是一个上确界， ／々表示的是评价函数必须满足々利普希茨（ Ｌｉｐｓｃｈｋｚ）连续性约束； 这里的Ｕｐｓｃｈｋｚ 连续性要求指的是，对于一个连续函数／施加一个限制， 并且存在一个常数＆＞〇 使得定义域内的任何两个元素：＾和＆都满足如式（１７） ：｜ｆ（ｘｊ ）ｆ（．ｘ２）＼＜ｋ＼ ｘｘｘ２＼ （ １７）式（１７） 中的々 称为是函数／的Ｌｉｐｓｃｈｉ ｔｚ 常数，实际上该连续性约束是为了限制连续型函数最大局３１ ２ 计導机攀报： ＿１苹部变动的幅度， 式（ １６＞中的／函数可以甩一个用ｗ参数化的、 最后一层裨经网絡不用非线性激话■＇数的多层神罃两络九来实现＜ 其实就是鉴别器神经． 网络ＤＶ在限制权值ｗ不通过某个范爾的条件下， 使得￡＝Ｅｔ＇Ｐ—［／（表）］￡±乂［／〇＊）］（ １８）尽可能最大， 此时的￡就是近似真ｉ分布和生成分布之间的Ｗａ＿；ｒ＿ｉ ｎ距离， 翁卖际屢现前时傭聲：注意＊原始ＯＡＮ的鉴别器做的是一个真假二＃类的任务？ 所以最启一层着鼕添加一＋非线性激活函数ｓｉｇｍｏｉ ｄ爾数： ， 但是现在 器是近似拟合Ｗａｓｓｅｒｓｔｅｉｎ 距离， 属ｆ回｜３任务， 神逶网络的最后一层菲线性激活函数襄拿抵我们的陳．标是暨去最小化厶， 因此基于式（ｍ）， 可以设计出ＷＧＡＮ的损失函数如下所示：Ｇ＾Ｌｏｓｓ，｝Ｅｘ－ｐｓ［ｊＬ， ｔ， ｘ）］（１９）Ｄ的Ｌｏｓｓ＇ｔＥｉ＊＾［／？（又）］ 瓦、／［／？心＇）］；Ｃ２０）録上， 采； 用Ｗａｓｓｅｒ ｓｆｅｉ ｎ躯离来度量生處分布Ｉ３，和真实分布 之间差异胁好处就是， 当＾和之间没有雙＿减＃是：交： ＿狼小的时候， Ｗａ热ｅｒｓ＿ｉ艇离不是一个常量！■． 其仍然可以度量两分布之间的■异， 所以很好地缓解了梯度消失的问题． 但是喪上述ＷＧＡ． Ｎ： 中％粗暴的权重裁剪会导致如下问题；在对抗网络中鉴别器的Ｌｏ路是希望尽可能地拉尤寫假祥本之间的差距． 然后权： 霞裁剪的策略又独立地限劁每一个网络参数的取值范围， 在这样的情况下就是让所有的参数走向极端凑么取最大值蘩么取最小值５ 导致参数值的分布很不均匀， 如？２（治所示． 针对这个问題， 学者们又用梯度惩罚项来代替ＷＧＡＮ中的权重裁剪的技巧， 逋过限制鉴到器的梯度不超过ＬＬｐｓａｈｉ ｔｚ：常数為乘构造： 様愈： 藝罚项．（ａ） 梯度裁剪（ｂ） 梯度惩罚ＳＩ 双＜５４；？［３１ ］＿被：重疸势布魂迸后的损失函数， 如式ｍ） 所示ｔＣ＝Ｅｘ．ｔｇ［（＊）］ ＥＴ，ｌｏｔ）］＋ＡＥａ［ Ｕ山＇１＃ｌ］ａ（ ２１）通过＿２（ｈ）￥賓以， 观赛＿满足ＩＬｉｐｓｃｈｉ ？約東的梯度惩Ｓ使得禆经网络的参数分布得更加均邻接下来对最大平均羞异［３ ７］（ＭＭＤ） 做深入的讨论？ 最大平均差异被槔出时最舞被用于双样本检测问Ｍ，用ｆ判断苘个分布Ｐ和Ｑ是■否一样，其基本思想是ｔ对于所有以分布生成的祥本空间为输人的函数／， 如杲两个分布Ｐ和Ｑ生成足够多的样本， 并里．这些祥本在涵数／卞值的均值刺等、 那么就可以认为这两个分布是词一个分布． 首先介绡一ＴＦ希尔伯特瘦间Ｈ， 希尔伯＃空间是一个完备的线性空间，同时也是一个内积空间． 核６ 袜定义为６避， ｌ（、ｖ， ｘ） ＝Ｍ 对于任意一个给定的ＫＪＳ核Ｍ？，？：Ｖ都拿＿一个唯 雜爾翁空间＂／：４麗！＜ｆｒｆ其满足再生性， 因此也叫做再生核希尔伯特空间（ＲｅｐｒｐｄｕｃｎｉｇＫｉｅｒｎｅｌＨｉｌｂｅｒｔＳｐａｃｆ．ＲＫＨＳ） ； 再生性指： 札是一个希尔怕待空间， 并且其满足以下特性：＜／． ＾； ｛＊？ ａ：ｌ ）＞ｉｆ）． ＝／（ ｘ）．Ｖ／（；（？（２２）假设有一个满足Ｐ分布规律的数据集Ｘｓ＝［４，…， ＜］和一个满足Ｑ分布的数据集Ａ”＝［４，＊ｕ； ？ ］； 并且存在一个ＲＫＨＳ和一个梭函数 ：可以将＿原始数据Ｘ从原始空间映射到再生核希尔猶特空间？ 诨此ＭＭＤ可以被表示为如式Ｃ２３） ：Ｍ（Ｈ）＝—）ｒＹＹ＼ 丄４＇ ｉｍ）逋过式０３Ｊ可以着出， 其康理就是对每一个霧实祥本和生成的样本进行投影并求和、 利用和的大小对巧和Ｐ＿之间的差异迸行璨量．．类似于ＩＰＭ？ ＭＭＤ＃参数空间—牡灶達＃ 镦的， 同： 时？ＩＰＭ爾框架下ＭＭＤ也有以被瑪解， 此时其函数类綦７＝队．２．２．３ＩＰＭ度：＃标准和Ｆ散度度量标准的比较对于Ｆ散度来讲， 在式⑷中被定义的、带有凸函数／的／散度涵数族， 当数据空间中的维数 逐渐增加的时候，／散度． 是很难被估计的， 并且两个分布的支撑集是没对齐的》＾ 又会导致散度的值趋向于无穷大．． 尽管等式（＆） 推导出了等式（４） 的变分下界，但是在实践中不能保证变分下界对真实散度的收紧性， 从而会导致不芷确、甚至鼻有偏的估计．Ｓｒｉｐｅｎｉｍｂｕｃｈｊｒ＾人［ ３ ６］研：兹： 義＿齊／－ｄｉｖｅｒｇｅｎｃｅ族和ＩＰＭ族之间唯一的褒集＿暴ＴｏｔａｌＶａｒｉａｔｋＭｉＤｉｓｔａｎｃｅｆ， 属此ＩＰＭ族也棱？继樣／」ｄｉｖｅｒｇｅｉｉｃ＆｜｜的缺点； 他们也证明了在使用独立同分布祥本的倩况下，ＩＰＭ估计器是在收欽性方面吏加一敷．在实践应用中＿， 吏多采用ＩＰＭ度量标准来对真实分布和生成分布之间的差异进行度量． 与Ｆ散度度量标准相比．ＩＰＭ度量标准有以下优点：（ １．）ＩＰＭ度量标准不会受到数据遍潍的影响；緣佛肩： ４麟卵赛具纖興像生ｆｔ中餘麵研露雜 ３５ ３ ２： 期（２） 始终可似反映两分布之间的真实距离，即使是两分布的支撑集没有相应的交集，ＩＰＭ也不会发散．２． ３ＧＡＮ的模型结构員前芘对抗网络中處用最为广泛的两种神ｇ网络结构分别是卷积神ｇ两络结构和自动编码神经网络结构■基于卷积神经网络搭建的对抗网络＾生成器由多层反卷积．网络晨构成， 而鉴别器由多层卷积网络层构成． ＤＣＧＡＮ［ ３ Ｓ ］是首先采用该结构的模型４ 其结构如图３所示同时该模猶也加入了批量正则化的技巧来帮助稳定ＧＡＮ的训练； 由于ＤＣＧＡ．Ｎ良好的性能＞ 基于此网络猪梅提出了很多新的方法； 例如： ：ｐｉｘ： ２ｐｉ： ｘ［１３］、 々ｙｃｌ ｅ－ＣＪＡＳ［［１ ４］馨； ： 同財： 受ＤＣ＆Ａｌ＾思想的启发＞Ｄｍｕｅｌ 等人＠使用递归神ｇ．网络（ ＲＮＮ）去生成图像． 通过交眷对抗训练， ＤＣＧＡＮ可以生成质量根：高的图像？綱＊自动编码网络［４°］， 如图４｜ 是一种甩于无监督学习的自重构神经两络， 并且嘗输人作为＿标值， 甩自监督牵习方法来进軒训练．自重构的Ｉ［的是去学、习输入数据的高雄特征或者是压缩表示． ＶＡＥ－ＧＡ．Ｎ［ ４１ ］用鉴别器Ｄ来表示ＶＡＥＭ的重构损失． 从而可以结合变分自编码器和ＧＡＮ苘者的优势． 去ｆｔ成高赓量的图像，最终该模型生成的图像要比单独用ＶＡＥ或奢是单独用ＧＡＮ生成的图像质量要好？ａＧＡｔＦ２ ］構ｉｆｉ用Ｅｎｃｏ： ｄｅ；ｒ－Ｄｅｃｏｄｅｒ结构来实现对抗网络中的生成器， 该结构中的Ｅｎｃｏｄｅｒ， 输人是真实图片，输虚：是一个 讀码ｉｌｉｆ与Ｅｎｃｃｄｅｒ 无关的Ｄｅｅ； ｏｄｅｒ＿： ＿输人一段给定编码， 输出是一张图片？ 同时有一个鉴别器＊其输人是顧像和隐编码组成的配对， 它讀荽去＿断送个節对慕来自 Ｅｎｃｃｉｄｅｒ 还裏Ｘｔｅｅｏｄｅｒ？ 该模型勒肩标就是让来自于Ｅｎｅｏｔｆａ配对的分布：Ｐ（ｉ＇，ｓ｜）和来自于Ｄ＆ｅｄｄｅ：ｒ 配對的分布＇ＱＣｒ％之间的艇离越来遞小， 在： Ｂｉ－Ｇ＿ＡＮ〔＊２］中Ｅｎｃｏｄｅｒ和就是一个互为逆运箅的过程．，从而窠好地实现重构．ＥＢＯ ＡＮ［４？是一个由编码器、解码器和鉴别器三个部分组成的生成模ＳＩｓ 其中鑒别器的作用晕判断解码器对输人酉像重构性的高低， 而编码器、解码器组成Ａ． ａｆｅｒｅｎｃｏ： ｄｅｒ，壤ＡＢｔｃＫｎｃｏｄｅｒ提翁用，壽禽图Ｊｆ＿行预训峯義．ｆｉ綱训靡好的Ａｕｔｓｒａｅｏｘｌｅｒ＿鲁： －租鉴别器两雄， 即可搭建该模型的对抗陶＂络结构．ｉｐ－Ｅ（ｘ）编码器Ｅ生成图像Ｇ（ｓ〇鉴别器ＤＡ真图像Ｘ（ａ） ＶＡＥ－ＧＡＩｖＰ１的网络结构图４■自糖編與虛戚，＃抗： 网繪采用卷积神经网络和转置卷积神经Ｗ络来搭建覺￥１司迸行一个很好的探索， 例如对图像进行属性编生成对抗网络是大多数人采用的方法． 如果想对隐变辑， 基于自动编码网络的ＧＡＮ是一个最佳的选择．３ ５４ 计 算机 学 报 ２０２１年ＣＧＡＮ＾４７＾Ｐｉｘ２ｐｉｘ＾３＾Ｔｅｘｔ ｕｒｅ ＧＡＮ［４ ８］、 Ｇ２ＧＡＮ［４ ９］， Ｂｉｃｙｃｌ ｅ ＧＡＮ［５０］－Ｃｏｎｔ ｏｕｒ２ｉｍａｇｅ［ ５１ ］、ＳＰＡＤＥ［５２］、ＰＬＤＴ［５ ３］ＧＡＮ［１Ｃｌ］、 ＷＧＡＮ［ ３１ ］、 ＬｅａｓｔｓｑｕａｒｅＧＡＮ［３０］， ＷＧＡＮＧＰ［３２］ＪＡＮ［３５］，ＤＣＧＡＮ［３８］、 Ｕｎｒｏｌ ｌｅｄＧＡＮ［５ ４］、Ｉｍｐｒｏｖｅｄ ＧＡＮ［５ ５］、ＩｎｋｒＧＡＮ［５６］、ＬｏｓｓＳｅｎｓｉｔ ｉｖｅＧＡＮ「５７」、 ＤＴＴ＾５８ ］、ＵＮＩＴ［ ５９ ］＾ Ｓｅｌｆ Ａｔ ｔｅｎｔｉｏｎＧＡＮ［６０］Ｓｔ ａｃｋ ＧＡＮ［６ １］、ＳＳ ＧＡＮ［６２］Ｄｕａｌ ＧＡＮ［６ ３］， ＴｒｉａｎｇｌｅＧＡＮ［６４］，Ｓｔ ａｒ ＧＡＮ［４ ６］Ｘ〇ｍｂ〇 ＧＡＮ［６ ５］，ＸＧＡＮ［６６］、 ＬＡＰ ＧＡＮ［６７］、ＬＲＧＡＮ［６ ８ ］、 ＳＧＡＮ［ ６９ ］、２． ５ 生成对抗网络的优势和劣势从上述讨论中可以知道， 在目前生成模型的各种方法中， 生成对抗网络相较于其他的方法有以下优势：（１）ＧＡＮ通过一种间接的方式来对未知的分布进行建模， 从而避免无监督学习中难解的推断、 难解的归一化常数等问题； 所以ＧＡＮ不需要引人下界来近似似然．（２）ＧＡＮ可以并行地生成数据， 与自回归模型相比， ＧＡＮ生成数据的速度比较快； 同时ＧＡＮ生成的图像还比较清晰．（ ３） 在理论上， 只要是可微分的函数都能够用于构建生成器和判别器， 因而ＧＡＮ能够与深度神经网络结合来构建深度生成式模型．但是生成对抗网络也存在着如下劣势：（１） 可解释性比较差， 因为最终生成器学到的数据分布只是一个端到端的、 黑盒子一样的映射函数， 而且没有显式的表达式．（２） 在实际应用中ＧＡＮ比较难以训练， 由于ＧＡＮ需要交替训练生成器和鉴别器两个模块， 因此两者之间的优化需要很好地同步．（３） 可能发生模式崩溃的现象， 导致生成器学到的模式仅仅覆盖真实数据中的部分模式， 使得生成样本的多样性变低．（ ４） 训练不稳定， 神经网络需要良好的初始化，否则可能找不到最优解， 导致学到的分布距离真实数据的分布仍然很远， 并且无法根据损失函数的值来判断模型的收敛性．３ 基于ＧＡＮ做图像生成的一般方法ＧＡＮ在计算机视觉任务中应用最多的是图像生成， 各种模型可以按照是否有监督和直接法或是集成法的分类方式分为以下几类， 如表３ 所示．表３ 图像生成方法分类有监督无监督２．４ 训练ＧＡＮ存在的问题以及应对策略尽管ＧＡＮ在某些方面取得了令人满意的效果，但是其在理论和实践中还是存在一些缺陷．在理论方面， 标准的对抗网络是用ＫＬ散度或者是ＪＳＤ来度量真实数据分布和生成数据分布之间的差异． 由于这种度量方式在某些状态下是饱和的， 梯度消失的问题就会发生， 同时ＫＬ散度的不对称性使得对抗网络宁可丧失生成器生成模式的多样性， 也不愿丧失鉴别器的准确性， 最终导致模型的模式崩溃问题．在实践过程中， 对生成器生成图像质量的好坏的评估还没有一个统一的标准； 并且在训练对抗网络的过程中无法根据损失函数的值来判断模型是否收敛； 同时很难量化地判断生成器在什么样的条件下能够生成高质量的图像．为了更好地生成图像， 研究者们提出了相应的方法来解决上述在训练对抗网络中存在的问题． 比如采用替代损失函数的方法来改善梯度消失问题，Ｗａｓｓｅｒｓｔｅｉ ｎＧＡＮ提出用ＥＭ距离来替代标准ＧＡＮ中的ＪＳＤ．使用ＥＭ距离的优势在于， 即使是真实数据分布和生成数据分布不相交， 他也能很好地度量两者之间的差异． ＬＳＧＡＮ用的另一种方法是使用均方损失替代标准ＧＡＮ中的对数损失， 其目的是对距离决策边界较远的样本进行一个惩罚，使生成数据的分布更加接近于真实数据的分布．针对模式崩溃的问题， ＤＲＡＧＡＮ［４４］采用梯度惩罚的方式来避免ＧＡＮ的博弈达到一个局部平衡的状态， 极大地增强ＧＡＮ的稳定性， 尽可能地减少模式崩溃问题的产生． Ｕｎｒｏｌ ｌ ｅｄＧＡＮｓ 在更新参数的时候不是仅仅用当前的梯度值， 而且是用前几次梯度值的加权和来对当前的参数值进行更新， 从而以此方法来预防模式崩溃的问题． Ｐａｃ ＧＡＮ［ ４５ ］将多个属于同一类的样本进行打包， 然后传递给鉴别器，来减少模式崩溃现象的发生． 还有就是用集成的方法来处理模式崩溃的问题，一个ＧＡＮ可能不足以有效地处理任务， 因此学者们就提出用多个连续ＧＡＮ， 其中每一个ＧＡＮ解决任务中的一小块问题．ＳＴＡＲＧＡＮ［４６］先独立地训练Ｎ对局部ＧＡＮ， 然后基于局部ＧＡＮ去训练全局ＧＡＮ， 从而保证全局ＧＡＮ生成模式的多样性． 在对抗网络的损失函数中加人感知正则化项， 则在一定的程度上可以改善生成图像的质量问题． 而对ＧＡＮ生成图像质量的评估方法， 将在后边的章节中进行介绍．直接法集成法緣佛肩： ４麟卵赛具纖興像生ｆｔ中餘麵研露雜 ３５ ５ ２： 期本节将从：霞朦方法和魏鹿方法两个實商：来对基于ＧＡＳ做菌像生成的方法做一个１Ｃ总， 并且最后对图像生成方法进行一个小结．３．１直接法如画ＩＣａ） 所示， 在： 这神■像 成方法中，， 对抗Ｍ络只有一个生成器和一个鉴别器， 生成器直接学习 个逼近真实数据分布的分布， 从学习到的分布中采样来生成样本． ． 其中ｄｃｇａｎ［３ Ｓ］是最为典型的一个模型，其结构己經被很多模型作为一个基准， 例如？ｌｎｆ０－ＧＡＮ［ ５６ ］，ＴＴｅ３ｒｔ－ｔ０－ｉｍ＇ａｇ：ｅ［ ７。］、ＩＣＧＡＮ［ ７ １ ］等模型；ＤＣＧＡＮ中生成器和鉴别器的模块结构如图６ 所示，產成器的网络模块使用转置卷积批ｇＥｖｉＪ化－ＲｅＬＵ激活函数？ 而鉴别器的网络模块使用卷积－批量正姻化－ＬｅａｋｙＲｅＬＵ激活函致层？ 这种方法设计＃１赛现起来通． 常比辍寬隱（ａ） 直撒（ｂ） 触法ｍ§ 圈傷生成＃餐直禱法和筆織■．輝ＲｅＬＵ激活函数 卷积批量正则化 批量正则化转置卷积 Ｌｅａｋ－ＲｅＬＵ生成器 判别器图６ 搭讀：ＤＣＧＡｌ，］的网舉樓块３． ２ 集成法如ａｇ（ｂ）所示， 集成方法与直接进行图｜生成的方法不同， 集成方法模型的结构有以下几种形式：多个生成器．一个鉴別器、一个生成器多个鉴别器、多个生成器和多个盤别器． 集成方法的思想是去把视觉任务分成几个部分１然后每一个ＧＡＷ去ｇ成视觉任务的一部分， 比如： 可以用两个ＧＡＮ去分别学习＇图像的内容和属性、前輦和曹； 或者用多个ＧＡＮ粗到细、由小到大地去生成图像， 而生成器之间的关系可以是迭代的， 也可以是Ｍ次递进的？ＳＳ－ＧＡＩ＃２ ］用了两个ＧＡ興来进行图像的生成，一个是＇结构ＧＡＮ， 用来根据随机向量Ｚ生成表面法线贴图； 另一个是类型ＧＡＮ，以表面法线贴西和随机噪声Ｚ为输人来生成瓜图像？ 该方：法首先生成图像的结构， 然舜基于虜像错构再生成犯图偉》结构ＧＡＷ的实现方式采用和ＤＣＧＡＮ—样的卷积模块， 而类型ＧＡＮ在实现方式上稍敵有点不同． 类型ＧＡＮ的生成器先、让其输人量Ｚ和表面袪线贴图先分别痉过转瓮卷积层和卷积层的处理＊ 最后将两个Ｍ络的输出合为一个向量， 而合成后的向量作为类■親ＧＡＫ生成器的输人． 类聲ＧＡＮ的鉴别器以图像和图像表面法錢向量在通道屠面进行连接后的量作为输入． 在理想的情况下， 生成器生成的图像和真实图像应该有相同的表面法线贴图ｒ基于这一想法，ＳｆＧＡＮ用一个全卷积神羟网络来将生成图輟再转变成表．两法钱贴图， 并且銮ｆ此表？法巍贴图构造一个重构损失作为拫失函数的一今疋则化项， 从而约東生成器学到的分布询真实数据的分布靠近．ＬＲＧＡｆｉｐ］的实现方法是使用不同的生成器去＊成图像的前憙内容和背景内窖． 而使用一个鉴别器来对虜像进行判定＾该模型通过实验证明了分别生成前景和曹景内容，然后合成清晰的围像是实． 现图像生成的一种＃法， 综上可知？ＳＳ－ＧＡ．Ｎ模型和ＬＲ－ＧＡＮ： 模型都是集成了两个生成器． 通过ｇ级錯构的方式乘实翁歷像龜成；ＬＡＰＧＡＮ［６ ７］是用多个生成器由祖到细地来生成图像， 底层的生威器以服从某一分布的随机向量作为输人， 并且输出？围像； 其他的生成器都执行以’下同样的功能ｓ 用前边％成器输岀的图像和一－个随机噪声向量作为输人，输出＆成面像的细节．该细节曹以鑛＿如：斑生咸厲像中， 使得生成圓傳霉加的着晰；除了． 底鳥生成器外ｆ其他生成器唯一的不同之处是输人和输出维数的大小不一＃．ＳＧＡ＃Ｗ中集成了多种生成器， 底层的生成器以随机噪声询量为输人．输出低爱次特征向量Ｉ 而＇中间层的生成器以低层次特征向量为输人， 输出霄层次特征向量ｉ 猶层的生成器以高层次特征向量为输入，输出生成＿像． 并且ＳＧＡＮ在目标函数中加人了条件损央项和熵摄失项★ 条件损失项可以帮助生成器有效地使甩来自上一顏的条件信息， 熵损： 失项可以最大化生成器输出的条件熵的＿分下界ｓ 这些绮東项的加人可以徂Ｉｆ地帮助生成器去生成图像．Ｓｔａｃｋ－〇４＃６ １］有两个生成器，． 第一个生成器以随机矂声歧羹Ｚ和类标遂．Ｃ组成的向量作为输人， 输出是可Ｋ着出物体轮廓和模糊细节的模糊图像， 而第二个生成器以第一个３１３１ ６ 计導机攀报： ＿１苹成器生成的图像和随机噪声向量以及类标签作为输人， 然诗生成一个逼真的图像． 綜上可知， ＬＡＰＧＡＮ、ＳＣＪＡＮ和Ｓｔａｃｋ ＧＡＭ都是集成了多个生成器， 以迭代的方式来实现图像的生成．与直揍法相比， 基于＿成法来做图翁生成， 可以有效改善模式崩溃的问题， 可以实现多个域之间的转换ｒ同时还可以实现特征分离； 但是基于集成法的模型训练起来会比较＿难．３． ３图像生成方法小结禱于ＧＡＫ的图像生成主襄考虑两个方面， 分别墓生成图像的质量和多＃性． 用标准ＧＡＮ生成的图像， 在质量和多样性方面存在着很多不足， 所以针对这西个问題， 稂多方法基于ＧＡＢ做出Ｊ改进：（１） 通过替代目标函数来改善生成＿镩的质覺ｓ 例如ｒ用ＥＭＤ的钜离度暈方式来替代ＪＳＤ或者是用均方损失函数替代对数损失涵数．（ ２） 通过增加梯度惩罚项来改春生成图像的质？養， 该技巧不仗能缓＊梯度消失或者是梯度惩罚的问题， 而且可以极大地增强ＧＡＮ的稳定性， 尽可能地减少模式崩溃问： 癍． 类似的技巧还有谱归一化， 该技巧比梯慶惩窃吏加高效．（３） 通过辅助信惪来帮助改＿生成图像的质？量， 例如类标签信息． 等，通过搭建處变量和观测数据之间的联系来改善生成图像的质量，比如： 苴倩息等，＜在模型构建的时候， 使用批量正则化的技巧， 该技巧可以解决初始化差的问题， 可以彼坏原来的分布， 在一定的獲度上可以缓解过拟合．Ｃ６） ，通过集成的方式来改善模式崩溃的何题， 由于乘甩了多个生成器和判别器． 它们之间有很多信息可以共享从而Ｗ以提高生成器轚体的学；９能力．４ 基于随机向量生成图像读方法的基本息想是用一个多层神逄网络来实＿一个非线性映射， 诙映射的功能是翁一个服从某一分布的随机［％１映射为采样于服从某一分布的图像． 基于这样的思想； 本小节将从基于互信息的图像生成， 基于注窵力机制的图像生成， 以及基于单幅图像傲腹儀生成三个： 方朦乘Ｉｆ． 这一图俸生成的賞法迸行介绍．（ １）基于互信息的Ｂ像生成在标准的对杭网络中， 生成器的输人一般都是一段连续的单一的随机噪声向量： 这样的情况下输入向量通常会被生成器进行过度地耦合处理， 导致无法逋过控制输人向量的某些维度来控制生成数据的语义特征？ 针对这一问题Ｊｎｆｏ－ＯＡＮ通过加人互倉息： 正则化约束项来实现输入某些雄度的？可解释性＊其樣型结构如图７ 所示； 该方法人为地将输人向量限制为随机噪声＿量和隐向量两个部分，这些＿向量服从于某一先．验的连续的或者离散盼概率分布， 用以表示生成数据的不同特征维度＾真实图像 生成图像生成器Ｇ隐賴Ｃ＾）［ 随机噪声向歡图７Ｉｎｆ０－Ｇ八Ｎ的结构示意图互信息是一种用来度量一个随机变蠶中包含的关于另一个随机变量的信息量， 而读圈像生成方法Ｅｆｅ基于此度董方式来确定输出关于输人的倚息．營Ａ而实现对输人向營弟些维度的可麵释性． 假设隐向量■为 而生戚器的输出为Ｇ Ｗ）， 其中Ｚ代＿餘是输人尚量． 因此输人和输出的互信息： 可供義示为如下形式ＩＣＣ； Ｇ（Ｚ＞ Ｃ））＝Ｈ（Ｃ）Ｈ（Ｃ｜ Ｇ（Ｚ， Ｃ））（２４）式（２４）中的Ｊ表示苴信息， Ｈ表示计算熵 基于互信息的琯像生成方法的目标函数由对抗损失函数和２狺息约束项两个部分组成，可以写Ｊｔ是如下．形式：ｍｉｎｍ＆ｘＶＡＤ＾ｎ）＝Ｖｍ，Ｄ）－ＸＫＣｆ ＵＣＺ， ０）（ＺＳ）ＧＤ该模谨的鉴别器ｔ两个功能：一是辦别图儒是杏来自于真实数据分布＊另一个是ａ图像中预溅一个维食与输人＿向璧：相同的向 在基于互＿息正则项的约束下，该方法？可以将隐向量中毎一维度代表： 的特怔養息学■出来因此读模塑对以很好地解释输入向量中的隐变量但是这种方法的可解释性仅仅局限在输人＿最中人为添加的＿变量的那一小块， 如果想对输入向量申所有维度代表的实际含义做出解释， 这一方法就不适用了．（２＞ 基于＾意力机制的图像＆成注纛力机制与人类对外箅善物的观察机制很类陈佛计等： 生成对抗网络及其在图像生成中的应用研究综述 ３５ ７２ 期似， 当人类观察外界事物的时候，一般不会把事物当成一个整体去看， 往往倾向于根据需要选择性地去获取被观察事物的某些重要部分． 比如我们看到一个人的时候， 往往是先注意到这个人的脸， 然后再把不同区域的信息组合起来， 形成一个对被观察事物的整体印象． 因此注意力机制可以帮助模型对输人向量的每一个部分赋予不同的权值， 抽取出更加关键以及重要的信息， 使模型做出更加准确的判断， 同时不会对模型的计算和存储带来更大的开销．在传统的ＧＡＮ中， 使用小的卷积核， 导致难以发现图像中的依赖关系， 使用大的卷积核， 就会导致丧失了计算的效率， 而注意力机制可以快速提取数据的重要特征， 因此在Ｓｅｌｆ Ａｔｔｅｎｔｉ ｏｎＧＡＮ［ ６°］中引人了自注意力机制； 该机制的抽象数学模型如下， 假定特征向量是Ｘ， 首先该模型通过１ Ｘ１ 的卷积分别对特征向量叉做处理， 从而得到／（：ｒ） ， ｇ（：ｒ） ，／ｉ（：ｒ）如果我们用 来表示网络的参数， 则／＆） ，，／ｉ（：ｒ） 可以被表亦成式（２６） ：ｆｉｘ）—ＷｆＸ＾ ｇｉｘ）—Ｗｇｘｙ ｈ（ｘ）—Ｗｈｘ（２６）通过式（ ２７） 来获得注意力权值：二 ＝ｆｉｘ． ｙｇ（ ｘｊ）（２７）ｅｘｐＯ＂）ｉ ｉ基于注意力权值， 进一步通过式（２８） 可以得到注意力特征映射：Ｎ〇ｊ＝（ｘｔ ）（ ２８）ｉ ｉ最后将式（２８） 融合到特征向量Ｘ中就得到带注思力机制的特征映射： Ｍ＋ ６？注意力机制可以将内部经验和外部感觉对齐，从而来增加对部分区域的观察精细度． 而自注意力机制是注意力机制的改进， 其减少了对外部信息的依赖， 更擅长捕捉数据或特征的内部相关性． 并且基于自注意力机制的对抗网络允许图像生成任务中使用注意力驱动的、 长距依赖模型， 并且自注意力机制是对正常卷积操作的一个补充， 全局信息也会被更好地利用去生成质量更好的图像．为了更好地探索基于对抗网络生成的图片究竟可以精细到什么样的程度， 基于Ｓｅｌｆ Ａｔｔｅｎｔｉ ｏｎＧＡＮ改进的ＢｉｇＧＡＮ被提出． 该模型通过以下措施来提高模型生成图像的质量和多样性：（１） 增大Ｂａｔｃｈ．—个大的Ｂａｔｃｈ可以让每个批次覆盖更多的内容， 从而为生成器和鉴别器两个网络提供更好的梯度．因此简单地增加Ｂａｔｃｈ， 就可以实现性能上较好的提升， 同时还可以在更短的时间内训练出更好的模型．（２） 增大模型容量． 在合适的范围内通过增加每层网络的通道数来提高模型的容量．（ ３） 共享嵌人． 将噪声向量Ｚ等分成多块， 然后将其和条件标签Ｃ连接后一起送人到生成网络的各个ＢａｔｃｈＮｏｒｍ层．（４） 分层潜在空间． 与传统模型直接将噪声向量Ｚ嵌人生成网络初始层不同的是， ＢｉｇＧＡＮ将噪声向量Ｚ输人模型的多个层， 而不仅仅是初始层．（ ５） 截断技巧． 在对先验分布Ｚ采样的过程中，通过设置阈值的方式来截断Ｚ的采样， 其中超出范围的值会被重新采样以落人要求的范围内， 该方法允许对样本多样性和保真度进行精细控制．（ ６） 正交正则化． 该方法的目的是让生成网络的权重矩阵尽可能是一个正交矩阵， 这样最大的好处就是权重系数彼此之间的干扰会非常得低．在该模型设计过程中， 增加Ｂａｔｃｈ 的大小会导致训练不稳定， 因此在模型中采用谱正则化的技巧来改善训练模型时候的稳定性， 从而抵消增加Ｂａｔｃｈ 对训练稳定性的影响． 最终这项工作表明通过上述技巧可以很好地改善生成网络的性能， 但是该图像生成方法对计算力的要求很高．（３） 基于单幅图像做图像生成单幅图像中通常具有足够内部统计信息， 可以使得网络学习到一个强大的生成模型． 基于这样的思想， ＳｍＧＡＮ［ ７ ２ ］提出从单幅自然图像中去学习一个非条件生成模型， 该模型可以以任意尺寸生成各种高质量的图像， 同时也能够处理包含复杂结构和纹理的普通自然图像． 如图８ 所示， 与常规ＧＡＮ不同的是， 该模型使用的训练样本是单幅图像不同尺度下采样的图像， 而不是数据集中的整个图像样本．该模型选择处理更一般的自然图像， 使得模型具有生成纹理以外的其他功能． 为了更好地捕捉图像中目标的几何形状、位置信息、 以及细节信息和纹理信息等图像属性， ＳｍＧＡＮ［７ ２］采用了层级结构的对抗网络， 由 Ｎ对生成器｛ ＧＮ，…， Ｇ。｝ 和鉴别器，…， Ｄ。 ｝ 组成， 如图８ 所示． 其中， 每个生成器负责生成不同尺度的图像， 而相应的每个鉴别器负责捕捉图像不同尺度的分布． 从最粗到最细顺序的训练该模型的多尺度结构， 当每个ＧＡＮ被训练好以后， 其参数就会被固定． 同时， 模型中第Ｎ个ＧＡＮ的损失函数由对抗损失Ｌａｄｖ和重建损失 两个部分组成， 如式（２９） 所示．３１ ８ 计導机攀报： ＿１苹ｍｉ ｎｍａｘＬａＳｖｔＣＧｎ §Ｌ式（３３》中的ａ愚趨参截， 乂ｙｊ 翁 ， 抑： Ｐ５＊ ；Ｖ４抗损失采用ＷＧＡＭ－ＧＰ损失，重崖损失是： 为了确保使模型存在可以生成原始菌像怎的特定噪声時谱集令， 如式（３０＞所示．Ｌｒ， Ｇ， Ｃ〇：？ ＰＴ＋ｉ）ｔ） （ ２０）式（３Ｑ）中 表示上个尺度生成图像上采祥后的结果Ａ指的綦尺度ｉＶ 下的真龛虜像？ 这项工作不仅仅具有生成纹理的能力， 而且还具有为复杂自然＇图像生成各种遥禽＃本的能力． ＿此． 其为多种图像处埋任务提供了： 真強太的工具， 但棊该方法在语义多＃性方面存在固有的限制．５ 基于图像转换生成图像在这一节＊ 图像到图像的转换将被从有监督和束的厨像转换、基于辅助分类器的？镩转换、基于特征分离的图像转换、＇图像多域之向的转换．５． １ 基于有监督方式的图像转换Ｐｉ ｘ２ｐｉ ｘ可以将一种类型的图像转换到另一种类型， 例如： 黑夜转成白天、 猶素描图转成猶的真实？片等， 如图９ 所示． 用于构建诙隹型‘生成器的樂构是编码器－解码器网■络结构的一种—Ｕ－Ｎｅ＃３ ］网络， 并且在网络中允许编码器到对称解码器之间的跳跃连接，．基于这样的操作可＇以共享一些低层的信息＞由于数据采用成对的ｆｌ像， Ｐｉｘ２Ｐｉ ｘ的目标画数被读计成两个部分：一个是对抗损失函数ｒ第二个晕Ａ正则化项即生成商像与Ｇｒｏｕｎｄｔｒｕｔｈ翁差的儀；由于心正则化使得生成的图像比较模糊，因此采用的是ＡＢ则化项＊ 该模型的目＊涵数如式Ｕ１．） 所示：语义分割图转换到街景图 语义分割图转换到建筑正视图黑白图转换到彩色图１０４１１１ＭｉｌｌＭ卫星遥感图转换到平面图日景图转换到夜景图图９ 图像到图像转换示意图［１ ３ ：轮廓图转换成实物照片Ｇｔａｒｇｅ ｔ＝ａｒｇｍｉ ｎｍａｘｌＥｘ，ｙ［＿ｌｏｇＤ（ｘ，ｙ）＾＼＋ＧＤＵｌｌ 〇ｓＩ＞Ｃ３￡＊ ＆（句轉：）］ ＋ＡｌｉａＣＧ）］ｔ３１）Ｌ代表簡是厶息则化项＾其实现方式如式炫幻＊：（Ｇ）＝Ｅ，．３， ． ＝［Ｕｊｙ—Ｇ（ｘ＃）］（３２．）＿式众２） 中＿ｖ代纖露实图像Ｖ代泰養：标藥； ？＿彩色图像： Ｇ表示生成器；Ｄ表示鉴别器． 该模＾４ ｈｔＵ１！Ｌ样＿＾Ｎ－．ｔ ０ ＾Ｎ－ｌ１ｊ￣［１ ｍｎ纊一ｆＡ图８Ｓｉｎ－ＧＡＮ模型的多尺度网络架构Ｔｎ？Ｄｎ）＋〇Ｌｒ ｅｃ （Ｇｗ）（ ２９） 无监督两个方面来进行介绍， 而无监督方面， 将从以下四个方面来进行讨论， 分别是： 基于自重构损失约ＤＮ，；ａ ．ｚｏｔ：藝螈写Ｓ■鹚緣佛肩： ４麟卵赛具纖興像生ｆｔ中餘麵研露雜 ３５ ９ ２： 期藝在训练过程中鉴别器的输人不是整幅图像， 而是将整幅图像分割后的很多小块用小块图像训练该模型， 可以让模型根好地去捕捉局部细节或者是商频信息， 同时正则化可以让摟複更好地学到低频信息．？ 虽然这种方法可以生成高廣鸶的图？像， 但甚唯一的缺点就是必须使用成对的图像．Ｐｉ ｘ２ｐｉ ｘＨＤ誠在Ｐｉｘ２ｐｉ？ｃ 獏觀的藝础之上， 基于实例分割ｆｉ像，使用多尺度的生成器以及鉴别器來生成高分辨率的菌像． 该模Ｍ的生成器由 Ｇ和Ｇ两个部分组成ｓ，其中仏是一个端到端的Ｕ」Ｎｅｔ网络结构 被分割成两个部分． 应的一部分甩于提取特征， 并且将该特征和Ｇｉ 输出Ｂ的前一Ｓ特征进行相加融貪． 最后将融＇費后的特征作为＆另一部分的输人来生成高分辨率的Ｍ輟， 而该模型的鉴别器暴一个多尺度鉴别器， 判别的三个尺度分别梟： 原图Ｖ原圈＂的１／２降采样、原悤的１／４ 降采祥； ＃且对最ｉｌ的判别结果取平均作为．最终的结果． 多尽度判别的主要目的是让模塑更好地保持内容一敖性， 而细节性的东西则由网铬自己去学＊ 该模型的损失函数除了对抗损失國数以外， 还加人了由待征提取器对產威祥本和真实样本椹取特征后构建＿特征西靡：损失． 同时该模型生成图像多样性的方法不匣于Ｐｉ ｘＺｐｉ ｘ模灌１其在模型的输人端加人类标．签信息，通过学习隐变童的方式来这到控制？像颜色、 致理风格倩息的旨的， 从而来增加生成样本的多样性．ＰＬＤＴ［ ５ ３ ］遛过在对抗钶络的基础上增加一个用来判断来＠不枏＿： 域的图像对是否相关的盤别器来实现有监督的图像到图像转换， 该？ 鉴别器能够约束獲塑去保■ 爵象成？像翁Ｏｒｃｓｍｄ－ｔｒｕｔｈ題像之间的一致性邊模型的生成器来用基乎卷积的编码－解码结构网络来实现， 而鉴别器都是采用全卷积网络来实现． 利用该模讓来做图像到图像的转换， 在保持不相词域中柑翁图像纹難一致牲的同时＇， 也可：以修放題像中物体的形状．基于有监膂的方式做图像生成． 就是要将模型的输人和输出联系起来．． 而逢于这种联系就可以构逄一．个相歲的约束项，在进行网络参数更新的时候，就可以约束Ｍ络拟合的分布向着真实数据的分布逼＇近； 同时， 以有监督方式應戚的图像的质量一般都比截好．５． ２ 基于无监督方式的图像转换在无监督学习方法中有很多技巧被處用到了图像到图像转换的视觉任务中， 例如： 自重构损失、 辅助分类器、距离约東、 以及多域之间的图像转换等等； 速一小节将对这． 些方法进行深人地讨论．（１） 基宁＿童构掼失约束的图像转换ｇ童构损宍也被称为是自我一致性约束．，目的是鋒过一个游环变换以后让输出和输人保持一發性？如图１，０ 所示，：在： Ｇｆｄｅ ＧＡ：Ｎ［ １ ４］中會２ 个愚戚器， 分础是仏３， 、Ｇ３，＿Ｔ 和２ 个鉴荆器ｋ分．劍是Ｄ＿Ｔ 、 巧；其中 生成器的目的是将源域Ｘ中的图像转换到目标域 而Ｇ＊执行相反的变换； 而鉴别器￡＾和Ｄ，预测输人的图像是否薦于相应的域．雷：１〇德环Ａ成对抗网聲？３］对于ＧＩＶ 和Ｄ， 组成的对抗网络的损失函数如式（３３） 所示：Ｃｇａｎ ＣＧｘｙ—－＾ｙ￣Ｉｊｊｊ．ｊｊｉｊｊＨ－属ｔ＝－＃ｄａ ｔａ（ ｖｉ［ｌｏｇ［１ｉ？ｙｆｌｓｐＣｓ：１？．）］］（３３）而由６１？和１＾銀成的对抗网络的损失函数可以表亦戚式 ：：ＣｓＭｉｉ＆ｔＸｓ Ｄｘ＇）＝Ｃ＊＊２＇ＤｘＣ＆ｘＣｙ） ） ）］＆４）同时， 在 模型中ｆｔ熏构损失是通过最小化霊构邁差来矣现的！ 具体指将一＿图儳叉转换到另一个域乃再将＃到的结果从Ｙ域民向转换到叉域后得到文， 而用Ｘ和文做差的ｒ．模构建重构误差， 上述过歷如卞： 拓＇＆：）（Ｃ？ｊ＊―）：）免息霞重：构误差的实现方式如式（３５）所示：Ａ？ｃ＾ＧｉｙｊＧＶＩＩ＝Ｅ：ｘｒ － １＇—Ｃｈｘ（Ｇｘｙ（Ｊ－＇ｉ１Ｊ ｉ］＋Ｅｎ［ｂ （＿Ｖ＞３ｕａ５）最终将上述三种损失函数组合起来可以得到Ｃｙｄｅ ＧＡＮ的损失Ｓ数， 如式（３６０所示：ｊＣＣｉ ＾ｙｙ Ｇｊｔｃ＇ Ｄｘ ｆ Ｄ＾）—ｊＣｇａｎ（Ｇｘｉ－＜Ｉ）ｙ）： ￣ｂ￡？篇＆？ｓ＊ ＋Ａ（３６）在式ＣＳＳ？中，Ａ， 綦一个超参数》其大小可以决定在训练过程中起到的作用的大小． 模型最终的目标是优化式（３７ｈ麵＊， ｔ＾＝ａｒｇｍｉ ｎｍａｘ￡（Ｇ攀復《， ！＞＊， ￡０（甚７）Ｇｘｙ， ＧｙｘＤＹ， ＤＸＤｍｄＧＡＷ６５１也采用了ｇ重构掼失约東项其模型架构采用了和Ｃｙｃｌｅ－ＧＡＮ—样的结构， 伹是其目标涵数用的是．式（３幻所示的最小二乘损失涵数， 隹训练过程中最小二乘损失函数在稽定训练和擁决梯３６ ０ 计導机攀报： ＿１苹度消失问题上有一定的优势．＾－ｔ－ＳＲＳＥｉＸＧｔ．ｆ ＾ Ｄｙ）—＾ｙ￣ｆｄ ａｔａ，３〇１）－］＋艮、＃ｄ‘，［ＤＹ（ＧＡ－Ｙ（ ｘ））２］（５８）ＤｍＪ－ＧＡＮ在训：綵吏Ｊｌｆ鉴别器参数的时候不仅仅用爾前生成播生成的酉像， 而且还会用到以前生成器生成的图像， 有点类似ｆＵｎｒｏｌ ｌ ｅｄＧＡＮ［ ４Ｓ３的训练桊略， 这种技巧在一定的賴虞上可以缓解模式崩＿的问龜．虽熬甚于自重构規失的无监 的廚像转换樓型可場生處富质量的图像， 値：ｆｔ柑樣宁Ｐｉ ｘ２｜Ｊｉ ｘ辱有监督的图像转换模型含成的图像还是有点模糊管逋过实验．证明了基于本成对的图像和自重构损失可以生成质量比较好的樹像， 但是在实际中该方法并不是适用于所有的情况． 野菌像转换中芽在几何转换的时候， 该方法的效果会变的较 数摒集中的图像是不成对的或．者是不同凤格的情况下＿自熏构损失约東的技巧基一个比较好的选＃．（２） 碁于辅助分类器的围像转换儀：＃錄是通过在猶Ｎ模質结构前隐養：间中增加： 更多的网络銷■构， 并且在： 目标爾数中增加相应的约束项来提高生成图像的廣量和增加生成面像的多样性． 在ＡＣＧＡＮ［ １ ７］，， 如图１１（ａ）， 鉴别器不仅仅判别输人图像是来鳥于生成数据的分布述是来自于真实数据分布． 而且还． 会对输人團像的类别做一个预１则？ 鉴财雜会给出域概率分布和类标签概卓分布，［Ｐ（Ｓ｜ Ｘ）， Ｐ（ＣＩ Ｘ） ］＝Ｄ（ Ｘ）； 而该模型的＿标函数篆」Ｉ Ｌ；．．翻器Ｄ类标ＳＣ随机噪巧＆］ 量Ｚ（ａ）ＡＣＧＡＮ？的网络结构真］真］同 ［ｇ１签别ｒ鉴廳ａｆｔ生成图如蜂ｇ实图像Ｘ－生成惠Ｇ机噪声向量Ｚ（ｂ）Ｄ２ＧＡＮ？的网络结构图１ １ 辅助分養：讀抗两讀有两个鄧分：一部分是域损失函数ＬＳ ｈ另一部分是类謂失函数Ｌｃ， 如式（Ｓ９）和Ｗ０）所示ｓＬ￥＝Ｅ［ｌ ａｇＰ（Ｓ＝ｒｅａｌ｜ ＋Ｅ［ｌ ａｇＰ（Ｓ＝ｆａｋｅＩ ＸｒｉｅＱ（Ｓ＃）Ｌｃ＝Ｅ［ｌ ｏｇＰ（Ｃ＝ｃＵＵ］＋Ｅ［ｌ ｏｇＰ（Ｃ＝ｃＩ Ｘ＾）］ｔ４〇 ）１标函数中的Ａ：丨 和ＸＩｓ１？分别表示真实数据祥本和生成数据、样本．， 而Ｃ■ 表示样本的类别标签； 在该模Ｍ中， Ｄ的目标 最太化込＋ＬＣ， 而〇的目标是最大化 基于这样的策略， 该樓型不仅仅可以提高生成图像的质量， 而且还能够稳定ＧＡＮ，的训霖．ＤｆＧＡＮ［１ ６］， 如ｆｔ１１（ｂ）， 与标＿ＧＡＭ本減的暴， Ｄ２ＧＡＩｆ１ ６］墓宁集成 来构建樓當的架构， 霞模型有两个鉴别器， 这两个鉴别器仍然是与一个生成器进行极小极大的博弈， 其中一今鉴别器－会绐符合？分布数据祥本畜的概率值，而另一个则祖反４亥模型．的生成器要同时欺骗两个鉴别器？ 理论分析表明， 优化Ｄ２ＧＡＮ的生成雜可以让原始数摒分布和生成数据分布之间的ＫＬ散度和反ＫＬ散度同时最小化，从而有效地避免模式崩溃的问题＞该模型的目标函数如式（４１）所示：ｍｉ ｎｍａｘ． Ｄａ）＝ａ＋ＧＤ－ｙ＞ 〇２［ ｌｏｇ！？！ＣＯ（ｋＳ＋Ｅｆ＾４６ Ｍ［—＋｜ＪＸＥ￡－＃ｕ． ［ｌ Ｑｇ－Ｄｉ（ Ｇ（？））］ｔｉｌ）镓目标函数中的公＆＞和ＩＨＧｋ））表示鉴别器萁输人：分瓶为真 和坐成样本下的输出； 中超参数《，／？ 的取值．笵围是（（Ｍ］， 超参数的目的有两个， 第一个是稳定ＧＡＮ的训练．，ｆｔ于两个鉴别器的输出都是正的． 认（ＧＣ？）： ）和 可能会变箱比ｌ〇：ｇＩ７ｉ ｆｅ３ 和ｌ 〇：ｇＡ：（Ｇ（球＇）大； ；《＿：终可能＿晌攀霉的稳定性． 为了克服这个间题／可以降低ａ，／？ 的值． 第二个貝的就是控制ＫＬ散度和ｇＫＬ散度对优化的影垧． 与标准ＧＡＮ—样， 通过交替对抗训练来对Ｄ２ＧＡＮ进行训藤综上可知， 基于辅助分类器的方法来做■像４成是通迓增加阿络结构的功能或者是集成更多的鉴别器等方法来实现的？ 虽然基于此方法可以生成高质邐的图像， 但是带标签的数据在实际中是很难获．取到的， 同时此方法可以有效地避免模式崩溃的丨句题，《３＞碁于特征分离的图像转换在无监督学习中， 因为缺乏对齐的、成对的训练緣佛肩： ４麟卵赛具纖興像生ｆｔ中餘麵研露雜 Ｋ１ ２： 期图像＊ 所以研究者们就提出通过特征分离的技巧来实现两个域之间的图像转换， 特征分离的基本思想是在隐空间中将圏像的内容和属性分另学习， 然后将图像的属性■和内容任意钽合来生成带有期望：属性■的■像．ＤＲＩＴ［ ７？構型提出基于分离辆（＇ Ｄｉｓｍｉｔ紐ｇｋｄＲｅｐｒｅｓｅｎｔａｔｉ ｏｎ）的方濃豪做图像转换， 如麗１２ 所示． 诙方法将图像嵌人到两个空间：一个是域不变的内＃空间，另一个是特定域的属性空间▲ 该模型逋过编码器从给窣的输入图輟中瘥取內容特征和薦性特征． 如图１２所示该模型的输人来自两个不相同域的不同图像 该模型首先通过编妈器来分别提取两幅图像的内容特征４＝钇， 属性特征拉旧＝玛； ■后交换两幅图像的屬性编码， 将（疋，坞）和（埤， 拉｝ 作为生成器＆， Ｇ，， 的输人， 假定生成器的输出分别为 ， 基于这些生成的图像， 再次用编码器提取内容特怔４＝￡；：Ｋ和属性特征＜：二＝Ｋ， 然后像前边一样衮换两幅图像的屬性待征， 将得到的总的特征向：＊作为生成器 Ｇ，的输人，生成器的输出暴Ｘ＇； 最煞的期隻是输出的图像和该模型输人的图像是一致的， 即Ｘ＝Ｘ％Ｙ＝ｆ； 由于 型中会将一个域中薦像的内容表示和另一个域中樹像的属性拿示组合起来， 诱模遒基于此提出了一个？循坏一致性约束， 为了执行此约處， 将：＃実现为式（４ｉ）ｓ：图ＩＩ： 特征分灘：读窻： 图［７？４ｉｃ（Ｇ＊？Ｅ％．Ｅｃｙ．Ｅｉ， Ｅｐ＝Ｅ．．３，［ Ｇ＾ＥｌＳｖ）， ￡：（？？－Ａｈ＋ＧｊＥ；（ ｕ）－ｙＫ］（ ４２）？＝Ｏ，（ＥＪＣｚ＾）．ｇ：ｆｅｊ＃ Ｇ４ＭＣｕ）， Ｅｉｔｖ） ）生成器不仅仅可以实现不同域图像时属性交换， 而且还能暴于一幅图像的内容特征和属性特怔熏构出廣始的图像， 这一约朿可．以通过式（４幻来实现：￡ｒ＝Ｅｓ．３，［ ａｉＥｉｆｘ）， Ｅ：ｉｘ｝ ）ＸＩ Ｌ＋（ＥｐＣａＯ， 抝０＞）—Ｆ］ｋ］（４３）由于不ＩＳ域中图片的内睿倩息不包含特征信息， 所以应谏是不可区分的； 在这祥的前提下， 两个内容编码器的最后一层网絡的参数處该共享． 保证内容分布一致．同时两生成器第一层网络参数也要共享， 并且还得让内容鉴别器！＞＇辨别不出两个内容特征是遽于哪一类． 这一目标通过在目标函数中加人如式（Ｗ）所示的损失项实现？Ｅ，Ｔｙｌ 〇ｇＤｅ｛Ｅｌ（ｘ）＇）＋ｙｌ ｏｇＣｌ－Ｄｅ｛Ｅ｜ ｆｅ））） １＋ＥｊｙｌｏｇＤ＾￡；（；ｙ３ ）＋ｙｌ ｏｇＣｌＤＣ（ Ｅ：（＾１）＇＜４：ｉ）为了在测试的时候迸行随机采样， 可以通过在目标画数中加人一个ＫＬ散度约束项来让属性表示向量逼近一个先验高斯分布； 该约東项的实现方式如式（４Ｓ．）所ＣＢｔ＝Ｅ Ｉｐｍ［ＪＴＷ，１））］（？３为了实现图像和隐． 变量空间的可逆映射， 该模型通过在目标函数中加人隐变量回归损失 约東项来实现． 如果从某一个高斯先验分布中随机采样一个隐向量ｚ 作为属性特征向量．必须能够用＇式（祕）寒现重麴它．ｚ’＝Ｅ（Ｇ５ＣＥ｜Ｃａ＊），ｚＶ）ｊＶ＝勾 ￡珥（： Ｗ？ｚ））（４６）与标准ＧＡＮ—样， 诱模型坯有一个用丰判断生成图像是来Ｓ宁哪个域的域对抗损失项ｉｌｆＴ＂； 所以该模型的损失函数由内容对抗损失、交叉循环损失、Ａ班则化项、域对魏损失、一■个对噪声的约東項和隐变釐回归摘＇夹组成， ，其形式如式（４７） 所示：￡＝ｍｉ ｎｍａｘ［ａｒｒｅｎｌ￡：ｆ？ｌ＋ｌｆ￡ｆ＋ａｆｉ：ｆ＋Ｇ， ＾Ｄ， ＤＣ）ｄｏｍａｉｎ／＊ ｄｏｍａｉｎＩ ）ｌ ａｔｅ ｎｔ ｌ ａｔｅ ｎｔ｜ ）ｒ￣Ｉ（Ａａｄｖ＞〇ａｄｖ＼ ＡｉＬ，ｉ￣ＴＡｋｌＬｋＬ」＾其中Ａ是遛参数用乘控制每一项的重要性． 虽然賓以通过这种方法来实现图像域的转换？ 但： 是当＿像之间的域有很大的塞别的时候．４亥方法实现的效果不是很好，＿时由于训练数据量的限制；导致属性空间不能被完全？覆盖． 同时该模型的目标通数比较复杂， 不好训练； 当图像域之间的差别不是很太的时３６ ２ 计導机攀报： ＿１苹候； 基于此方法来做圈像转换是一个不错的选择．（４） 多域图像之间的转换之前讨论的擦型＾大多都是在： 两个域之间进行转换圈像． 如果想要在多个域之甸相瓦转换？ 就必须在每两个域之间单独训练一个对抗网络， 然旅这样做的敏率很低， 而且每次训绛特别的耗时？为了解决这一问题， Ｓｔａｒ－ＧＡＮ［ ４Ｈ使用一个．生成器来实现域之间的相３转換． 考标准每ＡＮ不同的ｊｆｅ用图像和目标域的类标签作为输人， 将输人图像转换到＊类标签指明的域词时允许该模霍在具有不相同域的多个数据集上进行训练， 为了预测生成圈＂像所在的域？ 类似于ＡＣＧＡＭｆｆｌ、 ＤＡＡＣ［７ ６］， 该模塑的鉴别器增加了辅助分类摇， 用來顸测输入图像的域， 也就是说， 鉴别器不仅仅粟判断输人＿像是生成图像还是；寫实图像． 而且还得输出域标签的概率分窜ｓＤ：ＨＨ＊ Ｄｄｓ（ｊｔ）１■？ 焉了＿樣產遞的菌偉不同于真实的图像， 该模型采用如式（ ４８） 所示的对撤损負袁ＣＭｙ＝Ｅ＿ｔ［ｌ ｏｇ１３＾（ｘ） ］［ｌ ｏｇ（ｌ ＵｓＷ（Ｇ（ｊｒｓｅ）） ］働其中Ｇ〇ｒ， 岭表示生成器基于输人图像￥和目标域标聲ｆ 生成的图像．同时为了将输人图像转换后的围像分类到陳．标域ｃ 中． 该模型在目标函数中增加了一个域分类损失项； 并且将读损失分＇为了真賓图像的域分类损失 利生成图像的域分类损失这两个损失函数分别被定义为Ｅ，． ／ ［ｌ ｏｇ＾Ｉ ？）］（４９）Ｃ（ｋ＝Ｅ？． ｃ ［ｌ ｏｇＤｃ ｌ ｓ Ｃ）；Ｉ（ ５０）其中ＤＰｌ，ｃｙｕｉ表示鉴． 别器输出的域标签的概卓分布． 通过最小化￡１，氅别器学着去糌真实菌像分类到相应的？始域Ｙ！生成器去最小化￡ｉ， 使傳生成的图像被分类到貝标域、 ｃ训＿獻不是成对的图像， 因此模型使用糖环一致性损失 来保证生成題像和输入菌像：内容上的一致性．模型复杂度—Ｅ＊．，． ／［｜ ｜ Ｍ—Ｇ（Ｓ（ｊｒ，ｃ＇）ｉ］：（： Ｓ１ ）最终优化生成器和鉴别器的目标函数可以被写成如式（Ｓ２：）和（６Ｂ）．＊Ｃｐ＝＾１＊Ｃ％（５２）＾０Ｉ ＾ｇ Ｉｓ＞ ＾啦Ｉ Ａ獅（５３）其中， Ａｔ．ｌ ｓ 和‘梟＇控制域分类．损失和■重＇构损失重要性的超参数； 该模型在人脸属性转换中取得了很好的敏乗‘采用多域面像转换的模型， 可以解决用一对一图像转换模型训练低效和训＇练效果有限的问题ｒ甩来做多域图像转换的模型， 可以利用其他领． 域的数据来增强模型的泛化能力． 从雨可以生成威惫吏高的图像， 同： 时其扩麗性也比较好．６ 生成图像质量和多样性的评估方法在目前的研究中． 对生成圈像的质量进行合理地评估主要是从定性评估和定量评估两个方面进行． 定性的评估一般在众包平台靠人完成； 而定霪的评估方Ｓｔ有Ｉｎ？ｐｔｉｅ．ｎＳ＊６： ｆｅ、 ＦｒｆｅｈｅｔＩｎｃｅｐｔｉｏｉｉ： ＤｉｓｍｎａｉｖＭｏ：ｄｅＳｅ〇ｒｅ＿；｜ｆ漢． 定性翁评祜方：式翁在这―节首先被讨论．６． １ 定性评估该方法主要还是掌人的眼晴来进行判断．一般的做法是将．寘实■像和生成图像对上传到众包乎台上让人来判断图像的真假， 并且靖出甫者的相似鞋度， 最后根据打分的结果统计一个最终的措标＊在实践中由于人的主观性是很强的，每个人的标准是不一致的， 导致定性评估不是一个通用的标准； 视觉检查在评估一个樓型对数据的拟合？度时，在低维度数据的情况下可以工作＃很好＾但是在高维度数磨的情况下， 这种直觉性可能会导致谋导？ 如菌＇１３鮮班， 農标ｒ隹ＣＡＮ爾巔近ＢＩｆｉＯＡＮ稿處擧构的变化， 以及生成圏像的结果乘着， 圈像生成模型质量和多样性浅深标准ＧＡＮ▼全卷积神经网络金字塔式的神经网络结构转置卷积神经网络ＳＡＧＡＮＢＩＧＧＡＮ鉴别器采用自编码结构渐进式神经网络结构自注意力卷积神经网络生成器釆用正交正则化更深的网络， 更大Ｂａｔｃｈ２０１４２０１９低图１３ 生成图像质量和多样性， 以及模型复杂度的变化流图［ ７７ ］陈佛计等： 生成对抗网络及其在图像生成中的应用研究综述 ３６ ３２ 期的复杂度和计算量在不断地增加； 同时， 生成图像的逼真度越来越好， 多样性也越来越好．６． ２ 定量评估（１）Ｉｎｃｅｐｔｉ ｏｎｓｃｏｒｅＩｎｃｅｐｔｉ ｏｎｓｃｏｒｅ［７ ８］（ＩＳ） 是一种用类概率分布来对生成图像进行评估的方法． 诙方法使用一个预先在ＩｍａｇｅＮｅｔ 数据集上训练的Ｉｎｃｅｐｔｉ ｏｎＶ３ 网络， 然后以生成的图像：ｒ 作为输人， 并且输出 如果一幅生成图像的质量越好， 那条件概率分布Ｍｙｋ）的熵就越低， 也就意味着分类器以很高的置信度将图像分到某一类． 生成器生成的图像应诙具有多样性， 因此边缘分布＞（＞〇ｌ ￥＝Ｇ（２； ） ） ｄ２； 应诙有很高的熵； 基于这样的条件，ＩＳ可以通过式（５４） 来计算：ＩＳ二ｅｘｐ（￡＾？ｇ⑴ＤＫＬ（．ｐ（． ｙＩ ａ：） ｐ（． ｙ） ）（ ５４）式（ ５４） 中的Ｅ表示计算期望值， Ｄｎ表示计算两分布之间的ＫＬ散度； Ｌｕｃｉ ｃ 等人？指出Ｉｎｃｅｐｔｉ ｏｎｓ ｃｏｒ ｅ对类标签的先验分布和距离的度量方式都是不敏感的； 由于生成模型只需在每一个类中生成一个质量很好的图像就可以得到高的ＩＳ值， 因此该方法也面临无法判别模式崩溃的问题． 并且ＩＳ可以展现出生成图像的质量和多样性之间的合理关联， 所以该评估指标在实践应用中被广泛采用．如表４所示， 基于ＩｍａｇｅＮＥＴ数据集和ＣＩＦＡＲ１０数据集， 用定量评估指标Ｉｎｃｅｐｔｉ ｏｎＳｃｏｒｅ 对多个模型生成的图像的质量和多样性进行了定量计算．可以发现ＢｉｇＧＡＮ模型是当前性能最好的模型， 但是通过比较也发现， 该评估指标并不适合评估与ＩｍａｇｅＮＥＴ数据集差别较大的图像数据．表４ 定量指标Ｉｎｃｅｐｔｉｏｎｓｃｏｒｅ下图像生成模型的实验结果数据集Ｉ ｍａｇｅＮＥＴ１２８ Ｘ１２８ＣＩＦＡＲ１０模型ＡＣＧＡＮＰｒｏｊｅｃｔ ｉｏｎＤｉｓｃｒｉｍｉｎａｔ ｏｒＳＡＧＡＮＳ３ＧＡＮＢｉｇＧＡＮＢｉｇＧＡＮＤＥＥＰＡＣＧＡＮＢＥＧＡＮＡｕｔｏ ＧＡＮＢｉｇＧＡＮＤＣＧＡＮＰＧＧＡＮＳＧＡＮＩ ｍｐｒｏｖｅｄＧＡＮＩｎｃｅｐｔ ｉｏｎＳｃｏｒｅ（ ＩＳ）总的来讲，Ｉｎｃｅｐｔｉ ｏｎＳｃｏｒｅ 是用来衡量生成模型个体特征和整体特征的方法． 个体特征指生成的图像要清晰， 质量要好． 整体特征指生成的图像要有多样性， 即使他们属于同一类别， 他们的输出的向量还是应该有差别．（２）ＦｒｅｃｈｅｔＩｎｃｅｐｔｉ ｏｎＤｉ ｓｔａｎｃｅＦｒｆｅｃｈｅｔＩｎｃｅｐｔｉ ｏｎＤｉｓｔａｎｃｅ［ ８ （ ） ］（ ＦＩＤ） 的基本思想是用Ｉｎｃｅｐｔｉ ｏｎ 网络的卷积特征层作为一个特征函数ｐ并且用特征函数将真实数据分布尺和生成数据分布＆建模为两个多元高斯随机变量． 这样就可以计算多元高斯分布的均值＆，＆和方差基于这些信息， 生成图像的质量可以通过式（５５： ＾由两个高斯分布之间的Ｆｒ６ｃｈｅｔ 距离来计算．ＦＩＤ（Ｘ， Ｇ）＝＾ ＾ ＼＋ＴｒＱ］＋Ｓ２（ ２Ｓ）１）（５５）ＦＩＤ度量方式的思想和人类判＾是一致的， 该评价指标值越小， 表示生成的图像越接近真实图像， 生成的图片质量越好． ＦＩＤ和生成图像的质量之间有很强的负相关性； 该度量方式的优势在于其对噪声不是很敏感， 而且可以检测出类内的模式崩溃的问题． 如表５ 所示， 基于ＩｍａｇｅＮＥ了数据集和ＣＩＦＡＲ１０数据集， 对一些图像生成模型在ＦＩＤ下的性能进行了汇总． 通过分析和比较， 可以发现ＢｉｇＧＡＮＤＥＥＰ模型在生成图像的质量和多样性方面都是最好的．表５ 定量指标ＦＩＤ下图像生成模型的实验结果数据集ＳＩＦＩＤＣＩＦＡＲ １０ＩｍａｇｅＮＥＴ１２８ Ｘ１２８ＷＧＡＮＧＰＷＧＡＮＧＰ ＋ ＴＴＵＲＲＳＧＡＮＧＰＳＮＧＡＮＳＤＩＳＴＧＡＮＡｕｔｏ ＧＡＮＰｒｏｊｅｃｔｉｏｎＤｉｓｃｒｉｍｉｎａｔ ｏｒＳＡＧＡＮＳ３ＧＡＮＢｉｇＧＡＮＢｉｇＧＡＮＤＥＥＰ（ ３）ＭｏｄｅＳｃｏｒｅＭｏｄｅＳｃｏｒｅ［ ８ １ ］可以看成是Ｉｎｃｅｐｔｉ ｏｎｓｃｏｒｅ的一个改进版本， 其被定义为如下形式：ＭＳ（ Ｐｇ）二ｅＥ文？？［ ＫＬ（ｆｉＭ（ｙｙ） ］ｇｇ（５６）其中知（， Ｕ） ｄＰｒ 是真实数据分布中样本的边缘标签分布； 与ＩＳ 不同的是， ＭｏｄｅＳｃｏｒｅ 可以通过ＫＬ（＾Ｍ（＿ｙ） ｂＭ（＿ｙ〇） 测量真实数据分布＾和生成数据分布 之间的非相似性． 由于该模型是基于ＩＳ的一种评估指标， 因此其沿袭了ＩＳ的固有缺陷，一些简单的扰动就有可能导致彻底地欺骗该３ ６４ 计 算机 学 报 ２０２１年评估指标， 从到导致该评估该方法也无法判别模式崩溃的问题．（４） １ 最近邻双样本检验在双样本检验中，１ 最近邻分类器被使用去评估两个分布是否完全相同； 给定两个样本集， 分别是真实数据样本集民？Ｐ：！ 和生成数据样本集Ｓ，？，并且将样本集民全部标注为正样本， 而样本集Ｓ， 全部被标注为负样本． 基于正负样本集， 可以训练一个１ 最近邻分类器， 并且可以计算１ 最近邻分类器的留ｌ（ ＬＯＯ） 准确率． 此准确率是一个统计量，当样本的数量足够大的时候， 并且两个数据集的分布是一致的时候， 该留１ 准确率的值应该是〇．５； 当生成器学到的数据分布圮过拟合真实数据分布Ｐ． 时， 留１ 准确率的值应该小于〇．５； 反之则该值大于０．５．该评估方法在理论上存在一个极端的情况， 如果生成器仅仅是简单地记住真实数据集民中的每一个样本， 并且可以精确地重新生成每一个样本的时候， 导致民中的每一个样本在、中都有一个距离为〇 的最近邻， 所以ＬＯＯ准确率将变为０； 原则上分类器可以采用任意的二分类器， 但是该方法只考虑１ ＮＮ分类器， 因为该分类器不需要特殊的训练，并且只有很少需要调整的超参数．模式崩溃问题出现时， 真实图像和生成图像的主要最近邻都是生成的图像； 由于真实数据分布的模式通常都可以被生成器捕捉， 就会导致民中大多数真实样本的周围都是生成的样本， 这就会导致较低的ＬＯＯ准确率． 而生成样本倾向于聚集到少量的模式中心， 而这些模式一般都是相同类别的生成样本包围， 因此会导致较高的ＬＯＯ准确率． 所以１ 最近邻双样本检验的评估方式在保证可以很好地鉴别真与假的同时， 还可以很好地鉴别模式崩溃的问题， 并且该方法有很高的计算效率．６． ３ 评估方法小结（１） 尽管上述评估方法在不同的任务中展现了有效性， 但是在什么样的场景用什么样的评估方法或者是在什么样的场景下用那个评估方法容易导致误解目前是不清晰的；一种评估方式是否合适， 只有在实际应用的上下文中才能知晓．（２） 不同的评估方法适合于不同的模型， 所以根据自己的任务选择与任务相匹配的评估方式相当重要．（３） 目前的评估方式都是基于样本来度量的，大多数现有的方法都试图展现其与人类评估的相关性来证明自身的正确性． 但是人往往只注重图像的质量， 而会忽视对于无监督学习很重要的整体分布特征， 用人来做评估评估还容易受主观因素的影响，因此人的评估是有偏的． 所以不要以人的标准来看图像． 在本小节最后， 将通过表６ 对上述四种评估方式做一个汇总和比较．表６ 评估标准的比较评估方法 优点 缺点ＩｎｃｅｐｔｉｏｎｓｃｏｒｅＭｏ ｄｅＳｃｏｒｅ可以很好地展现质量和多样性之间的关联无法检测到过拟合和模式崩溃的问题； 对扰动比较敏感； 不能用于和Ｉ ｍａｇｅＮＥＴ差别比较大的数据集ＦｒｅｃｈｅｔＩｎｃｅｐｔ ｉｏｎＤｉｓｔ ａｎｃｅ（ＦＩＤ）判别力、 鲁棒性、 效率方面表现良好无法捕捉细微的变化；无法断定髙的ＦＩＳ值是由什么原因导致的；１最近邻双样本检验判别力好； 鲁棒性强； 对模式崩溃敏感； 计算效率高７ 图像生成的应用基于生成对抗网络强大的隐式建模能力， 目前可以生成十分清晰的图像， 而且在实践过程中不需要知道真实样本数据的显式分布， 同时也不需要假设更多的数学条件． 这些优势使得基于对抗网络的图像生成可以被应用到很多学术和工程领域．（ １） 小样本问题在目前的工作中， 深度学习的良好表现很大程度上依赖于大的数据量和计算力的提高． 但是很多实际的项目难以有充足的数据来完成任务， 而要保证很好地完成任务， 就得必须寻找很多的数据或者是用无监督学习的其他方法来完成．目前比较常用的方法是在已有的数据上， 用几何变换类方法和颜色变换类方法来获取更多的数据， 但是这种方法没有实质性的增加数据． 而基于ＧＡＮ的图像生成方法是解决这一问题的一个很好的思路． 通过图像生成的方式可以生成与真实数据分布一致的很多样本， 对小样本集进行一个扩充， 然后将混合样本集作为其他视觉任务的数据集， 从而达到增强模型学习效果的目的．（ ２） 数据类别不平衡数据类别不平衡指的是数据集中各个类别的样本数量有很大的差别．目前针对这一问题比较常用的方法是随机采样， 该方法从数据角度出发来解决这一问题． 随机采样又分为上采样和下采样， 上采样方法指从少数类的样本中进行随机采样来增加新的陈佛计等： 生成对抗网络及其在图像生成中的应用研究综述 ３６ ５２ 期样本， 而下采样方法是从多数类样本中随机选择少量样本， 再合并原有少数类样本作为新的训练数据集． 但是如果采用上采样的方法， 上采样后的数据集中会反复出现一些样本， 训练出来的模型会有一定的过拟合； 而下采样的缺点是最终的训练集丢失了数据， 模型只学到了总体模式的一部分． 而基于图像生成的方法来解决数据类别不平衡， 则可以避免上述缺点， 更好地扩充数量少的数据．（３） 超分辨率基于图像生成能够以低分辨率图像为输人， 然后输出带有清晰细节信息的超分辨率图像． ＳＲＧＡＮ采用基于残差块构建的生成器和基于全卷积网络构建的鉴别器来做单幅图像的超分辨率． 该模型的损失函数除了对抗损失外， 还组合了像素级别的ＭＳＥ损失、感知损失和正则化损失， 并且该模型可以生成质量很好的图像．（４） 目标检测和跟踪中的应用受益于图像生成在超分辨率领域中的应用， 在目标检测任务中， 对一幅图像中的小目标进行检测经常会遇到目标对象是低分辨率的情况．因此， Ｌｉ等人［ ８ ２ ］试着将低分辨率的小物体转换成高分辨率的大物体， 从而提高物体的可判别性； 在该模型中鉴别器被分成了两个部分： 对抗部分和感知部分． 对抗部分的作用是与生成网络进行对抗训练， 使得生成网络可以是生成高分辨率大尺度的目标； 而感知部分的作用是确保生成的大尺度目标对检测任务是有用的． Ｗａｎｇ等人［ ８ ３］提出通过对抗网络生成带有遮挡和变形的图片样本来训练检测网络， 从而提高检测网络的性能．由于基于生成对抗网络做图像生成可以保持图像的细节纹理特征． 因此， Ｏｒｅｓｔ 等人［８４］提出Ｄｅｂｌ ｕｒＧＡＮ来实现对运动图像的去模糊化．图像模糊是视觉任务中经常遇到的一个问题， 比如： 图像数据采集过程中由于物体运动导致的模糊， 目标跟踪中相机的运动导致的模糊等． 而基于Ｄｅｂｌ ｕｒＧＡＮ的去模糊方法则为处理模糊问题提供了一个很好的途径．同时基于生成对抗网络强大的生成能力， ＶＧＡＮ被提出去生成视频， 而生成的视频可以为目标跟踪任务提供更多的运动信息．（５） 图像属性编辑图像属性编辑指通过对抗网络学习一个映射，该映射不仅具有生成图像的功能， 而且还具备根据属性信息向量修改图像属性的能力． ＩｃＧＡＮ［ ８ ５］提出通过学习两个独立的编码器Ｉ和Ｅ，， 其中艮的作用是将一幅图像映射成一个隐向量Ｚ， 而Ｅ，的作用是学习一个属性信息向量，属性编辑操作是通过调整属性信息向量ｈ并将其和隐向量Ｚ链接后，一起送人生成器来实现的． 而ＡｔｔＧＡＮ［８ ６］实现了在保留原图像细节信息的同时， 编辑人脸图像的单个或多个属性， 生成带有新属性的人脸图像． 该模型基于编码器解码器架构， 通过解码以期望属性为条件的给定面部的潜在表示来实现面部属性的编辑． 而这些图像属性编辑的方法在图像编辑软件， 以及一些娱乐软件中将会有很好的应用前景．（６） 医学图像领域中的应用在医学领域， 由于过度辐射， 会对人体造成一定的伤害， 而降低辐射剂量已经被作为一种有效的解决方案． 但是， 剂量的减少会增加医学图像的噪声水平， 这就会导致一些信息的丢失．目前， 基于卷积网络的去噪声方法的主要问题是在优化中使用了均方误差， 导致预测的图像比较模糊， 无法提供常规剂量下图像的那种高质量的纹理．因此， 可以使用图像转换的方法建立噪声图像和去噪图像之间的映射来消除这个问题， 并且生成高质量的图像． 在获取一些医学图像的过程中， 由于运动而使得一些器官的关键信息丢失， 而基于图像生成的办法则可以在有信息丢失和完全采样的图像之间建立一个映射， 帮助更好地采集图像．８ 总结和展望生成对抗网络作为一种概率生成模型， 其已经被应用于很多视觉任务中， 特别是在图像生成方向的优良表现． 本文首先从工作机理、 目标函数、 模型结构、 和训练ＧＡＮ存在的问题以及应对策略等角度对ＧＡＮ进行了一个详细地讨论． 其次， 本文按照直接法和集成法的分类方式对基于ＧＡＮ做图像生成的方法进行了一个汇总； 然后根据输人向量形式的不同， 对图像生成进行了详细地探讨． 并且对图像生成的应用做了详细介绍． 最后， 本文对目前工作中对生成图像进行质量评估的方法做了详细地汇总和分析．通过以上论述， 总体来看， 基于生成对抗网络来做图像生成的方法相较于２０１４ 年提出来的ＧＡＮ，其做出的改进主要集中在以下几方面： 生成器和鉴别器的神经网络架构、损失函数的设计、 改善模型训练时候的稳定性， 以及改善模式崩溃．虽然这些改进后的模型在业界取得了一系列成果， 但是模式崩塌问题仍然是做图像生成过程中一个严重的问题． 在模型训练过程中， 生成网络有选择３ ６６ 计 算机 学 报 ２０２１年地学习了某些模式， 同时又放弃了某些模式． 针对这一问题， 目前的方法只是通过修改目标函数、改变训练方式等来改善这一问题， 而导致这一问题的原因目前还尚不清楚． 因此， 在理论上对这一问题的研究有待进一步的突破．基于生成对抗网络来做图像生成， 其良好性能很大程度上还是依赖于神经网络强大的拟合能力．所以生成图像质量和多样性的好坏， 与神经网络中的架构有着直接的关系． 但是， 现在还没有成功的理论可以根据环境来优化神经网络的结构， 或者评价修改神经网络结构对生成模型性能的影响． 而只有针对实际问题进行彻底的实验研究， 才能得到满意的效果． 因此， 针对设计的神经网络架构不一定是最优架构这一问题， 基于神经网络架构搜索找最优神经网络架构可能是一个很好的解决方案． 该方法通过定义一个合适的搜索空间， 设计一个合适的搜索策略， 在合适的性能指标下找到一个最佳模型．除了上述问题， 仍然有很多问题在制约图像生成的发展， 最为突出的是模型的可解释性． 要想将图像生成方法成功落地， 可解释性是必不可少的一个环节， 并且有关ＧＡＮ收敛性的数学分析仍有待建立． 因此目前图像生成的研究主要是建立在深度学习积累的经验之上． 其次， 对ＧＡＮ模型生成图像质量和多样性的评估， 目前还没有一个统一的、适用于所有模型的方式， 因此在实际操作中， 只能根据实际要解决的问题来选择一个合理的评估方式， 并且目前存在的对生成图像进行评估的方式， 都有一定的局限性． 最后就是目前的图像生成方法， 对计算力的要求都很高， 如果将模型进行部署的话， 对模型的大小定会提出新的要求．因此， 如何建立起有关分析基于ＧＡＮ做图像生成的机制， 以及基于这些机制如何对模型进行优化和压缩， 如何拓展图像生成的应用范围， 这些问题都有待研究者们进一步地研究．随着人工智能技术的发展， 多模态融合是一个必然的发展趋势， 通过改进神经的架构和算法， 基于语音和文字生成语义一致的图像是一个很好的研究方向． 由于基于有监督方式生成图像的质量比较好，但是实际中大量带标签的数据是很难去获得的， 而少量带标签的数据很容易得到， 因此， 探索如何组合ＧＡＮ和半监督学习去更好地做图像生成也是一个很有希望的研究方向．在神经网络安全领域， 图像生成将会有很大的用处． 目前深度神经网络虽然精确度越来越高， 但是也发现它们极其容易被攻击和影响． 如果对样本做轻微的扰动， 而神经网络就会以很高的置信度， 做出错误的分类或者是预测， 这一现象就是对抗攻击．同时， 深度神经网络对于对抗攻击鲁棒性差是一个非常普遍的现象．因此， 为了增强网络抗攻击的能力，可以通过图像生成来生成对抗样本， 基于对抗样本来训练网络， 不断地提高深度神经网络的鲁棒性， 使其性能有更大的提升． 所以将图像生成用于提高网络的鲁棒性是一个非常需要研究者们去研究的方向．参 考 文 献［１］ＤａｙａｎＰ． Ｈｅｌｍｈｏｌｔｚｍａｃｈｉ ｎｅｓａｎｄｗａｋｅｓｌｅｅｐｌｅａｒｎｉｎｇ．Ｈａｎｄｂｏｏｋｏｆ ＢｒａｉｎＴｈｅｏｒｙａｎｄＮｅｕｒａｌＮｅｔｗｏｒｋ． Ｃａｍｂｒｉｄｇｅ，ＵＳＡ： ＭＩＴＰｒｅｓｓ，２０００［２］Ｋｉｎｇｍａ ， ＤｉｅｄｅｒｉｋＰ？ ＭａｘＷ． Ａｕｔ ｏ ｅｎｃｏｄｉｎｇｖａｒｉａｔｉｏｎａｌｂａｙｅｓ． ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ： １３１２． ６１１４，２０ １３［３］Ｈｉｎｔ ｏｎＧＥ． Ｄｅｅｐｂｅｌｉｅｆ ｎｅｔｗｏｒｋｓ． Ｓｃｈｏｌａｒｐｅｄｉａ ，２００９，４ （ ５）：５９４７［４］Ｓａｌ ａｋｈｕｔ ｄｉｎｏｖＲ？ＭｎｉｈＡ，Ｈｉｎｔ ｏｎＧ． Ｒｅｓｔ ｒｉ ｃｔ ｅｄＢｏｌｔ ｚｍａｎｎｍａｃｈｉｎｅｓｆｏｒｃｏｌｌａｂｏｒａｔ ｉｖｅＩｉｌｔｅｒｉｎｇ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ｔｈｅ２４ｔｈＩｎｔｅｒｎａｔ ｉｏｎａｌＣｏｎｆ ｅｒｅｎｃｅｏｎＭａｃｈｉｎｅＬｅａｒｎｉｎｇ． ＮｅｗＹｏｒｋ，ＵＳＡ，２００７ ：７９１ ７９８［５］Ｓａｌ ａｋｈｕｔｄｉｎｏｖＲ， ＨｉｎｔｏｎＧ． ＤｅｅｐＢｏｌ ｔｚｍａｎｎｍａｃｈｉｎｅｓ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ｔ ｈｅ１２ｔ ｈＩ ｎｔ ｅｒｎａｔ ｉｏｎａｌＣｏｎｆ ｅｒｅｎｃｅｏｎＡｒｔｉｆ ｉｃｉ ａｌＩｎｔｅｌｌｉｇｅｎｃｅａｎｄＳｔ ａｔｉｓｔ ｉｃｓ（ ＡＩＳＴＡＴＳ）． Ｃｌｅａｒｗａｔ ｅｒ， ＵＳＡ，２００ ９： ４４８ ４ ５５［６］Ｏｏｒｄ，ｖａｎｄｅｎＡ， ＫａｌｃｈｂｒｅｎｎｅｒＮ， ＫａｖｕｋｃｕｏｇｌｕＫ． Ｐｉｘｅｌｒｅｃｕｒｒｅｎｔｎｅｕｒａｌｎｅｔｗｏｒｋｓ． ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉ ｖ： １６０１． ０ ６７５９，２０ １６［７］Ｇｏｏｄｆ ｅｌｌｏｗＩ？Ｐｏｕｇｅｔ ＡｂａｄｉｅＪ？ Ｍｉ ｒｚａＭ， ｅｔａｌ ． Ｇｅｎｅｒａｔ ｉｖｅａｄｖｅｒｓａｒｉ ａｌｎｅｔｓ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＡｄｖａｎｃｅｓｉｎＮｅｕｒａｌＩｎｆｏｒｍａｔ ｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔ ｅｍｓ． Ｍｏｎｔ ｒｅｌ ？Ｃａｎａｄａ ？ ２０１４：２６７２ ２６８０［８］Ｇｏｏｄｆ ｅｌｌｏｗ？Ｉａｎ． ＮＩＰＳ２０ １６ｔ ｕｔｏｒｉ ａｌ： Ｇｅｎｅｒａｔｉｖｅａｄｖｅｒｓａｒｉ ａｌｎｅｔ ｗｏｒｋｓ． ａｒＸｉｖｐｒｅｐｒｉ ｎｔａｒＸｉｖ： １７０１．００１６０ ，２０１７［９］ＣｒｅｓｗｅｌｌＡ， Ｗｈｉｔ ｅＴ， ＤｕｍｏｕｌｉｎＶ， ｅｔａｌ． Ｇｅｎｅｒａｔ ｉｖｅａｄｖｅｒｓａｒｉ ａｌｎｅｔ ｗｏｒｋｓ： Ａｎｏｖｅｒｖｉｅｗ． ＩＥＥＥＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇＭａｇａｚｉｎｅ ，２０１８ ，３５（１） ： ５３ ６５［１０］Ｋｕｒａｃｈ Ｋ，ｅｔａｌ． ＴｈｅＧＡＮｌａｎｄｓｃａｐｅ： Ｌｏｓｓｅｓ？ ａｒｃｈｉｔｅｃｔｕｒｅｓ？ｒｅｇｕｌａｒｉｚａｔ ｉｏｎ， ａｎｄｎｏｒｍａｌｉｚａｔｉｏｎ． ａｒＸｉｖｐｒｅｐｒｉ ｎｔａｒＸｉｖ：１８０７． ０４７２０ ，２０１８［１１］Ｌｉ ｎＹｉ Ｌｕｎ， ＤａｉＸｉｎｇ Ｙｕａｎ，ＬｉＬｉ ，ｅｔａｌ． Ｔｈｅｎｅｗｆ ｒｏｎｔ ｉｅｒｏｆＡｌｒｅｓｅａｒｃｈ： Ｇｅｎｅｒａｔ ｉｖｅａｄｖｅｒｓａｒｉａｌｎｅｔ ｗｏｒｋｓ． Ａｃｔ ａＡｕｔｏｍａｔ ｉｃａＳｉｎｉｃａ， ２０１８，４４（５）； ７ ７５ ７ ９２（ｉｎＣｈｉｎｅｓｅ）（ 林懿伦， 戴星原， 李力等． 人工智能研究的新前线： 生成式对抗网络． 自动化学报，２０１８， ４４（５） ： ７７５ ７９２）［１２］ＺａｍｏｒｓｋｉＭ， ＺｄｏｂｙｌａｋＡ， Ｚｉ＾ｂａＭ， ｅｔ ａｌ ． Ｇｅｎｅｒａｔ ｉｖｅａｄｖｅｒｓａｒｉ ａｌｎｅｔ ｗｏｒｋｓ： Ｒｅｃｅｎｔｄｅｖｅｌｏｐｍｅｎｔｓ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩｎｔ ｅｒｎａｔ ｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＡｒｔ ｉｆｉｃｉａｌＩｎｔ ｅｌｌｉｇｅｎｃｅａｎｄＳｏｆｔ Ｃｏｍｐｕｔ ｉｎｇ． Ｃｈａｍ，ＵＳＡ，２０１９； ２４８ ２５８［１３］Ｉｓｏｌ ａＰ，ＺｈｕＪＹ，ＺｈｏｕＴ，ｅｔ ａｌ． Ｉｍａｇｅ ｔｏｉｍａｇｅｔｒａｎｓｌａｔｉｏｎｗｉｔ ｈｃｏｎｄｉｔ ｉｏｎａｌａｄｖｅｒｓａｒｉａｌｎｅｔ ｗｏ ｒｋｓ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔ ｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔ ｅｒＶｉｓｉｏｎａｎｄＰａｔ ｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ．Ｈａｗａｉｉ ， ＵＳＡ， ２０１７： １１２５ １１３４陈佛计等： 生成对抗网络及其在图像生成中的应用研究综述 ３６ ７２ 期［１４］ＺｈｕＪＹ， ＰａｒｋＴ， Ｉ ｓｏｌａＰ， ｅｔａｌ． Ｕｎｐａｉｒｅｄｉｍａｇｅ ｔ〇ｉｍａｇｅｔ ｒａｎｓｌａｔ ｉｏｎｕｓｉｎｇｃｙｃｌｅ ｃｏｎｓｉｓｔｅｎｔ ａｄｖｅｒｓａｒｉａｌｎｅｔｗｏｒｋｓ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔ ｈｅＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔ ｅｒＶｉｓｉｏｎ． Ｖｅｎｉｃｅ，Ｉｔ ａｌｙ，２０１７； ２２２３ ２２３２［１５］ＫｉｍＴ， ＣｈａＭ， ＫｉｍＩ Ｉ ， ｅｔａｌ． Ｌｅａｒｎｉｎｇｔ ｏｄｉｓｃｏｖｅｒｃｒｏｓｓｄｏｍａｉｎｒｅｌａｔｉｏｎｓｗｉｔｈｇｅｎｅｒａｔｉｖｅａｄｖｅｒｓａｒｉａｌｎｅｔｗｏｒｋｓ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔ ｈｅ３４ｔ ｈＩｎｔ ｅｒｎａｔ ｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＭａｃｈｉｎｅＬｅａｒｎｉｎｇ． Ｓｙｄｎｅｙ， Ａｕｓｔｒａｌｉａ， ２０１７ ： １８５７ １８６５［１６］ＮｇｕｙｅｎＴ， ＬｅＴ， ＶｕＩ Ｉ ， ｅｔａｌ． Ｄｕａｌｄｉｓｃｒｉｍｉｎａｔｏｒｇｅｎｅｒａｔ ｉｖｅａｄｖｅｒｓａｒｉａｌｎｅｔｓ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＡｄｖａｎｃｅｓｉ ｎＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔ ｅｍｓ． ＬｏｎｇＢｅａｃｈ，ＵＳＡ，２０１７：２６７０ ２６８０［１７］ＯｄｅｎａＡ， ＯｌａｈＣ， ＳｈｌｅｎｓＪ． Ｃｏｎｄｉｔ ｉｏｎａｌｉｍａｇｅｓｙｎｔｈｅｓｉｓｗｉｔ ｈａｕｘｉ ｌｉａｒｙｃｌ ａｓｓｉｆｉｅｒＧＡＮｓ／ ／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ３４ｔ ｈＩｎｔ ｅｒｎａｔ ｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＭａｃｈｉｎｅＬｅａｒｎｉｎｇ． Ｓｙｄｎｅｙ，Ａｕｓｔ ｒａｌｉａ ，２０ １７： ２６４２ ２６５ １［１８］ＬｅｄｉｇＣ， Ｔｈｅｉ ｓＬ？Ｉ ｌｕｓｚａｒＦ？ ｅｔａｌ． Ｐｈｏｔｏｒｅａｌｉｓｔｉｃｓｉｎｇｌｅｉｍａｇｅｓｕｐｅｒ ｒｅｓｏｌｕｔ ｉｏｎｕｓｉｎｇａｇｅｎｅｒａｔｉｖｅａｄｖｅｒｓａｒｉａｌｎｅｔｗｏｒｋ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔ ｈｅＩＥＥＥＣｏｎｆ ｅｒｅｎｃｅｏｎＣｏｍｐｕｔ ｅｒＶｉｓｉ ｏｎａｎｄＰａｔ ｔｅｒｎＲｅｃｏｇｎｉｔ ｉｏｎ． Ｈｏｎｏｌｕｌｕ，ＵＳＡ，２０１７； ４６８１ ４６９０［１９］ＤｏｎａｈｕｅＣ， ｅｔａｌ ． Ｓｅｍａｎｔ ｉｃａｌ ｌｙｄｅｃｏｍｐｏｓｉｎｇｔｈｅｌａｔｅｎｔｓｐａｃｅｓｏｆｇｅｎｅｒａｔ ｉｖｅａｄｖｅｒｓａｒｉａｌｎｅｔ ｗｏｒｋｓ． ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ：１７０５． ０７９０４ ，２０ １７［２０］ＹｉｎＷｅｉ Ｄｏｎｇ？ ｅｔａｌ． Ｓｅｍｉｌａｔ ｅｎｔＧＡＮ： Ｌｅａｒｎｉｎｇｔｏｇｅｎｅｒａｔｅａｎｄｍｏｄｉｆｙｆａｃｉａｌｉｍａｇｅｓｆｒｏｍａｔ ｔｒｉｂｕｔ ｅｓ． ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ： １７０４ ． ０ ２１６６，２０１７［２１］ＴｒａｎＬ， ＹｉｎＸ， ＬｉｕＸ． Ｒｅｐｒｅｓｅｎｔ ａｔ ｉｏｎｌｅａｒｎｉｎｇｂｙｒｏｔ ａｔｉ ｎｇｙｏｕｒｆ ａｃｅｓ． ＩＥＥＥＴｒａｎｓａｃｔ ｉｏｎｓｏｎＰａｔｔ ｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ，２０ １８， ４１（１２） ： ３００７ ３０２１［２２］Ａｎｔ ｉｐｏｖＧ？ ＢａｃｃｏｕｃｈｅＭ， ＤｕｇｅｌａｙＪＬ． Ｆａｃｅａｇｉ ｎｇｗｉ ｔ ｈｃｏｎｄｉｔ ｉｏｎａｌｇｅｎｅｒａｔ ｉｖｅａｄｖｅｒｓａｒｉａｌｎｅｔ ｗｏｒｋｓ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔ ｈｅ２０１７ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆ ｅｒｅｎｃｅｏｎＩ ｍａｇｅＰｒｏｃｅｓｓｉ ｎｇ（ ＩＣＩＰ） ． Ｂｅｉｊｉｎｇ，Ｃｈｉ ｎａ， ２０１７；２０８９２０９３［２３］ＨｅＺ，ＺｕｏＷ，ＫａｎＭ， ｅｔａｌ． Ａｔ ｔＧＡＮ： Ｆａｃｉ ａｌａｔ ｔ ｒｉｂｕｔｅｅｄｉｔ ｉｎｇｂｙｏｎｌｙｃｈａｎｇｉｎｇｗｈａｔｙｏｕｗａｎｔ ． ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＩｍａｇｅＰｒｏｃｅｓｓｉ ｎｇ，２０１９，２８（１１）； ５４６４ ５４７８［２４］ＥｈｓａｎｉＫ，Ｍｏｔ ｔａｇｈｉＲ，ＦａｒｈａｄｉＡ． ＳｅＧＡＮ： Ｓｅｇｍｅｎｔｉｎｇａｎｄｇｅｎｅｒａｔ ｉｎｇｔｈｅｉｎｖｉｓｉｂｌｅ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔ ｅｒｎＲｅｃｏｇｎｉ ｔｉｏｎ． Ｓａｌｔ ＬａｋｅＣｉｔｙ， ＵＳＡ，２０１８： ６１４４ ６１５３［２５］ＬｉＪ， ＬｉａｎｇＸ，ＷｅｉＹ？ｅｔａｌ． Ｐｅｒｃｅｐｔ ｕａｌｇｅｎｅｒａｔ ｉｖｅａｄｖｅｒｓａｒｉａｌｎｅｔｗｏｒｋｓｆ ｏｒｓｍａｌｌｏｂｊｅｃｔｄｅｔ ｅｃｔｉｏｎ／ ／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔ ｔ ｅｒｎＲｅｃｏｇｎｉｔ ｉｏｎ．Ｈｏｎｏｌｕｌｕ， ＵＳＡ，２０１７； １２２２ １２３０［２６］ＶｏｎｄｒｉｃｋＣ？Ｐｉｒｓｉ ａｖａｓｈＩ Ｉ， Ｔｏｒｒａｌ ｂａＡ． Ｇｅｎｅｒａｔｉｎｇｖｉｄｅｏｓｗｉｔ ｈｓｃｅｎｅｄｙｎａｍｉｃｓ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ｔ ｈｅＡｄｖａｎｃｅｓｉｎＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔ ｅｍｓ． Ｂａｒｃｅｌｏｎａ？Ｓｐａｉｎ，２０１６：６１３ ６２１［２７］ＴｕｌｙａｋｏｖＳ， ＬｉｕＭＹ， ＹａｎｇＸ，ｅｔａｌ． ＭｏｃｏＧＡＮ： Ｄｅｃｏｍｐｏｓｉｎｇｍｏｔ ｉｏｎａｎｄｃｏｎｔ ｅｎｔｆ ｏｒｖｉｄｅｏｇｅｎｅｒａｔ ｉｏｎ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔ ｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔ ｔｅｒｎＲｅｃｏｇｎｉ ｔｉｏｎ． ＳａｌｔＬａｋｅＣｉｔｙ， ＵＳＡ，２０１８： １５２６ １５３５［２８］ＬｉＹ， ＬｉｕＳ， ＹａｎｇＪ， ｅｔａｌ． Ｇｅｎｅｒａｔ ｉｖｅｆａｃｅｃｏｍｐｌｅｔｉ ｏｎ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔ ｅｒＶｉｓｉｏｎａｎｄＰａｔ ｔ ｅｒｎＲｅｃｏｇｎｉｔｉｏｎ． Ｈａｗａｉｉ ，ＵＳＡ， ２０１７： ３９１１ ３９１９［２９］ＭａＬ， ＪｉａＸ， ＳｕｎＱ，ｅｔ ａｌ． Ｐｏｓｅｇｕｉｄｅｄｐｅｒｓｏｎｉｍａｇｅｇｅｎｅｒａｔｉｏｎ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ｔ ｈｅＡｄｖａｎｃｅｓｉｎＮｅｕｒａｌＩｎｆｏｒｍａｔ ｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ． ＬｏｎｇＢｅａｃｈ，ＵＳＡ，２０１７ ： ４０６ ４ １６［３０］ＭａｏＸ， ＬｉＱ， ＸｉｅＩ Ｉ ， ｅｔａｌ． Ｌｅａｓｔｓｑｕａｒｅｓｇｅｎｅｒａｔ ｉｖｅａｄｖｅｒｓａｒｉ ａｌｎｅｔ ｗｏｒｋｓ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔ ｈｅＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ． Ｖｅｎｉｃｅ， Ｉｔａｌｙ， ２０１７： ２７９４ ２８０２［３１］ＡｒｊｏｖｓｋｙＭ？Ｓｏｕｍｉｔ ｈＣ？ＬｅｏｎＢ． Ｗａｓｓｅｒｓｔ ｅｉｎＧＡＮ． ａｒＸｉｖｐｒｅｐｒｉ ｎｔａｒＸｉｖ： １７０１．０７８７５，２０１７［３２］Ｇｕｌ ｒａｊａｎｉＩ ， ＡｈｍｅｄＦ？ＡｒｊｏｖｓｋｙＭ？ｅｔａｌ． Ｉｍｐｒｏｖｅｄｔ ｒａｉｎｉｎｇｏｆ ｗａｓｓｅｒｓｔｅｉｎＧＡＮｓ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＡｄｖａｎｃｅｓｉｎＮｅｕｒａｌＩｎｆｏｒｍａｔ ｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ． ＬｏｎｇＢｅａｃｈ， ＵＳＡ，２０１７：５７ ６７ ５７７７［３３］ＬｉＹ， ＳｗｅｒｓｋｙＫ，ＺｅｍｅｌＲ． Ｇｅｎｅｒａｔ ｉｖｅｍｏｍｅｎｔｍａｔ ｃｈｉｎｇｎｅｔ ｗｏｒｋｓ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔ ｈｅＩ ｎｔ ｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＭａｃｈｉｎｅＬｅａｒｎｉ ｎｇ． Ｌｉｌ ｌｅ， Ｆｒａｎｃｅ，２０１５： １７１８ １７２７［３４］ＬｉＣＬ， ＣｈａｎｇＷＣ， ＣｈｅｎｇＹ， ｅｔ ａｌ． ＭＭＤＧＡＮ： Ｔｏｗａｒｄｓｄｅｅｐｅｒｕｎｄｅｒｓｔａｎｄｉｎｇｏｆ ｍｏｍｅｎｔ ｍａｔ ｃｈｉｎｇｎｅｔ ｗｏｒｋ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ｔｈｅＡｄｖａｎｃｅｓｉｎＮｅｕｒａｌＩｎｆｏｒｍａｔ ｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ．ＬｏｎｇＢｅａｃｈ，ＵＳＡ， ２０ １７； ２２０３ ２ ２１３［３５］ＮｏｗｏｚｉｎＳ？ ＣｓｅｋｅＢ？ ＴｏｍｉｏｋａＲ． ＦＧＡＮ： Ｔｒａｉｎｉｎｇｇｅｎｅｒａｔ ｉｖｅｎｅｕｒａｌｓａｍｐｌｅｒｓｕｓｉｎｇｖａｒｉａｔ ｉｏｎａｌｄｉｖｅｒｇｅｎｃｅｍｉｎｉｍｉｚａｔ ｉｏｎ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ｔｈｅＡｄｖａｎｃｅｓｉ ｎＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ． Ｂａｒｃｅｌｏｎａ，Ｓｐａｉｎ，２０ １６； ２７１ ２７９［３６］ＳｒｉｐｅｒｕｍｂｕｄｕｒＢＫ，ｅｔａｌ ． Ｏｎｉｎｔ ｅｇｒａｌｐｒｏｂａｂｉｌｉｔｙｍｅｔ ｒｉｃｓ？＾ｄｉｖｅｒｇｅｎｃｅｓａｎｄｂｉｎａｒｙｃｌａｓｓｉｆｉ ｃａｔｉｏｎ．ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ：０９０ １． ２ ６９８ ，２００９［３７］ＸｕＱｉａｎ Ｔｏｎｇ， ｅｔａｌ． Ａｎｅｍｐｉｒｉｃａｌｓｔ ｕｄｙｏｎｅｖａｌｕａｔｉｏｎｍｅｔ ｒｉｃｓｏｆｇｅｎｅｒａｔ ｉｖｅａｄｖｅｒｓａｒｉ ａｌｎｅｔ ｗｏｒｋｓ． ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ： １８０６． ０７７５５，２０１８［３８］ＲａｄｆｏｒｄＡ，ＬｕｋｅＭ， Ｓｏｕｍｉｔ ｈＣ． Ｕｎｓｕｐｅｒｖｉｓｅｄｒｅｐｒｅｓｅｎｔａｔｉｏｎｌｅａｒｎｉｎｇｗｉｔｈｄｅｅｐｃｏｎｖｏｌｕｔｉｏｎａｌｇｅｎｅｒａｔｉｖｅａｄｖｅｒｓａｒｉａｌｎｅｔｗｏｒｋｓ．ａｒＸｉｖｐｒｅｐｒｉｎｔ ａｒＸｉｖ： １５１１． ０６４３４，２０ １５［３９］ＩｍＤＪ，ｅｔａｌ． Ｇｅｎｅｒａｔ ｉｎｇｉｍａｇｅｓｗｉ ｔｈｒｅｃｕｒｒｅｎｔａｄｖｅｒｓａｒｉ ａｌｎｅｔ ｗｏｒｋｓ． ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ： １６０２． ０５１１０ ， ２０ １６［４０］ＭａｋｈｚａｎｉＡ，ｅｔ ａｌ ． Ａｄｖｅｒｓａｒｉａｌａｕｔｏｅｎｃｏｄｅｒｓ． ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ：１５１１． ０５ ６４４ ，２０１５［４１］ＬａｒｓｅｎＡＢＬ？ ｅｔａｌ ． Ａｕｔｏｅｎｃｏｄｉｎｇｂｅｙｏｎｄｐｉｘｅｌ ｓｕｓｉｎｇａｌｅａｒｎｅｄｓｉｍｉｌａｒｉｔｙｍｅｔ ｒｉｃ． ａｒＸｉｖｐｒｅｐｒｉｎｔ ａｒＸｉｖ： １５ １２．０ ９３００ ，２０ １５［４２］ＤｏｎａｈｕｅＪ？ＰｈｉｌｉｐｐＫ？ ＴｒｅｖｏｒＤ． Ａｄｖｅｒｓａｒｉａｌｆｅａｔｕｒｅｌｅａｒｎｉｎｇ．ａｒＸｉｖｐｒｅｐｒｉｎｔ ａｒＸｉｖ： １６０５ ． ０ ９７８２ ，２０１６［４３］ＺｈａｏＪｕｎＢｏ ？ Ｍｉ ｃｈａｅｌＭ， ＹａｎｎＬｅ Ｃｕｎ． Ｅｎｅｒｇｙｂａｓｅｄｇｅｎｅｒａｔ ｉｖｅａｄｖｅｒｓａｒｉ ａｌｎｅｔｗｏｒｋ． ａｒＸｉｖｐｒｅｐｒｉ ｎｔａｒＸｉｖ：１６０ ９． ０３ １２ ６，２０１６［４４］ＫｏｄａｌｉＮ，ｅｔ ａｌ． Ｈｏｗｔｏｔ ｒａｉｎｙｏｕｒＤＲＡＧＡＮ． ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ： １７０５ ０７２１５，２０１７［４５］Ｌｉ ｎＺ， Ｋｈｅｔ ａｎＡ， Ｆａｎｔ ｉＧ，ｅｔａｌ． ＰａｃＧＡＮ： Ｔｈｅｐｏｗｅｒｏｆｔｗｏｓａｍｐｌｅｓｉ ｎｇｅｎｅｒａｔ ｉｖｅａｄｖｅｒｓａｒｉ ａｌｎｅｔｗｏｒｋｓ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ｔｈｅＡｄｖａｎｃｅｓｉｎＮｅｕｒａｌＩｎｆｏｒｍａｔ ｉｏｎＰｒｏｃｅｓｓｉ ｎｇＳｙｓｔｅｍｓ．Ｍｏｎｔ ｒｅａｌ，Ｃａｎａｄａ ， ２０１８： １４９８ １５０７［４６］ＣｈｏｉＹ， ＣｈｏｉＭ， ＫｉｍＭ，ｅｔａｌ． ＳｔａｒＧＡＮ： Ｕｎｉｆｉｅｄｇｅｎｅｒａｔｉｖｅａｄｖｅｒｓａｒｉ ａｌｎｅｔｗｏｒｋｓｆｏｒｍｕｌｔ ｉｄｏｍａｉｎｉｍａｇｅ ｔ〇ｉｍａｇｅｔ ｒａｎｓｌａｔｉｏｎ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔ ｈｅＩＥＥＥＣｏ ｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔ ｅｒＶｉｓｉｏｎａｎｄＰａｔ ｔ ｅｒｎＲｅｃｏｇｎｉｔ ｉｏｎ． ＳａｌｔＬａｋｅＣｉ ｔｙ， ＵＳＡ，２０ １８： ８７８９ ８７ ９７３ ６８ 计 算机 学 报 ２０２１年［４７］ＭｉｒｚａＭ？ ＳｉｍｏｎＯｓｉｎｄｅｒｏ． Ｃｏｎｄｉ ｔｉｏｎａｌｇｅｎｅｒａｔ ｉｖｅａｄｖｅｒｓａｒｉａｌｎｅｔｓ． ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ： １４１１． １７ ８４， ２０１４［４８］ＸｉａｎＷ，ＳａｎｇｋｌｏｙＰ， ＡｇｒａｗａｌＶ， ｅｔａｌ． ＴｅｘｔｕｒｅＧＡＮ：Ｃｏｎｔ ｒｏｌｌｉｎｇｄｅｅｐｉｍａｇｅｓｙｎｔｈｅｓｉ ｓｗｉｔｈｔｅｘｔ ｕｒｅｐａｔ ｃｈｅｓ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔ ｅｒＶｉｓｉｏｎａｎｄＰａｔ ｔ ｅｒｎＲｅｃｏｇｎｉｔ ｉｏｎ． Ｓａｌ ｔＬａｋｅＣｉｔｙ，ＵＳＡ，２０１８； ８４５６ ８４６５［４９］ＳｏｎｇＬ， ＬｕＺ， ｌ ｉ ｅＲ， ｅｔａｌ． Ｇｅｏｍｅｔ ｒｙｇｕｉｄｅｄａｄｖｅｒｓａｒｉａｌｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｓｙｎｔｈｅｓｉｓ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔ ｈｅ２６ｔ ｈＡＣＭＩｎｔ ｅｒｎａｔ ｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＭｕｌｔ ｉｍｅｄｉａ． Ｓｅｏｕｌ ？ Ｋｏｒｅａ？２０１８： ６２７ ６３５［５０］ＺｈｕＪＹ， ＺｈａｎｇＲ， Ｐａｔ ｈａｋＤ？ ｅｔａｌ ． Ｔｏｗａｒｄｍｕｌｔ ｉｍｏｄａｌｉｍａｇｅ ｔ〇ｉｍａｇｅｔｒａｎｓｌａｔ ｉｏｎ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＡｄｖａｎｃｅｓｉｎＮｅｕｒａｌＩｎｆ ｏｒｍａｔ ｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔ ｅｍｓ． ＬｏｎｇＢｅａｃｈ？ ＵＳＡ，２０１７； ４ ６５ ４７６［５１］ＤｅｋｅｌＴ？ｅｔ ａｌ ． Ｓｍａｒｔ ，ｓｐａｒｓｅｃｏｎｔ ｏｕｒｓｔ ｏｒｅｐｒｅｓｅｎｔａｎｄｅｄｉｔｉｍａｇｅｓ． ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ：１７ １２． ０８２３２，２０１７［５２］ＰａｒｋＴ， ＬｉｕＭＹ， ＷａｎｇＴＣ， ｅｔａｌ． Ｓｅｍａｎｔ ｉｃｉｍａｇｅｓｙｎｔ ｈｅｓｉｓｗｉｔｈｓｐａｔｉａｌｌｙａｄａｐｔｉｖｅｎｏｒｍａｌｉｚａｔｉｏｎ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅ ｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔ ｅｒｎＲｅｃｏｇｎｉｔ ｉｏｎ． ＬｏｎｇＢｅａｃｈ， ＵＳＡ， ２０１９； ２３３７ ２３４ ６［５３］ＹｏｏＤ， ＫｉｍＮ， ＰａｒｋＳ，ｅｔ ａｌ． Ｐｉｘｅｌ ｌｅｖｅｌｄｏｍａｉｎｔｒａｎｓｆｅｒ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ｔｈｅＥｕｒｏｐｅａｎＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔ ｅｒＶｉｓｉｏｎ． Ａｍｓｔ ｅｒｄａｍ， Ｎｅｔ ｈｅｒｌａｎｄｓ：Ｓｐｒｉｎｇｅｒ ， ２０ １６： ５１７ ５３２［５４］ＭｅｔｚＬ， ｅｔａｌ． Ｕｎｒｏｌｌｅｄｇｅｎｅｒａｔ ｉｖｅａｄｖｅｒｓａｒｉ ａｌｎｅｔｗｏｒｋｓ．ａｒＸｉｖｐｒｅｐｒｉ ｎｔａｒＸｉｖ： １ ６１ １．０２１６３ ， ２０１６［５５］ＳａｌｉｍａｎｓＴ， ＧｏｏｄｆｅｌｌｏｗＩ ， ＺａｒｅｍｂａＷ，ｅｔａｌ． Ｉ ｍｐｒｏｖｅｄｔ ｅｃｈｎｉｑｕｅｓｆ ｏｒｔ ｒａｉ ｎｉｎｇＧＡＮｓ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＡｄｖａｎｃｅｓｉｎＮｅｕｒａｌＩ ｎｆ ｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ． Ｂａｒｃｅｌｏｎａ ？Ｓｐａｉｎ，２０１６： ２２３４ ２２４２［５６］ＣｈｅｎＸ？ＤｕａｎＹ？Ｉ ｌ ｏｕｔｈｏｏｆ ｔＲ？ｅｔａｌ． ＩｎｆｏＧＡＮ： Ｉ ｎｔｅｒｐｒｅｔ ａｂｌｅｒｅｐｒｅｓｅｎｔ ａｔｉｏｎｌｅａｒｎｉｎｇｂｙｉｎｆｏｒｍａｔ ｉｏｎｍａｘｉｍｉｚｉｎｇｇｅｎｅｒａｔｉｖｅａｄｖｅｒｓａｒｉａｌｎｅｔｓ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔ ｈｅＡｄｖａｎｃｅｓｉ ｎＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔ ｅｍｓ． Ｂａｒｃｅｌｏｎａ？Ｓｐａｉｎ，２０１６：２１７２ ２１８０［５７］ＱｉＧｕｏ Ｊｕｎ． Ｌｏｓｓ ｓｅｎｓｉｔ ｉｖｅｇｅｎｅｒａｔ ｉｖｅａｄｖｅｒｓａｒｉａｌｎｅｔ ｗｏｒｋｓｏｎｌｉｐｓｃｈｉ ｔｚｄｅｎｓｉ ｔｉｅｓ． ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ： １７０１． ０６２６４ ，２０１７［５８］ＴａｉｇｍａｎＹ， ＡｄａｍＰ， ＬｉｏｒＷ． Ｕｎｓｕｐｅｒｖｉｓｅｄｃｒｏｓｓｄｏｍａｉｎｉｍａｇｅｇｅｎｅｒａｔｉｏｎ． ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ： １６１１． ０２ ２００，２０１６［５９］ＬｉｕＭＹ， ＢｒｅｕｅｌＴ？Ｋａｕｔ ｚＪ． Ｕｎｓｕｐｅｒｖｉｓｅｄｉｍａｇｅ ｔ〇ｉｍａｇｅｔ ｒａｎｓｌａｔ ｉｏｎｎｅｔ ｗｏｒｋｓ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ｔｈｅＡｄｖａｎｃｅｓｉｎＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔ ｅｍｓ． ＬｏｎｇＢｅａｃｈ？ＵＳＡ，２０１７：７００ ７ ０８［６０］ＺｈａｎｇＩ ｌ ａｎ，ｅｔａｌ． Ｓｅｌ ｆａｔｔ ｅｎｔｉｏｎｇｅｎｅｒａｔ ｉｖｅａｄｖｅｒｓａｒｉａｌｎｅｔｗｏｒｋｓ． ａｒＸｉｖｐｒｅｐｒｉｎｔ ａｒＸｉｖ： １８０５． ０８３１８ ，２０１８［６１］ＺｈａｎｇＩ Ｉ ， ＸｕＴ， ＬｉＩ Ｉ ， ｅｔ ａｌ． Ｓｔ ａｃｋＧＡＮ： Ｔｅｘｔｔｏｐｈｏｔｏｒｅａｌｉｓｔｉ ｃｉｍａｇｅｓｙｎｔｈｅｓｉｓｗｉｔｈｓｔ ａｃｋｅｄｇｅｎｅｒａｔ ｉｖｅａｄｖｅｒｓａｒｉａｌｎｅｔｗｏｒｋｓ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥＩｎｔｅｒｎａｔ ｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔ ｅｒＶｉｓｉｏｎ． Ｖｅｎｉｃｅ ，Ｉ ｔ ａｌｙ， ２０ １７： ５９０７ ５ ９１５［６２］Ｄｅｎｔ ｏｎＥＬ， ＣｈｉｎｔａｌａＳ？ ＦｅｒｇｕｓＲ． Ｄｅｅｐｇｅｎｅｒａｔ ｉｖｅｉｍａｇｅｍｏｄｅｌｓｕｓｉｎｇａｌａｐｌａｃｉａｎｐｙｒａｍｉｄｏｆａｄｖｅｒｓａｒｉａｌｎｅｔｗｏｒｋｓ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ｔｈｅＡｄｖａｎｃｅｓｉｎＮｅｕｒａｌＩｎｆ ｏｒｍａｔ ｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ． Ｍｏｎｔ ｒｅａｌ ， Ｃａｎａｄａ ，２０ １５； １４８６ １４ ９４［６３］ＹｉＺ， ＺｈａｎｇＩ Ｉ， ＴａｎＰ，ｅｔａｌ． ＤｕａｌＧＡＮ： Ｕｎｓｕｐｅｒｖｉｓｅｄｄｕａｌｌｅａｒｎｉｎｇｆｏｒｉｍａｇｅ ｔ〇ｉｍａｇｅｔ ｒａｎｓｌａｔｉｏｎ／／Ｐｒｏｃｅｅｄｉ ｎｇｓｏｆ ｔ ｈｅＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ． Ｖｅｎｉｃｅ，Ｉｔ ａｌｙ，２ ０１７： ２８４９ ２８５７［６４］ＧａｎＺ， ＣｈｅｎＬ， ＷａｎｇＷ， ｅｔａｌ． Ｔｒｉａｎｇｌｅｇｅｎｅｒａｔ ｉｖｅａｄｖｅｒｓａｒｉ ａｌｎｅｔ ｗｏｒｋｓ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ｔｈｅＡｄｖａｎｃｅｓｉｎＮｅｕｒａｌＩｎｆｏｒｍａｔ ｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ． ＬｏｎｇＢｅａｃｈ， ＵＳＡ， ２０１７：５２４７ ５２５６［６５］ＡｎｏｏｓｈｅｈＡ， ＡｇｕｓｔｓｓｏｎＥ？Ｔｉｍｏｆ ｔ ｅＲ？ｅｔ ａｌ ． ＣｏｍｂｏＧＡＮ：Ｕｎｒｅｓｔ ｒａｉｎｅｄｓｃａｌａｂｉｌｉ ｔｙｆ ｏｒｉｍａｇｅｄｏｍａｉｎｔｒａｎｓｌａｔ ｉｏｎ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔ ｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔ ｅｒＶｉｓｉｏｎａｎｄＰａｔ ｔｅｒｎＲｅｃｏｇｎｉ ｔｉｏｎＷｏｒｋｓｈｏｐｓ． Ｓａｌｔ ＬａｋｅＣｉ ｔｙ， ＵＳＡ，２０ １８： ７８３ ７ ９０［６６］ＲｏｙｅｒＡ，ｅｔ ａｌ． ＸＧＡＮ： Ｕｎｓｕｐｅｒｖｉｓｅｄｉｍａｇｅ ｔｏｉｍａｇｅｔｒａｎｓｌａｔ ｉｏｎｆ ｏｒｍａｎｙｔ〇 ｍａｎｙｍａｐｐｉｎｇｓ． ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ： １７１１． ０５１３９ ，２０１７［６７］ＷａｎｇＸ， ＧｕｐｔａＡ． Ｇｅｎｅｒａｔ ｉｖｅｉ ｍａｇｅｍｏｄｅｌｉｎｇｕｓｉ ｎｇｓｔｙｌｅａｎｄｓｔ ｒｕｃｔ ｕｒｅａｄｖｅｒｓａｒｉａｌｎｅｔ ｗｏｒｋｓ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ｔｈｅＥｕｒｏｐｅａｎＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔ ｅｒＶｉｓｉｏｎ． Ｃｈａｍ， Ｎｅｔｈｅｒｌａｎｄｓ：Ｓｐｒｉｎｇｅｒ？２０ １６： ３１８ ３ ３５［６８］ＹａｎｇＪｉａｎＷｅｉ， ｅｔ ａｌ． ＬＲＧＡＮ： Ｌａｙｅｒｅｄｒｅｃｕｒｓｉｖｅｇｅｎｅｒａｔｉｖｅａｄｖｅｒｓａｒｉ ａｌｎｅｔ ｗｏｒｋｓｆ ｏｒｉｍａｇｅｇｅｎｅｒａｔ ｉｏｎ． ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ： １７０３． ０１５６０ ，２０１７［６９］Ｉ ｌ ｕａｎｇＸ， ＬｉＹ， Ｐｏｕｒｓａｅｅｄ０， ｅｔａｌ． Ｓｔ ａｃｋｅｄｇｅｎｅｒａｔ ｉｖｅａｄｖｅｒｓａｒｉ ａｌｎｅｔ ｗｏｒｋｓ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔ ｈｅＩＥＥＥＣｏｎｆ ｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔ ｔ ｅｒｎＲｅｃｏｇｎｉｔ ｉｏｎ． Ｈａｗａｉｉ， ＵＳＡ，２０ １７： ５０７７ ５０ ８６［７０］ＲｅｅｄＳ？ ｅｔａｌ． Ｇｅｎｅｒａｔ ｉｖｅａｄｖｅｒｓａｒｉａｌｔ ｅｘｔ ｔｏｉｍａｇｅｓｙｎｔｈｅｓｉｓ．ａｒＸｉｖｐｒｅｐｒｉｎｔ ａｒＸｉｖ： １６０５． ０５３９６ ，２０ １６［７１］ＰｅｒａｒｎａｕＧ？ ｅｔａｌ ． Ｉｎｖｅｒｔ ｉｂｌｅｃｏｎｄｉｔ ｉｏｎａｌＧＡＮｓｆ ｏｒｉｍａｇｅｅｄｉｔ ｉｎｇ． ａｒＸｉｖｐｒｅｐｒｉｎｔ ａｒＸｉｖ： １６１１． ０６３５５，２０ １６［７２］ＳｈａｈａｍＴＲ， ＤｅｋｅｌＴ， ＭｉｃｈａｅｌｉＴ． Ｓｉ ｎＧＡＮ： Ｌｅａｒｎｉｎｇａｇｅｎｅｒａｔ ｉｖｅｍｏｄｅｌｆｒｏｍａｓｉｎｇｌｅｎａｔｕｒａｌｉｍａｇｅ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ｔｈｅＩＥＥＥＩｎｔ ｅｒｎａｔ ｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔ ｅｒＶｉｓｉｏｎ．Ｓｅｏｕｌ，Ｋｏｒｅａ，２０１９： ４５７０ ４５８０［７３］ＲｏｎｎｅｂｅｒｇｅｒＯ，Ｆｉ ｓｃｈｅｒＰ， ＢｒｏｘＴ． Ｕｎｅｔ： Ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｔ ｗｏｒｋｓｆｏｒｂｉｏｍｅｄｉｃａｌｉｍａｇｅｓｅｇｍｅｎｔ ａｔ ｉｏｎ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩ ｎｔ ｅｒｎａｔ ｉｏｎａｌＣｏｎｆ ｅｒｅｎｃｅｏｎＭｅｄｉｃａｌＩ ｍａｇｅＣｏｍｐｕｔ ｉｎｇａｎｄＣｏｍｐｕｔ ｅｒ Ａｓｓｉｓｔ ｅｄＩｎｔ ｅｒｖｅｎｔ ｉｏｎ． Ｍｕｎｉｃｈ？ Ｇｅｒｍａｎｙ，２０ １５： ２３４ ２ ４１［７４］ＷａｎｇＴｉｎｇ Ｃｈｕｎ， ＬｉｕＭｉｎｇ Ｙｕ，ＺｈｕＪｕｎＹａｎ， ｅｔ ａｌ． Ｉ ｌ ｉｇｈｒｅｓｏｌ ｕｔｉ ｏｎｉｍａｇｅｓｙｎｔ ｈｅｓｉｓａｎｄｓｅｍａｎｔ ｉｃｍａｎｉｐｕｌ ａｔ ｉｏｎｗｉｔ ｈｃｏｎｄｉｔ ｉｏｎａｌＧＡＮｓ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔ ｅｒＶｉｓｉｏｎａｎｄＰａｔ ｔ ｅｒｎＲｅｃｏｇｎｉ ｔｉｏｎＷｏｒｋｓｈｏｐｓ． ＳａｌｔＬａｋｅＣｉｔｙ， ＵＳＡ， ２０１８： ８７９８ ８８０７［７５］ＬｅｅＩ ＩＹ， ＴｓｅｎｇＩ ＩＹ， Ｉ ｌｕａｎｇＪＢ， ｅｔａｌ． Ｄｉｖｅｒｓｅｉｍａｇｅ ｔｏｉｍａｇｅｔｒａｎｓｌａｔｉｏｎｖｉａｄｉｓｅｎｔａｎｇｌｅｄｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ｔｈｅＥｕｒｏｐｅａｎＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔ ｅｒＶｉｓｉｏｎ（ ＥＣＣＶ） ．Ｍｕｎｉｃｈ，Ｇｅｒｍａｎｙ，２０１８； ３５ ５１［７６］ＢｏｕｓｍａｌｉｓＫ， Ｓｉｌ ｂｅｒｍａｎＮ？ＤｏｈａｎＤ？ ｅｔ ａｌ． Ｕｎｓｕｐｅｒｖｉｓｅｄｐｉ ｘｅｌ ｌｅｖｅｌｄｏｍａｉｎａｄａｐｔａｔ ｉｏｎｗｉｔ ｈｇｅｎｅｒａｔ ｉｖｅａｄｖｅｒｓａｒｉ ａｌｎｅｔ ｗｏｒｋｓ／／Ｐｒｏｃｅｅｄｉ ｎｇｓｏ ｆｔｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔ ｅｒｖｉｓｉｏｎａｎｄＰａｔ ｔ ｅｒｎＲｅｃｏｇｎｉｔｉｏｎ． Ｈａｗａｉｉ， ＵＳＡ，２０１７： ３７２２３７３ １陈佛计等： 生成对抗网络及其在图像生成中的应用研究综述 ３６ ９ ２ 期［７７］ＷａｎｇＺｈｅｎｇ－Ｗｅｉ，ＱｉＳｈｅ，ＴｏｍａｓＥＷ．Ｇｅｎｅｒａｔｉｖｅａｄｖｅｒｓａｒｉａｌｎｅｔｗｏｒｋｓ： Ａｓｕｒｖｅｙａｎｄｔａｘｏｎｏｍｙ． ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉ ｖ：１９０ ６．０１５２ ９，２０１９［７８］ＢａｒｒａｔｔＳ，Ｒｉ ｓｈｉＳ． Ａｎｏｔｅｏｎｔｈｅｉｎｃｅｐｔｉｏｎｓｃｏｒｅ． ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ： １８０１． ０１９７３ ？２０１８［７９］ＬｕｃｉｃＭ，ＫｕｒａｃｈＫ，Ｍｉ ｃｈａｌｓｋｉＭ，ｅｔａｌ． ＡｒｅＧＡＮｓｃｒｅａｔｅｄｅｑｕａｌ？Ａｌａｒｇｅ－ｓｃａｌｅｓｔｕｄｙ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＡｄｖａｎｃｅｓｉｎＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ．Ｍｏｎｔｒｅａｌ，Ｃａｎａｄａ，２０１８ ：７００－７０９［８０］Ｉ ｌｅｕｓｅｌＭ， ＲａｍｓａｕｅｒＩ Ｉ， ＵｎｔｅｒｔｈｉｎｅｒＴ， ｅｔａｌ． ＧＡＮｓｔｒａｉｎｅｄｂｙａｔｗｏｔｉｍｅ－ｓｃａｌｅｕｐｄａｔｅｒｕｌｅｃｏｎｖｅｒｇｅｔｏａｌｏｃａｌＮａｓｈｅｑｕｉｌｉｂｒｉｕｍ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＡｄｖａｎｃｅｓｉｎＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ．ＬｏｎｇＢｅａｃｈ，ＵＳＡ，２０ １７：６６２ ６－６６３７［８１］ＣｈｅＴｏｎｇ，ｅｔａｌ ． Ｍｏｄｅｒｅｇｕｌａｒｉｚｅｄｇｅｎｅｒａｔｉｖｅａｄｖｅｒｓａｒｉａｌｎｅｔｗｏｒｋｓ． ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ： １６１２．０ ２１３６，２０１６［８２］ＬｉＪ， ＬｉａｎｇＸ， ＷｅｉＹ，ｅｔａｌ．ＰｅｒｃｅｐｔｕａｌｇｅｎｅｒａｔｉｖｅａｄｖｅｒｓａｒｉａｌＣＨＥＮＦｏ－Ｊｉ，Ｍ．Ｓ．Ｈｉｓｒｅｓｅａｒｃｈ＇ ｉｎｔｅｒｅｓｔｓｉｎｃｌ ｕｄｅｉｍａｇｅｇｅｎｅｒａｔｉｏｎ，ｍａｃｈｉｎｅｌ ｅａｒｎｉｎｇ，ｐａｔｔｅｒｎｒｅｃｏｇｎｉｔｉｏｎ，ＺＨＵＦｅｎｇ，Ｐｈ．Ｄ．，ｐｒｏｆｅｓｓｏｒ，Ｐｈ．Ｄ．ｓｕｐｅｒｖｉｓｏｒ．Ｈｉｓｒｅｓｅａｒｃｈｉｎｔｅｒｅｓｔｓｉｎｃｌｕｄｅｒｏｂｏｔｖｉｓｉｏｎ，ｖｉｓｕａｌｍｅａｓｕｒｅｍｅｎｔ，ｖｉｓｕａｌｄｅｔｅｃｔｉｏｎ，ｉｎｆｒａｒｅｄｉ ｍａｇｅｓｉｍｕｌａｔｉｏｎ，ａｎｄ３－Ｄｏｂｊｅｃｔｒｅｃｏｇｎｉｔｉｏｎ．ＢａｃｋｇｒｏｕｎｄＤｅｅｐｌｅａｒｎｉｎｇ－ｂａｓｅｄｍｅｔｈｏｄｓｈａｖｅａｃｈｉｅｖｅｄｅｘｃｅｌｌｅｎｔｐｅｒｆｏｒｍａｎｃｅｉｎｍａｎｙｖｉｓｉｏｎｔａｓｋｓｉｎｒｅｃｅｎｔｙｅａｒｓ．Ｂｕｔｔｈｅｇｏｏｄｒｅｓｕｌ ｔｓａｌｗａｙｓｒｅｌｙｏｎｌ ａｒｇｅａｍｏｕｎｔｓｏｆｄａｔａｗｉｔｈｌ ａｂｅｌ ｓａｎｄｐｏｗｅｒｆｕｌｃｏｍｐｕｔｉｎｇｐｏｗｅｒ．Ａｓｔｈｅｌａｂｅｌｅｄｄａｔａｉｓｈａｒｄｔｏｃｏｌｌ ｅｃｔｏｒｅｖｅｎｉｍｐｏｓｓｉｂｌｅｔｏｃｏｌｌ ｅｃｔ，ｗｈｉｃｈｃａｕｓｅｓｔｈａｔｆｅｗｅｒｍｏｄｅｌｓａｒｅｌｅａｒｎｅｄｂｙｔｈｅｍｏｄｅｌａｎｄｔｈｅｇｅｎｅｒａｌｉｚａｔｉｏｎａｂｉ ｌｉｔｙｏｆｔｈｅｍｏｄｅｌｉ ｓｎｏｔｗｅｌ ｌ ．Ｔｈｅｒｅｆｏｒｅ，ｔｈｅａｐｐｌｉｃａｔｉｏｎｏｆｍｅｔｈｏｄｓｂａｓｅｄｏｎｄｅｅｐｌｅａｒｎｉｎｇｔｏｐｒａｃｔｉｃａｌｐｒｏｂｌｅｍｓｉｓｄｉ ｆｆｉｃｕｌｔ．Ｔｏｅｆｆｉｃｉｅｎｔｌｙｃｏｍｐｌ ｅｔｅｖｉｓｉｏｎｔａｓｋｓ， ｉｔｉｓｎｅｃｅｓｓａｒｙｔｏｃｏｌｌｅｃｔｍｏｒｅｌａｂｅｌｅｄｄａｔａ．Ｆｏｒｔｈｅｅｘｃｅｌ ｌｅｎｔｐｅｒｆｏｒｍａｎｃｅｉｎｔｈｅｆｉｅｌｄｏｆｉ ｍａｇｅｇｅｎｅｒａｔｉｏｎ，ｔｈｅｇｅｎｅｒａｔｉｖｅａｄｖｅｒｓａｒｉａｌｎｅｔｗｏｒｋｓｈａｖｅｒｅｃｅｉｖｅｄａｌｏｔｏｆａｔｔｅｎｔｉｏｎ．Ｔｈｅｇｅｎｅｒａｔｉｖｅａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋｓｍｏｄｅｌａｎｕｎｋｎｏｗｎｄｉｓｔｒｉｂｕｔｉｏｎｉｎｉｎｄｉ ｒｅｃｔｌｙｗａｙａｎｄａｖｏｉｄｃｏｍｐｕｔａｔｉ ｏｎａｌｄｉ ｆｆｉｃｕｌ ｔｉ ｅｓ．Ｃｏｍｐａｒｅｄｗｉｔｈｏｔｈｅｒｍｅｔｈｏｄｓｉｎｇｅｎｅｒａｔｉｖｅｍｏｄｅｌｓ，ｉｍａｇｅｓｇｅｎｅｒａｔｅｄｂｙｇｅｎｅｒａｔｉｖｅａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋｓａｒｅｈｉｇｈ－ｑｕａｌｉｔｙ．Ｔｈｅｒｅｆｏｒｅ，ｉｔｉｓａｇｏｏｄｉｄｅａｔｏｄｏｉｎｆｒａｒｅｄｉ ｍａｇｅｓａｕｇｍｅｎｔａｔｉｏｎｂａｓｅｄｏｎｉｍａｇｅｓｇｅｎｅｒａｔｉｏｎｗｉｔｈｇｅｎｅｒａｔｉｖｅａｄｖｅｒｓａｒｉａｌｎｅｔｗｏｒｋｓ．Ｔｏｐｒｏｖｉｄｅａｃｏｍｐｒｅｈｅｎｓｉｖｅａｎｄｓｙｓｔｅｍａｔｉｃｕｎｄｅｒｓｔａｎｄｉｎｇｎｅｔｗｏｒｋｓｆｏｒｓｍａｌｌｏｂｊｅｃｔｄｅｔｅｃｔｉｏｎ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ．Ｈａｗａｉｉ，ＵＳＡ，２０１７ ：１２２２－１２３０［８３］ＷａｎｇＸ， ＳｈｒｉｖａｓｔａｖａＡ，ＧｕｐｔａＡ． Ａ－ｆａｓｔ－ＲＣＮＮ： Ｈａｒｄｐｏｓｉ ｔｉｖｅｇｅｎｅｒａｔｉｏｎｖｉａａｄｖｅｒｓａｒｙｆｏｒｏｂｊｅｃｔｄｅｔｅｃｔｉｏｎ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉ ｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ．Ｈａｗａｉｉ ，ＵＳＡ，２０１７ ：２６０６－２６１５［８４］ＫｕｐｙｎＯ，ＢｕｄｚａｎＶ，ＭｙｋｈａｉｌｙｃｈＭ，ｅｔａｌ．Ｄｅｂｌｕｒ－ＧＡＮ：Ｂｌｉｎｄｍｏｔｉｏｎｄｅｂｌｕｒｒｉｎｇｕｓｉｎｇｃｏｎｄｉｔｉｏｎａｌａｄｖｅｒｓａｒｉａｌｎｅｔｗｏｒｋｓ＾／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉ ｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ． ＳａｌｔＬａｋｅＣｉｔｙ，ＵＳＡ，２０１８ ：８１８３－８１９２［８５］ＰｅｒａｒｎａｕＧ，ｅｔａｌ ． ＩｎｖｅｒｔｉｂｌｅｃｏｎｄｉｔｉｏｎａｌＧＡＮｓｆｏｒｉｍａｇｅｅｄｉｔｉｎｇ． ａｒＸｉｖｐｒｅｐｒｉｎｔａｒＸｉｖ： １６１１． ０６３５５ ，２０１６［８ ６］ｌ ｉｅＺ， ＺｕｏＷ， ＫａｎＭ，ｅｔａｌ ． ＡｔｔＧＡＮ：Ｆａｃｉａｌａｔｔｒｉｂｕｔｅｅｄｉｔｉｎｇｂｙｏｎｌｙｃｈａｎｇｉｎｇｗｈａｔｙｏｕｗａｎｔ． ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ，２０１９，２８（１１）：５４６４－５４７８ＷＵＱｉｎｇ－Ｘｉａｏ，Ｐｈ．Ｄ．，ｐｒｏｆｅｓｓｏｒ．Ｈｉｓｒｅｓｅａｒｃｈｉｎｔｅｒｅｓｔｓｉｎｃｌ ｕｄｅｒｏｂｏｔｖｉｓｉｏｎａｎｄｍａｃｈｉｎｅｖｉｓｉｏｎ．ＨＡＯＹｉｎｇ－Ｍｉ ｎｇ， Ｐｈ．Ｄ． ，ｐｒｏｆｅｓｓｏｒ．Ｈｅｒｍａｉｎｒｅｓｅａｒｃｈｉｎｔｅｒｅｓｔｓｉｎｃｌｕｄｅｉｍａｇｅｐｒｏｃｅｓｓｉｎｇａｎｄｓｐａｔｉａｌｖｉｓｉｏｎｍｅａｓｕｒｅ？ｍｅｎｔ．ＷＡＮＧＥｎ－Ｄｅ，Ｐｈ．Ｄ．，ｐｒｏｆｅｓｓｏｒ ，Ｍ．Ｓ．ｓｕｐｅｒｖｉｓｏｒ．Ｈｉｓｒｅｓｅａｒｃｈｉｎｔｅｒｅｓｔｓｉｎｃｌｕｄｅｓｍａｌｌａｉｒｃｒａｆｔｃｏｎｔｒｏｌ ，ｉ ｍａｇｅｄｅｔｅｃｔｉｏｎ，ｒｅｃｏｇｎｉｔｉｏｎａｎｄｔｒａｃｋｉｎｇａｎｄｗｅａｋｓｉｇｎａｌ ｄｅｔｅｃｔｉｏｎａｎｄｐｒｅｐｒｏｃｅｓｓｉｎｇ．ＣＵＩＹｕｎ－Ｇｅ，Ｍ．Ｓ．Ｈｉｓｒｅｓｅａｒｃｈｉｎｔｅｒｅｓｔｓｉｎｃｌｕｄｅｉ ｍａｇｅｇｅｎｅｒａｔｉｏｎａｎｄＳＬＡＭ．ｏｆｉ ｍａｇｅｇｅｎｅｒａｔｉｏｎｂａｓｅｄｏｎｇｅｎｅｒａｔｉｖｅａｄｖｅｒｓａｒｉａｌｎｅｔｗｏｒｋｓｆｏｒｒｅｓｅａｒｃｈｅｒｓｗｈｏｗａｎｔｔｏｗｏｒｋｏｎｔｈｉｓｆｉｅｌｄ，ｉｔｉｓｎｅｃｅｓｓａｒｙｔｏｃａｒｒｙｏｕｔａｎｉｎｖｅｓｔｉｇａｔｉｏｎｉｎｔｏｔｈｅｂａｓｉｃｔｈｅｏｒｙ，ｍｏｄｅｌａｒｃｈｉｔｅｃｔｕｒｅ，ｏｂｊｅｃｔｉｖｅｆｕｎｃｔｉｏｎ，ａｎｄｓｏｍｅｒｅｌａｔｅｄｔｒｉｃｋｓ．Ｉｎｔｈｉｓｐａｐｅｒ，ｈｏｗｔｈｅｇｅｎｅｒａｔｉｖｅａｄｖｅｒｓａｒｉａｌｎｅｔｗｏｒｋｓｗｏｒｋａｎｄｈｏｗｔｏｃｏｎｓｔｒｕｃｔａｍｏｄｅｌａｒｅｉｎｔｒｏｄｕｃｅｄｆｉｒｓｔｌｙ．Ａｎｄｔｈｅｎｍｅｔｈｏｄｓａｂｏｕｔｉｍａｇｅｓｇｅｎｅｒａｔｉｏｎａｒｅｄｉｓｃｕｓｓｅｄｉｎｄｅｔａｉｌ ｓ ；Ａｔｔｈｅｓａｍｅｔｉｍｅ，ｔｈｅｆｕｎｄａｍｅｎｔａｌｔｈｅｏｒｙａｎｄｅｘｉｓｔｉｎｇｐｒｏｂｌｅｍｓｏｆｃｕｒｒｅｎｔｍｅｔｈｏｄｓａｒｅｄｉｓｃｕｓｓｅｄ．Ａｓｕｍｍａｒｙａｎｄａｎａｌｙｓｉｓｏｆｍｅｔｈｏｄｓｗｈｉｃｈａｒｅｕｓｅｄｔｏｄｏｅｖａｌｕａｔｉｏｎｏｆｇｅｎｅｒａ？ｔｅｄｉｍａｇｅｓｇｅｎｅｒａｔｅｄｂｙｇｅｎｅｒａｔｉｖｅａｄｖｅｒｓａｒｉａｌｎｅｔｗｏｒｋｓｉｓｄｏｎｅ．Ｆｉｎａｌ ｌｙ，ｉｎｔｈｅｏｒｙ，ｔｈｅｅｘｉｓｔｉｎｇｐｒｏｂｌ ｅｍｓａｎｄｃｈａｌｌ ｅｎｇｅｓａｒｅｄｉｓｃｕｓｓｅｄ；Ｍｅａｎｗｈｉｌ ｅ，ｓｏｍｅｔｒｉｃｋｓｔｈａｔａｒｅｅｍｐｌｏｙｅｄｔｏｉｍｐｒｏｖｅｔｈｅｐｅｒｆｏｒｍａｎｃｅｏｆｇｅｎｅｒａｔｉｖｅａｄｖｅｒｓａｒｉ ａｌｎｅｔｗｏｒｋｓｉｎｐｒａｃｔｉｃａｌａｐｐｌｉｃａｔｉｏｎｓａｒｅｉｎｔｒｏｄｕｃｅｄａｎｄｓｕｍｍａｒｉｚｅｄ．Ｉｎｐｒａｃｔｉ？ｃａｌａｐｐｌｉｃａｔｉｏｎ，ｄｏｉｎｇｉｍａｇｅｓｓｅｔａｕｇｍｅｎｔａｔｉｏｎｗｈｉｃｈｂａｓｅｄｏｎｇｅｎｅｒａｔｉｖｅａｄｖｅｒｓａｒｉａｌｎｅｔｗｏｒｋｓａｎｄｇｕｉｄｅｄｂｙｐｒｉｏｒｋｎｏｗｌ ｅｄｇｅｉｓａｐｒｏｍｉｓｉｎｇｒｅｓｅａｒｃｈｄｉｒｅｃｔｉｏｎ．Ｍｅａｎｔｉｍｅ， ｉｔｉｓｈｏｐｅｄｔｈａｔｉ ｍａｇｅｓｇｅｎｅｒａｔｉｏｎｗｉｔｈｇｅｎｅｒａｔｉｖｅａｄｖｅｒｓａｒｉａｌｎｅｔｗｏｒｋｓｃａｎｂｅａｐｐｌｉ ｅｄｔｏａｗｉｄｅｒｒａｎｇｅｏｆａｒｅａｓ．