ＦＦ－ＣＡＭ ： 基于通道注意机制前后端融合的人群计数张宇倩李国辉雷军何嘉宇（ 国防科技大学信息系统工程重点实验室长沙４ １ ０ ０７ ３ ）摘要单个图像中的人群计数在计算机视觉领域中备受关注， 因为其在公共安全方面具有重要作用． 例如， 在人群聚集的场景中监控设备可以实时监测人群数量变化， 对过度拥挤和异常情况进行预警以预防安全事故的发生．然而， 由于受到遮挡、透视扭曲、尺度变化和背景干扰的严重影响， 在单个图像中对人群计数的预测要达到较高精确度是极其困难的， 其面临着巨大的挑战． 在本文中， 我们提出了一个名为ＦＦ ＣＡＭ 的创新性模型来计算图像中的人群数量． 它首先将主网络低层的特征图与高层的特征图合并， 实现不同尺度的特征融合， 且无需额外的分支或子任务， 解决了由于透视导致的尺度多样性问题． 随后融合的特征图被送人通道注意力模块以优化不同特征的融合过程， 并进行特征通道的重新校准以充分使用全局和空间信息． 此外， 我们在网络的末端利用扩张卷积来获得高质量的人群密度图， 扩张卷积层扩大了感受野， 其输出包含更详细的空间信息和全局信息， 不会降低空间分辨率． 最后， 我们加人基于Ｓ ＳＪＭ 的损失函数用于比较估计人群密度图和真值的局部相关性， 以及基于回归人数的损失函数用于比较估计人群数量与真实人数之间的差异． 我们的ＦＦ ＣＡＭ 在ＵＣ Ｆ ＣＣ ５ ０ 数据集、Ｓ ｈ ａ ｎｇｈ ａ ｉ Ｔｅ ｃ ｈ 数据集和ＵＣ Ｆ ＱＲＮ Ｆ 数据集中进行训练并测试， 获得了出色的结果． 在ＵＣ Ｆ Ｃ Ｃ ５ ０ 数据集上比现有方法的Ｍ／Ｖ Ｅ提高了 ４ ． ５ ％ ， Ｍ５￡： 提高了 ３ ． ８ ％ ．关键词人群计数； 特征融合； 通道注意力； 扩张卷积； 高质量密度图中图法分类号Ｔ Ｐ３ ９ １ＤＯＩ 号１ ０ ． １ １ ８ ９ ７ ／ ＳＰ ． Ｊ ． １ ０ １ ６ ．  ２ ０ ２ １ ． ０ ０ ３ ０ ４ＦＦ－ ＣＡＭ ：Ｃ ｒ ｏｗ ｄＣ ｏｕｎ ｔ ｉ ｎｇＢ ａ ｓ ｅｄ ｏｎＦｒ ｏ ｎｔ ｅｎｄ－ Ｂ ａｃｋ ｅｎｄＦｕｓ ｉ ｏｎＴ ｈｒ ｏ ｕｇｈＣ ｈ ａｎ ｎｅ ｌ－ Ａ ｔ ｔｅｎ ｔｉ ｏ ｎＭｅ ｃｈａ ｎｉ ｓ ｍＺ Ｈ Ａ Ｎ Ｇ Ｙ ｕ Ｑ ｉａ ｎＬ ＩＧ ｕ ｏ Ｈ ｕ ｉＬ Ｅ ＩＪ ｕ ｎＨ Ｅ Ｊ ｉ ａ Ｙ ｕ（ Ｓ ｃｉ ｅ ｎ ｃ ｅ ａ ｎ ｄ Ｔｅ ｃ ｈ ｎ ｏ ｌｏ ｇｙ ｏｎ  Ｉｎｆｏ ｒｍａ ｔ ｉ ｏｎ Ｓｙ ｓｔ ｅ ｍｓＥｎ ｇ ｉｎ ｅ ｅ ｒｉ ｎ ｇＬａ ｂｏ ｒａ ｔｏ ｒｙ＾ Ｎａ ｔ ｉｏｎ ａ ｌＵｎ ｉｖ ｅ ｒｓ ｉ ｔ ｙ ｏｆＤｅ ｆｅ ｎ ｓ ｅＴ ｅ ｃ ｈｎ ｏｌ ｏｇ ｙ＾ Ｃｈ ａ ｎ ｇ ｓｈ ａ４ １ ０ ０７ ３ ）Ａｂｓ ｔ ｒａ ｃｔＣｒ ｏｗ ｄ ｃｏ ｕｎｔ ｉｎ ｇｈ ａ ｓａ ｔｔ ｒ ａ ｃ ｔ ｅｄｍ ｕｃｈ ａ ｔｔ ｅｎ ｔｉ ｏ ｎｉ ｎ ｃｏｍｐ ｕｔ ｅ ｒ ｖ ｉ ｓ ｉ ｏ ｎｏｗ ｉ ｎｇ ｔ ｏ ｉ ｔ ｓ ｃｏ ｎ ｔｒ ｉ ｂ ｕｔｉ ｏ ｎｉ ｎｐ ｕｂ ｌｉ ｃ ｓ ｅ ｃ ｕｒ ｉ ｔ ｙ． Ｆ ｏ ｒ  ｅｘ ａｍ ｐ ｌ ｅ ， ｉ ｎａ ｃ ｒ ｏｗ ｄｇ ａ ｔｈ ｅ ｒ ｉ ｎｇ ｓ ｃ ｅｎ ａ ｒ ｉ ｏ ， ｔ ｈ ｅ ｍｏ ｎｉ ｔ ｏ ｒ ｉ ｎ ｇ ｄ ｅｖ ｉ ｃ ｅ ｃ ａｎ ｍｏ ｎｉ ｔ ｏ ｒｃｈ ａ ｎ ｇ ｅ ｓ ｉｎｔ ｈ ｅｎ ｕｍ ｂ ｅ ｒ ｏ ｆ ｐ ｅ ｏ ｐ ｌ ｅｉ ｎｒ ｅ ａ ｌｔ ｉ ｍｅ ，ａ ｎｄｐ ｒ ｏ ｖ ｉ ｄ ｅｅ ａｒ ｌ ｙｗ ａｒ ｎｉ ｎ ｇ ｏ ｆｏ ｖ ｅ ｒ ｃ ｒ ｏｗ ｄ ｉ ｎｇ  ａｎ ｄａ ｂｎ ｏ ｒｍ ａ ｌｃ ｏ ｎ ｄｉ ｔｉ ｏ ｎｓ ｔ ｏ ｐ ｒ ｅｖ ｅ ｎ ｔｔｈ ｅｏ ｃ ｃ ｕｒ ｒ ｅｎ ｃ ｅ ｏ ｆｓ ａ ｆ ｅ ｔ ｙａ ｃ ｃ ｉ ｄｅ ｎｔ ｓ ．Ｂ ｕ ｔｏ ｎａ ｃ ｃ ｏ ｕｎ ｔ ｏ ｆ ｏ ｃ ｃ ｌ ｕｓ ｉ ｏ ｎ ｓ，ｐ ｅ ｒ ｓ ｐ ｅ ｃ ｔ ｉ ｖ ｅｄ ｉ ｓ ｔ ｏ ｒ ｔ ｉ ｏ ｎ ｓ ，ｓ ｃ ａ ｌ ｅ ｖ ａ ｒ ｉ ａ ｔｉ ｏ ｎ ｓ ａ ｎｄ ｂ ａｃ ｋｇ ｒ ｏ ｕｎ ｄ ｉ ｎ ｔ ｅ ｒ ｆ ｅ ｒ ｅｎ ｃ ｅ ， ｉｔ ｆ ａ ｃ ｅ ｓ ａｇ ｒ ｅ ａｔ ｃｈ ａｌ ｌ ｅｎ ｇ ｅ ｔ ｏａ ｃｈ ｉ ｅ ｖ ｅ ｈｉ ｇｈａ ｃ ｃｕ ｒ ａ ｃｙｏ ｎ ｔｈ ｅ ｐ ｒ ｅ ｄｉ ｃ ｔ ｉ ｏ ｎｏ ｆ ｃ ｒ ｏｗ ｄｃｏ ｕ ｎｔ ｉ ｎ ｇ ｉ ｎａｓ ｉ ｎｇ ｌ ｅｉ ｍａ ｇ ｅ ． Ｉ ｎｔ ｈｉ ｓ ｐ ａ ｐ ｅ ｒ ｗ ｅｐ ｒ ｏ ｐ ｏ ｓ ｅ ａ ｎｏ ｖ ｅ ｌｍ ｏ ｄｅ ｌｔ ｏ ｃｏ ｕｎ ｔ ｃ ｒ ｏｗ ｄｓ ｎａ ｍｅ ｄ ＦＦ Ｃ ＡＭ ．Ｉｔ ｍｅ ｒ ｇ ｅ ｓ ｔ ｈ ｅ ｆｒ ｏ ｎ ｔ ｅｎｄｆ ｅ ａ ｔ ｕｒ ｅ ｍａ ｐ ｗ ｉ ｔｈ ｔｈ ｅｂａ ｃｋｅｎ ｄ ｆｅ ａｔｕ ｒ ｅ ｍａ ｐ ｉ ｎｔｈ ｅ ｂａ ｓ ｅ ｌ ｉｎ ｅ， ａｃｈ ｉｅｖ ｉ ｎｇ ａ ｆｕｓ ｉ ｏｎ ｏ ｆｖ ａｒ ｉ ｏ ｕｓ ｓ ｃ ａｌ ｅ ｆ ｅ ａｔ ｕｒ ｅ ｓ ｗ ｉｔ ｈｏ ｕｔ ａｄｄｉ ｔｉｏ ｎ ａｌ ｂｒ ａｎｃｈ ｅ ｓ ｏ ｒｅｘ ｔｒ ａｓ ｕ ｂｔ ａ ｓ ｋ ｓ ．Ｔｈ ｅｆ ｕｓ ｉ ｏ ｎｉ ｓｆ ｅｄｉｎ ｔ ｏｔ ｈ ｅｃｈａ ｎ ｎ ｅ ｌ ａ ｔｔ ｅ ｎｔ ｉ ｏ ｎｂ ｌ ｏ ｃｋｔ ｏｏ ｐ ｔ ｉ ｍｉ ｚ ｅｔ ｈ ｅｐ ｒ ｏ ｃ ｅｄ ｕｒ ｅ ，ａ ｎｄ ｔ ｏｃｏ ｎ ｄｕ ｃ ｔ ｆ ｅ ａｔ ｕｒ ｅ ｒ ｅ ｃ ａ ｌｉｂｒ ａ ｔ ｉｏ ｎ ｔｏ ｕｓ ｅ ｇ ｌ ｏ ｂａ ｌ ａｎ ｄｓ ｐ ａ ｔｉ ａ ｌｉ ｎｆ ｏ ｒｍａ ｔｉ ｏ ｎ． Ｆ ｕｒ ｔ ｈ ｅ ｒｍｏ ｒ ｅ ，ｗ ｅ ｕ ｔｉ ｌ ｉ ｚ ｅｄｉ ｌ ａ ｔ ｅ ｄ ｌ ａ ｙｅ ｒ ｓ ｔ ｏ ｏ ｂ ｔ ａｉ ｎ ａ ｈ ｉｇｈｑｕ ａ ｌ ｉｔ ｙ ｄｅ ｎ ｓ ｉ ｔｙ ｍａ ｐ ．Ｔ ｈ ｅｄ ｉ ｌ ａｔ ｅｄ ｃｏ ｎ ｖ ｏ ｌ ｕｔ ｉｏ ｎａ ｌｌ ａ ｙ ｅ ｒｅ ｘｐ ａ ｎｄ ｓｔ ｈ ｅ ｒ ｅ ｃ ｅ ｐ ｔｉ ｖ ｅ ｆ ｉｅ ｌ ｄ ， ａｎ ｄｉ ｔ ｓ ｏ ｕｔ ｐ ｕｔｃｏ ｎｔ ａ ｉｎ ｓ ｍ ｏ ｒ ｅ ｄｅ ｔ ａｉ ｌ ｅｄｓ ｐ ａ ｔ ｉ ａｌ ｉ ｎ ｆｏ ｒｍａ ｔ ｉｏ ｎａ ｎ ｄｇ ｌ ｏ ｂａ ｌ收稿日期：２０ １ ９ ０ ７ ｌ ｌ； 在线发布日期：２ ０ ２ ０ ０ ４ １ ２． 本课题得到国家自然科学基金（ ７ １ ６ ７ ３ ２ ９ ３，６ １ ８ ０ ６ ２ １ ５ ） 资助． 张宇倩， 硕士研究生， 主要研究方向为计算机视觉、深度学习以及信息系统工程．Ｅ ｍ ａｉｌ ：４ ４ ６ ５ ７ ９ ７ ９ ４ ＠ ｑ ｑ ．ｃ ｏ ｍ． 李国辉（ 通信作者） ， 博士， 教授， 博士生导师， 主要研究领域为计算机视觉、信息系统工程、数据挖掘及虛拟现实技术． Ｅ ｍ ａｉｌ ： ｇｕ ｏ ｈ ｌｉ＠ ｎｍｋ ． ｅｄ ｕ ． ｃ ｎ ． 雷军， 博士， 讲师， 主要研究方向为计算机视觉、深度学习、数据挖掘及虛拟现实技术． 何嘉宇， 硕士研究生， 主要研究方向为深度学习、数据挖掘及虛拟现实技术．２ 期张宇倩等： ＦＦ ＣＡ Ｍ ： 基于通道注意机制前后端融合的人群计数３ ０ ５ｉ ｎｆ ｏ ｒｍ ａｔ ｉ ｏ ｎｗ ｉ ｔ ｈ ｏ ｕ ｔｒ ｅｄ ｕｃ ｉ ｎ ｇ ｔ ｈｅｓ ｐ ａ ｔ ｉ ａｌ ｒ ｅ ｓ ｏ ｌ ｕｔ ｉ ｏ ｎ ．Ｔ ｈｅ Ｓ Ｓ ＪＭ ｂ ａ ｓ ｅ ｄｌ ｏ ｓ ｓｆ ｕ ｎｃ ｔｉ ｏ ｎ ｉｓ ａ ｄ ｄｅ ｄｔ ｏｃｏ ｍｐ ａ ｒ ｅｔ ｈ ｅ  ｌ ｏ ｃ ａ ｌ ｃ ｏ ｒ ｒ ｅ ｌ ａｔ ｉ ｏ ｎｂ ｅ ｔ ｗ ｅ ｅｎ ｔ ｈ ｅ ｅ ｓ ｔ ｉ ｍａ ｔ ｅｄ ｄｅ ｎｓ ｉｔ ｙｍ ａ ｐａ ｎ ｄ ｔ ｈ ｅ ｇ ｒ ｏ ｕｎ ｄｔ ｒ ｕｔ ｈ ， ｍｅ ａｎ ｗ ｈ ｉ ｌ ｅｔ ｈ ｅｒ ｅ ｇ ｒ ｅ ｓ ｓ ｉｏ ｎ ｂａ ｓ ｅ ｄ ｌ ｏ ｓ ｓ ｆ ｕ ｎｃ ｔｉ ｏ ｎ ｉ ｓ ａｄ ｄｅ ｄｔ ｏｃｏｍ ｐ ａ ｒ ｅ ｔｈ ｅｄｉ ｆｆ ｅ ｒ ｅ ｎｃ ｅｂ ｅ ｔ ｗ ｅ ｅｎｔｈ ｅｅ ｓ ｔ ｉ ｍ ａｔ ｅ ｄｎ ｕｍ ｂｅ ｒ ａ ｎ ｄ ｔ ｈ ｅ ａ ｃ ｔ ｕ ａ ｌｎｕ ｍｂ ｅ ｒ ｏ ｆ ｃ ｒ ｏｗ ｄ．Ｏ ｕｒ  ＦＦ Ｃ ＡＭｉ ｓ ｖ ｅ ｒ ｉ ｆｉ ｅ ｄｉ ｎ ｔｈ ｅ ＵＣ Ｆ＿Ｃ Ｃ＿５ ０ｄ ａｔ ａ ｓ ｅ ｔ ， ｔ ｈ ｅＳ ｈａ ｎ ｇ ｈ ａ ｉＴ ｅ ｃｈ ｄａ ｔ ａｓ ｅ ｔａ ｎ ｄｔ ｈ ｅＵＣ Ｆ＿ Ｑ ＲＮ Ｆｄ ａｔ ａ ｓ ｅ ｔ，ｇ ｅ ｔ ｔ ｉ ｎ ｇｂ ｒ ｉ ｌ ｌ ｉ ａ ｎｔ ｅ ｓ ｔ ｉ ｍ ａｔ ｉ ｏ ｎ ｓ ． Ｃ ｏｍｐ ａｒ ｅｄｔ ｏｓ ｔ ａ ｔ ｅ ｏ ｆ ｔ ｈ ｅ ａｒ ｔ ， ＭＡ Ｅｉ ｓ ｉ ｍｐ ｒ ｏ ｖ ｅｄｂ ｙ４ ．  ５ ％ａ ｎｄＭ ＳＥｉ ｓ ｉ ｍｐ ｒ ｏ ｖ ｅｄｂ ｙ ３ ．  ８ ％ｉ ｎｔ ｈ ｅ ＵＣ Ｆ＿Ｃ Ｃ＿５ ０ｄａ ｔ ａ ｓ ｅ ｔ ．Ｋ ｅｙｗ ｏ ｒｄｓｃ ｒ ｏｗ ｄｃｏ ｕｎｔ ｉｎ ｇ ；ｆ ｅ ａｔ ｕｒ ｅ ｓｆ ｕｓ ｉ ｏ ｎ ；ｃ ｈａ ｎｎ ｅ ｌ ａ ｔｔ ｅｎ ｔｉ ｏ ｎ ；ｄ ｉｌ ａｔ ｅ ｄｃｏ ｎ ｖ ｏ ｌ ｕｔ ｉｏ ｎ ｓ ；ｈｉ ｇｈｑｕ ａｌｉｔ ｙｄ ｅｎ ｓ ｉ ｔ ｙｍ ａ ｐｉ 引言近年来， 随着生活水平的提高和交通的快速发展， 人群计数因其在公共安全方面的贡献而备受关注． 例如， 在人群聚集的场景中监控设备可以实时监测人群数量变化， 预防过度拥挤和异常情况． 然而，由于受到遮挡、透视扭曲、尺度变化和背景干扰的严重影响， 在单个图像中对人群计数的预测要达到较高精确性是极其困难的．在大量的研究和努力之下， 人群计数已经取得了较大的进展． 早期的工作主要是检测人群中的每个行人［１］， 或使用多个人工提取的特征回归得到人数［２］． 但是在拥挤的场景中由于严重的遮挡难以准确检测到行人， 故会存在较大误差． 近年来， 主流的方法由直接计算人数转为生成人群密度图， 进而得到总人数以解决严重遮挡问题， 基于ＧＡ Ｎ ［ ？ 和基于Ｃ Ｎ Ｎ ［ ５ ？ ］ 的方法已经发展并且得到了明显的改善． 此外， 人群密度图还包含了空间位置信息， 可更好的应用于安全领域．然而， 由于距监控相机的距离不同和透视问题，同一幅图像中会存在不同大小的人群， 因此人头尺度多样性是抑制计数准确度的主要难点．一些工作［ ５ ９ ］ 使用具有不同卷积核或是多列的卷积结构来解决尺度变化的问题， 而有些方法［ １ ＂ １ １ ］ 则是用相同大小的卷积核堆叠来替换不同的卷积核． 此外， 得到的人群密度图由于背景干扰会存在较大偏差， 文献［ １ ２ １ ３ ］ 在训练过程中增加了额外的信息来强调图像中的人群以解决该问题． 但这些方法仍然存在很多不足， 不能很好地解决尺度多样性的问题． Ｌ ｉ 等人［ １ ° ］ 证明了多列结构中， 不同分支中的每列学到的是几乎相同的特征， 对尺度变化的贡献很小． 当网络变得复杂时， 计算量和计算复杂性急剧增加， 也会导致训练速度的延迟和梯度爆炸． 基于这个问题， 为了学习到不同尺度的特征， 同时排除背景噪声的影响，我们考虑采用单列单卷积核的网络结构， 融合低层和高层的特征图． 由于网络中不同级别的层包含不同的比例特征信息， 且多个相同大小卷积核叠加后与大的卷积核具有相同的特征学习效果． 此外， 不同级别的层还包含不同级别的语义信息， 低层卷积可以提取细节边缘图案， 有效地回归拥塞区域得到密度图， 高层则可以选择性地获得有用的语义信息， 将人头与背景噪声区分开来． 这样做在获得不同尺度信息的同时不增加计算量和网络结构复杂度．另一方面， 各种特征通过简单的连接难以很好地对融合的不同尺度大小的人头区域的特征进行有选择性的加强． 另外， 卷积层的通道容易被忽略， 从而导致空间信息的不足． 而由于生成的密度值遵循逐像素预测原则， 因此输出的密度图必须包含空间相干性， 以呈现最近像素之间的平滑过渡． 所以我们考虑将Ｓ Ｅ （ Ｓｑｕ ｅ ｅ ｚ ｅ ａ ｎ ｄ Ｅ ｘｃ ｉｔ ａ ｔ ｉ ｏ ｎ ） 模块［１ ４］ 引人为通道注意力模块来优化融合． Ｈ ｕ 等人［ １４ ］ 提出， Ｓ Ｅ模块可以考虑通道的权重， 进行特征重新校准以捕获空间相关性， 并有选择地强调信息性强的特征． 如此一来将该模块加在特征融合之后可以优化连接过程， 对学习到的不同尺度的特征图进行加权， 有选择性地强调不同尺度的特征， 避免直接连接造成的损失． 同时捕获的空间相关性能使最终生成的密度图呈现最近像素之间的平滑过渡， 以生成高质量的人群密度图．此外， 经过池化层的特征图降低了空间分辨率，丢失了空间信息， 产生的人群密度图质量不够高． 我们考虑在网络末端运用扩张卷积． Ｕ 等人［ １ ° ］ 证明了扩张卷积比使用卷积、池化加反卷积的方案更好地保持了特征映射的分辨率， 可以包含更详细的空间３０６ 计導机攀报 ：＿１苹信息和全局信息， 在扩大． 了感受野的同时不增加参数或计算量？ 所以， 我们运用扩张卷积可以生成高质羞Ｓｉｉ 人群密度图．最后， 在人群场發中， 高密度区域的烏部模式和纹理特征与其他区域大不相同， 但欧几里德损失建立在像素独立性假设上并忽略了它们， 密．度囲的显部枏关性未被考虑？ 另外， 其投有将输人图像的全緣计数错误考虑进去， 也与用：来衡量准确度的评估指标投有茸镔关系． 为此， 我们考虑在损失函数中加入错构相似性指数（ ＳＳ Ｊ Ｍ） 和关于回归人数的损失函数． 结构相似性指数根摒鳥部模式计？算两个酉像之间的相似性ｓ 可以比较生成人群密度Ｍ 与真值之间的相似性． 关于回归人数的损朱ａ数直接衡量带计人群数惫与寫值之向的差异？ 通过改进损失函数， 网络将＆成适合输人图像整体密度水平的特征， 这有助于产生更准确的密度值．基于上述讨论， 我们提出了一种新型人群计数的？ｆｊ ｌｆｓｊ  ： ＦＦ－ ＣＡＭ （ Ｆ ｒ ｏ ｎｔ：ｅ ｉｉｄ－ ｂａ ｃｌ ｓ ｅｎ ｄＦ ｕｓｉ ｏｎｎ ｅｔｗｏ ｒ ｋｔｈ ｒ ｏｕｇ ｈＣｈａ ｎ ｎ ｅ ｌ－ Ａ ｔｔ ｅｎ ｔ ｉｏ ｎＭ＾ ｅ ｋａ ｎ ｉｓ ｍ ） ？＾ ＨＩ１｜ｆ ｆ示？ 我们提出的方法在Ｕ ＣＦ＿Ｃ Ｃ＿５ ０ 数摒集中的测试结果优于Ｉ前巖先进的方法． 筒而言之， 我们的贡献包括以下三个方面．－（ １ ） 我们融合了主Ｍ 络低层和高的特征＿？网络主干Ｒ 有一列且ａ 有一个大小时卷积内核， 减去了额外的分１ 支■及参黎：量？ 不：同级别的卷积＿ 不仅包含不同的裔义信息＊ 还包含不同的比例特征信息．它们的融合可以适应于透视效应引起的尺度变化， 并且共拿更多特征， 饲时可以排除背景干扰． 它还具有更少的参数和计算量《（ ２， 我们引人了ＳＥ 模块［ １４ ］ 作为Ｆ Ｆ－ Ｃ Ａ Ｍ 的通道注意Ｊｊ 模块． 避免直接连接造成的损失．， 通道注：意力＂檩暴有以对纖合的不同尺鹰大小的人头区域的褚征进行有选择性的加强， 由此提高网络的表达能力．另一方面它可以考虑通道的权黨， 进行脅征熏：新揆准以捕莸空． 间枏关牲， 使臻终生成的人群密度图呈规最近傳蒙间的平搰过渡？（Ｊ０ 我们利Ｈ 一組扩张卷积作为网络的末端． 其在增太了感受野的词时保证较少的参数量，， 包含了更洋细的空间鲁息和全局瘡息， Ｗ 以生成高质量的人群密度图， 此外， 我们将ＳＳ ＩＭ【结构相似性． ）和回归入数加人到损失囷数中［７］． Ｓ Ｓ／Ｍ 可用宁估计人群密度图和真值的局部一致性ｓＳ 于回归人数的损失涵数则衡量估计人群数量与真值之间的差异． 综合？后的损失函数有以望：好地衡量训练的估计值与真实值间的差异＾产＆更准确的密度值， 提高训练准确度．．贳ａ．网络＿结梅围（ 网＿输入搶是原觀的細翁人群ａ 像；■ ｊｇ嬌嵐像依次鱗入至不同酸卷嗔层？ 慰合臀ｓｉ本３ 機特征ｆｌＪ 等卸ＪＳ風不同坶卷観？组脅＿ 出的眷征ｍ■慕姻禽层的眷征图融脅ｆｉｓ爾》）Ｓ 再雜Ａ 通道１￡意：办樓象， 鏃貧＿栽扩张暑稱模輿選梅痛囊轉猶人群密度图）２ 相关工作在图像和视频中对人群迸行计数已经有了很多、年的发展， 因为它在视频监控和公共安全中发挥着重要作用， 故而受到计算机视觉领域中人们的长斯关注？ 偉是由于遮挡， 透视失真＊ 茂度变化和背景干扰， 计数糈度的提禽是一个枏当大的挑战？ａ 前人群场景计数的研究大致有以下一些方法．２ ． １ 传统的方法２ ． １ ．  １ 基手狻测隨方機早期的工作主要是检测单个个体弁计算教量．２ ０ １ ２ 年， Ｄｏｌ ｋｒ 等人？使用类似移动窗Ｑ 的探测器來探铡人体并计算野像中人的数量． Ｈ ａ ａｒ 小波分鸯器０ ６］ 用于从检测到的人体中提取低级特征， 而文献［ １ 幻中则用Ｈ ＯＧ （ 直方圓定向梯度，） 分类器来提取特征＿Ｆ ｅ ｌ ｚｅ ｎｓ２ｗａ ｌ ｂ 等人［１ Ｓ］ ．尝．貧微娜身体的一些输定部分而不是整体， 因为人体在拥挤的埭景中总是张宇倩等： ＦＦ ＣＡ Ｍ ： 基于通道注２ 期 意机制前后端融合 的人 群计数 ３ ０ ７被遮挡． 但是所有这些早期工作在非常拥挤的场景中都得到了较差的结果．２ ． １ ． ２ 基于回归的方法随着场景变得越来越拥挤， 基于检测的方法存在很大限制， 因此基于回归的方法被提出． Ｃ ｈａ ｎ 等人［１ ９］ 使用前景和纹理特征生成低级信息， 并在学习了人群与提取的特征相对应的关系后计算出数量．随后在２ ０ １ ３ 年，Ｉｄ ｒ ｅ ｅ ｓ 等人［２］ 引人傅立叶分析和Ｓ ＩＦ Ｔ （ 尺度不变的特征变换） 来提取文献［ １ ９ ］ 中提出的特征． 但是一些显著的特征很容易被忽视， 从而导致更大的偏差． 在文献［ ２ ０ ］ 中， 局部区域中的特征与其密度图之间的线性映射用来整合显著性信息．２ ０ １ ５ 年， 由于理想线性映射增益的问题， Ｐ ｈａ ｍ 等人［ ２ １ ］ 建议通过随机森林回归来学习非线性映射而不是线性映射．２ ． ２ 基于深度学习的方法随着深度学习的快速发展， 卷积神经网络在人群计数领域显示出了很大的优势．２ ０ １ ５ 年， Ｚ ｈ ａ ｎ ｇ 等人［ ２ ２ ］ 训练卷积神经网络对人群密度图进行回归． 他们使用密度和透视信息重新得到图像， 然后使用它们微调训练好的网络并预测密度图． 然而， 其适用性受到透视图的要求和每个测试场景微调的限制． ２ ０ １ ６ 年， Ｚ ｈ ａ ｎｇ 等人［ ９ ］ 使用多尺度卷积神经网络架构来解决人群场景中的大规模变化， 并使用１ Ｘ １ 卷积操作融合来自每个特定尺寸的卷积网络训练的特征图以回归得到密度图． 它解决了尺度变化导致的问题． 在此之后， 多列［８］ 或多尺度［ ６ ’ ｎ ’ １ ７ ］ 网络架构经常被用于人群计数问题． 具体而言， Ｓ ａ ｍ 等人［ ７ ］ 引人了一个分类器， 根据密集级别选择指定的训练列． Ｃａ ｏ 等人［８］ 使用尺度融合模块作为编码器来提取不同尺度的特征， 并使用一组转置的卷积作为解码器来生成高质量的密度图， 还提出了局部模式一致性损失函数． Ｚ ｈａ ｎ ｇ 等人［ １ １ ］ 结合了多层的特征图来适应行人规模和视角的变化， 引人了多任务损失， 增加了相对人头数量损失函数． 但是一些工作则建议用相同大小的卷积核堆替换不同的卷积核． Ｕ 等人［１ ° ］ 验证了使用多列卷积的有效性可能并不突出， 这种分支结构中的每一列学到的都是几乎相同的特征． 因此它使用Ｖ Ｇ Ｇ１ ６ 作为基线， 并在后端引人了扩张层， 得到了很大的改进．此外， 文献［ １ ２ １ ３ ］ 在训练过程中增加了额外的信息以排除背景干扰． Ｓ ｈｉ 等人［ １ ２ ］ 将透视信息整合到人群密度图中， 提供有关图像中人物尺度变化的附加信息， 这十分有效地提高了小尺寸的人群区域的密度回归的精度． Ｌ ｍ 等人［ １ ３ ］ 提出了一项自监督的任务以改进人群计数网络的训练， 在训练时利用未标记的人群图像以显著提高效果． 它可以生成子图像的排名， 其可以用于训练网络来估计一个图像是否包含比另一个图像更多的人． 但额外的信息或任务可能会导致更多的资源和计算量的需求．在２ ０ １ ９ 年， 更多解决方案被提出． Ｗａ ｎ ｇ 等人［ ２ ３ ］ 构建了一个大尺度、多样化的合成人群计数数据集来预先训练他们设计的空间全卷积网络． Ｌ ｍ等人［ ２ ４ ］ 引人了端到端架构， 该架构结合了使用多个大小的感受域得到的特征， 并学习在每个图像位置的每个特征的权重． Ｌ ｍ 等人［ ２ ５ ］ 将检测到的模糊的图像区域放大到高分辨率以进行重新训练， 并添加了本地化任务． 几乎所有方法都添加了额外的信息或任务来增强单一人群计数的任务．３ 主要方法论述许多先前的方法引人了多列融合的网络结构，以减少由于透视效应导致的头部尺度变化引起的误差． 它们可以融合各种不同尺寸的卷积核或不同列的各种感受野的特征图． 但是不同大小的内核可能会导致更多的参数量和计算量， 而多列架构可能使网络更复杂． 受文献［ １ １ ］ 的启发， 我们提出基于单一大小卷积核的单列网络， 通过通道注意机制融合低层和高层的特征图． 该网络对于头部尺度变化和背景噪声将更具鲁棒性， 同时保持结构的简洁． 此外，我们网络最后的部分利用扩张卷积模块， 并且将基于Ｓ Ｓ ＪＭ 和基于回归人数的两个损失函数添加到综合损失函数中．我们提出的网络结构模型如图１ 所示， 该模型被称为Ｆ Ｆ Ｃ ＡＭ （ Ｆ ｒ ｏ ｎ ｔ ｅ ｎｄ ｂ ａｃ ｋ ｅｎ ｄＦ ｕｓ ｉｏ ｎｎ ｅ ｔ ｗ ｏ ｒ ｋｔｈ ｒ ｏ ｕｇｈＣｈ ａ ｎｎ ｅ ｌ Ａ ｔｔ ｅ ｎｔ ｉ ｏ ｎＭ ｅ ｃｈ ａ ｎｉ ｓｍ ） ． 我们将从四个方面详细阐述该模型．３ ． １ 低层高层融合在人群场景的采集过程中， 由于同一场景下人与摄像机的距离不同， 会因为透视效应导致人头大小不同， 也就是存在尺度多样性的问题． 为了提取不同尺度大小的特征， 解决尺度多样性带来的问题， 并排除背景干扰， 我们提出了低层高层特征图融合的方法．如图１ 所亦， 我们网络的主干米用Ｖ ＧＧ １ ６ 结３？ ８ 计導机攀报 ：＿１苹构． 它具有强大的特征表示能力：旦易于连接． 我们运用ＶＧ Ｇ ｌ ｆｉ 的前１ ３ 虜来提取多Ｍ 度的特征商？ 组成ＦＦ ＣＡＭ 的所有卷択核大小均为３／ ３（ 除一个３ ／ Ｓ 卷积之前的１ ／ １ 卷积用于降低计算、复．杂度和最后一层１ｙ１ 卷积层用Ｔ 代替全卷？积层外） ， 多个３ ／ 含的卷积核堆叠与太，Ｒ 度的卷积核具有相同的效果？ 例如２ 个３ ／ Ｓ 的卷积孩堆叠的效果相当于１ 个５ ／ ５ 的卷积核个３ 卷积核则相当于１ 个７ ／ ７ 的卷积核， 以此＇类推＞ 因此其可以学习到不同茂度的悻征，伹计算量要少得多，并且可以构建萬徕的网绪网络中不同级别的特征层不仅包含不同级别的语义倩惠＊ 还包含不同的比例特征ｆ 息．？ 低虜有以提取细节边缘思案、， 这对于在人群密度掲中回归拥塞Ｋ 域的僅１｜有童＿翥．夂． ＿ 它无法捕捉细节＊ 这可能会导致杂乱的背景干扰， 从而导致不。正确的回高层删可以逸择性地莸得有用的语义僙息， 西此网络可以将人群与貲＃ 噪声＆ 分开来．鉴于它们的特性， 我们通过通？ 注意模块融合低层和高葛的特征厨， 以从主干Ｍ 络中获取并截合足够多的特征．如面１ 所示， 我们使用来自Ｖ ＧＧ １ ６ 主平网络中的 Ｃｃ ｍ ｖ ｌ？２ ， Ｃｏ：ｎｖ２＿２—ＣＪｏ ｉｗ ４＿３ 和’Ｑｍｗ Ｓ ＿ ，３ 层的特征图， 其中卷积层参数设置与Ｖ Ｇ Ｇ －１ ６ 相同． 这些不嫌层级特征图的输人有助于提取多尺度的特征． 通过梟大池化层这些输ｍ特怔图对应的大小分别为原始输入图像的ｉ ／ ２ １／４ ，１／８ 和１ ／ Ｍ？ 首先使用爆近． 鑛：？ 值财Ｃｉｍｖ ４ ？ａ 输出的特征图进行上采样＊ 并与Ｃｆｅｎ ｖＵ 输出的特征菌融合ｓ 苒将融含后的特征圈输人逋道注意力模块，调整Ｗ屋不同特征倩息融合时的权重， 提．高Ｗ 络的表征龍力＊ 隨后， Ｃ？ ｎｖ ！ｉ ＿３ 输出的特征画和Ｃｏ ｎｖｉ０＿２输出的特征图＇的融貪搡作类似ｆＣｏｎ ￥４＾ ３： ：和Ｃ ｏｎ ｖＨ 融合得到的特征囹同样输人通遵注意力模块． 经通道注意力模块处理后的特征画输人一组卷ｆＵ ，ｔ ； ｆ Ｃｏｎ ｖｌＪＣ １ Ｙ ＳＩ２ Ｃｏ ｎ？Ｓ／／ ５ Ｘ２ ，ｆｆ ｆＣｏ ｎｖＳＸ３ Ｘ 忘１ ２．  ３ＸＳ 卷积之前的１Ｘ１ 卷我甩于降低计雰：复杂度？ 我们将该组卷积鏡输出的聲征團定义为Ｇｏｎ ｖｌＳ 层？其＿舞被上．蒙样：并与Ｇｍｗ ｌ—２ 的输出論脅Ｖ然后以相伺的言式输Ａ到通道柱意力獏：块＜最踌； 输出的特征图通过扩张卷积模块后生成人群密＇度圈．。接下来我们将具体介绍通道注意方模块和扩张卷积模块， 具体结构如图２ 和图３． ．通道注意力模块／ ＾－ ＣＯＮＣＡＴ圓Ｉ 通遽３意力模块的黎构ｗｇｌ 中（ＣＯ Ｎ ＣＡＴ 表示霄遍督＿ 图職合Ｖ得綱： 空间華翁为Ａ ／？ｆ爵眷征動扩张卷积模块＿ ｓ 扩张卷藏模块的绪梅ｗ ｅｎ中扩张卷観：筆１ 费？参繫分－ 表章＿興機大小和：爾擊霉＞３ ． ２ 通道注意力模块ｆｔ意力模型现在＆经成为神经网络中的一个重藝修ｔｉ肩本同的颡域中被研究和．座用． 文献Ｅ１ Ｃ１介绺了ＳＥ 模块／它模拟了卷积特征图的通道之间的梅苴依赖性， 从而提高了随络的表怔能力．大：多数先前的工作直接组合来自不同卷积层的特征图？ 没有考虑融合时它们各自的权重． 另一方面， 亩于空间信息的不足４ 卷积Ｍ 的通道总是被忽略． ３Ｅ 模块可以进行特征重新校准， 选择性地强调有用倩息． ， 并且抑制不太有用的特征＞ 网祭可以学习使用全简誉息？ 此外， 它还有助于捕靡空间相关性，张宇倩等： ＦＦ ＣＡ Ｍ ： 基于通道注２ 期 意机制前后端融合 的人 群计数 ３ ０ ９而无需额外的监督． 最后一点， 它在计算上很轻巧．有如此多的好处， 它却只会略微增加模型复杂性和计算负担．此外， Ｓ Ｅ 模块已被证明可以改善网络性能， 并可以通过整个网络进行累积［１ ４］． 因此， 我们将Ｓ Ｅ 块转换为我们的通道注意力模块． 具体结构如图２ 所示． 通道注意力模块包括三个过程： 挤压Ｓ 、激励Ｅ和重新缩放ｉ ？ ．首先， 对两个卷积层融合后输出的特征图Ｎ 进行挤压操作Ｓ ． 挤压操作在空间维度上聚合特征图，并通过全局平均池化层来生成通道统计量． 给定特征图的空间维数为Ａ Ｘ ｗ Ｘ ｃ， 挤压操作后变为Ｉ Ｘ Ｉ Ｘ ｃ ． 每一个通道的特征图队（ ：ｒ ＝ ｌ，２，…，ｃ ） 对应的通道描述符由以下公式计算：１ｈｚ ｖＤＸ＝Ｓ （ ＮＸ ）＝（ １ ）其中， ＆ ０＇，＿ ； ） 表示特征图上第ｚ 行第＿； 列的元素的值．特征图Ｎ 通过挤压操作后生成了通道描述符Ｄ＝ ｛ Ｄｚ ，： ｒ＝ｌ，２，…，ｃ ｝ ． 通道描述符嵌人了通道特征响应的全局分布， 因此其较低层能够利用全局感受野的信息．然后， 我们将Ｄ 送人激励操作Ｅ ， 产生提取描述符Ｔ． 它由基于非线性的两个完全连接层、一个Ｒ ｅ ｌ ｕ 函数和一个Ｓｉ ｇｍ ｏ ｉ ｄ 函数组成． 将其表示为Ｔ＝ Ｅ （ Ｄ ； Ｆ Ｃ ）＝ａ （ ｇ （ Ｄ ； Ｆ Ｃ ） ）＝ （ｔ （ ＦＣ ２ ５ （ ＦＣ １ Ｄ） ）（ ２ ）其中， 是具有缩小率々的降维层， 厂〇是维数增加层ｊ 是一个超参数， 它可以改变模型中块的容量和计算成本． 根据文献［ １ ４ ］ ， 我们设置Ａ＝ １ ６ ， 以实现准确性和复杂性之间的良好平衡． ５ 是Ｒｅ ｌ ｕ 函数， ＾ 是Ｓ ｇｍｍ ｄ 函数． 两个完全连接层可以通过减小维度来限制模型复杂性， 极大地减少了参数量和计算量． 并且其能更多地学习通道之间的非线性相互作用， 可以更好地拟合通道间复杂的相关性， 提高泛化性． 此外， 与ｏ ｎ ｅ ｈ ｏ ｔ 激活函数相反， Ｓｉ ｇ ｍｏ ｉ ｄ激活函数强调多个通道， 故整个激励操作能完全捕获通道依赖性并控制每个通道的激励， 获得〇？ １ 之间归一化的权重．最后， 通道注意力模块的输人ＪＶ 由提取描述符了重新加权：Ｆ ＝ Ｒ （ Ｎ ；Ｔ ）＝Ｔ． Ｎ（ ３ ）其中， ｉ ？ 表示输人特征图Ｎ 和提取描述符Ｔ 之间的通道乘法， 即通过乘法将Ｔ 逐通道的权重加权到Ｎ中对应的每个通道特征图的每个特征点上， 完成在通道维度上的对原始特征的重标定． 模块的最终输出Ｆ 可以直接被送人下一层．３ ． ３ 扩张卷积模块在我们的网络中， 输人的人群图像由最大池化层下采样再经上采样融合之后， 生成的特征图为原始输人的１ ／ ２ ． 特征图在经过池化层后， 虽然在控制过拟合同时保持了不变性， 但降低了空间分辨率， 丢失了部分空间信息， 产生的密度图质量不够高．Ｕ 等人［ １° ］ 证明了扩张卷积可以比使用卷积、池化加反卷积的方案更好地保持特征映射的分辨率．虽然反卷积层可以减轻信息的丢失， 但会增加额外的复杂性， 且会导致执行延迟． 基于此， 我们在网络的末端利用扩张卷积层． 扩张卷积层扩大了感受野，而不增加参数或计算量． 同时， 经过扩张卷积的输出可以包含更详细的空间信息和全局信息， 不会降低空间分辨率． 所以， 我们运用扩张卷积可以生成高质量的人群密度图， 同时提高人群估计准确率．我们在网络的末端运用扩张卷积， 如图３ 表示网络末端的扩张卷积模块． 它由具有扩张率为２ 的四层扩张卷积层和一层１ Ｘ １ 的卷积层组成． 每个扩张卷积层的通道数都不同， 每一层后都会通过批量标准化层和Ｒ ｅ ｌ ｕ 层． １ Ｘ １ 卷积层用来输出最终的人群密度图， 相较于全连接层其参数量更少， 计算量更小． 最后， 网络输出高分辨率的人群密度图．３ ． ４ 综合损失函数主流工作将像素上的欧几里德损失设置为训练过程中的损失函数． 在人群场景中， 高密度区域的局部模式和纹理特征与其他区域（ 低密度区域或背景）大不相同， 但欧几里德损失建立在像素独立性假设上并忽略了它们， 密度图的局部相关性未被考虑． 此外， 该损失函数与用来衡量准确度的ＭＡ Ｅ 及Ｍ ＳＥ没有直接关系， 也没有将输人图像的全局计数错误考虑进去． 为了解决上述问题， 我们将基于结构相似性指数（ Ｓ Ｓ ＪＭ ） 的损失函数、基于回归人数的损失函数与欧几里德损失相结合作为我们的最终损失函数， 该函数可用于估计人群密度图和真值的局部一致性， 并估计人群数量与真实人数之间的差异， 从而使综合后的损失函数更好地表示训练产生的估计值与真实值间的差异， 以生成高质量的人群密度图， 提高训练准确度．３ ． ４ ． １ 欧几里德损失函数欧几里德损失用于在像素级别上衡量输出密度图与相应真值之间的差异， 其定义如下：Ｌｚ （ ？）＝（Ａ ）ｉ １３ １ ０ 计算机学报 ２ ０ ２ １年其中， ０ 表示网络训练时的一组参数， Ｎ 是训练样本的数量表示具有参数０ 的网络输人图像八后输出的估计密度图， 而Ａ 是对应的真值密度图．３ ． ４ ． ２ 基于Ｓ Ｓ ＪＭ 的损失函数Ｓ Ｓ ＪＭ 是一种广泛用于图像质量评估领域的指标． 它根据局部模式（ 包括均值， 方差和协方差） 计算两个图像之间的相似性． Ｓ Ｓ ＪＭ 值的取值范围是［ １ ， １ ］ ． 两个图像越相似， 其值越大． 当两个图像相同时， 它等于１ ．受Ｓ Ａ Ｎ ｅ ｔ［７］ 启发， 我们将Ｓ Ｓ ＪＭ 加人损失函数． 首先， 使用标准偏差为１ ． ５ 的１ １ Ｘ １ １ 归一化高斯核来估计局部统计量． 然后， 权重由Ｗ ＝｛Ｗ （ ｒ ） ｜／？ £ 只， 只＝｛ （５，５ ） ，？， （ ５，５ ） ｝ ｝ 定义， 其中？＂ 为中心，ｉ ？ 包含所有位置内核． 因此， 对于每个位置ｈ计算密度图＆ 和相应的真值Ｄ 的局部统计量．首先计算＆ 的局部均值和方差：ｆ＾ｄ（ ｔ Ｆｄ）＝２Ｗ （ ｒＦｄ＇＞＇ Ｆ （ ｔ Ｆｄ＋ ｒＦｄ）（ ５ ）（ ＾，）＝２ｗ （ ｒＦｄ＇）－ＬＦ （ ｔ Ｆｄ＋ ｒＦｄ）ｆ＾ｄ（．ｔ Ｆｄ） ｙｒｆＲＦｄ， 、（ ６ ）其次， 是Ｄ 的局部均值和方差ＹｊＷ （ ｒＤ ）＇ Ｆ （ ｔ Ｄ ＋ ｒＤ ）（ ７ ）ｒＤ＾ ＲＤ二ＸＷ （ ｒ Ｄ ）？ ［Ｆ Ｇ Ｄ ＋ ｒ Ｄ ） ＂Ｄ （ ｒ Ｄ ） ］２ （ ８ ）ｒＤ＾ ＲＤ由此我们可以计算＾ 和Ｄ 间的局部协方差（＾ ＦｄＤ＾Ｗ （ ｒ ）？［ Ｆ （ ｒ  ＋ｒ ）ｆＪ－ Ｆｄ） ］＊ｒ ＾： Ｒ［Ｙ （ ｒ ＋ｒ ） ＂ Ｄ （ ｒ Ｄ ） ］（ ９ ）根据这些指标， Ｓ Ｓ ＪＭ 逐点计算如下：Ｓ Ｓ ＩＭ ＝（ ２／ＬＬ Ｆｄ／ＬＬ Ｄ ＋ Ｑ１ ） （ ２（ｙ ＦｄＤ ＋ Ｑ２ ）（＿ｆ／Ｆｄ ＋ｆ／Ｄ＋ Ｑ ｉ ） （＿ ａ２Ｆｄ ＋ （Ｊ２ｄ＋Ｑ２ ）（ １ ０ ）其中， ０ ： 和〇２ 是随机的非常小的常数， 以避免被零除， 我们依照文献［ ７ ］ 的设置来给它们赋值．最后， 基于Ｓ Ｓ ＪＭ 的损失函数定义为Ｌｓ＝ｌ＾＾ Ｓ Ｓ ＩＭ （ ｔ ）（ １ １ ）其中， Ｍ 是密度图中的像素总数．３ ． ４ ． ３ 基于回归人数的损失函数大多数基于密度估计的计数算法通过测量预测密度图和地面实况密度图之间的每像素误差来优化其计数模型． 然而， 这种方法与用来衡量准确度的评估指标ＭＡ Ｅ 和ＭＳ Ｅ 没有直接关系， 也没有将输人图像的全局计数错误考虑进去． 为此， 我们新增了另一个关于回归人数的损失函数， 它直接衡量估计人群数量与真实人数之间的差异． 通过增加该损失函数， 网络将生成适合输人图像的整体密度水平的特征， 这有助于产生更准确的密度值． 其定义如下：Ｌｃ＝｜ ｜Ｃ Ｃ｜ ｜Ｚ（ １ ２ ）其中上和Ｃ 分别是训练得到的人群数量和真实的人群数量．３ ． ４ ． ４ 综合损失函数将基于Ｓ Ｓ ＪＭ 的损失函数和基于回归人数的损失函数加人到训练过程中， 最终的综合损失函数表亦如下：Ｌ＝Ｌ２ ￣＼￣ａ Ｌ ｃ ＋／？ＬＳ（ １ ３ ）其中， 《和／？ 分别是基于回归人数的损失函数和基于Ｓ Ｓ ＪＭ 的损失函数的权重， 用作三个函数的平衡． 我们根据文献［ ７ ］ 的经验设定／？＝０ ． ０ ０ １， 在实验验证后设定《＝１， 具体实验见第４ ．  ７ 节．４ 实验我们的实验是在４ 块ＴＩ Ｔ Ａ ＮＸｐＧ ＰＵ 上进行的． 该网络基于Ｐ ｙｔ ｏ ｒ ｃ ｈ 框架， 我们使用Ａ ｄａ ｍ 优化器来优化参数并将原始学习速率设置为ｌ ｅ ５ ． 参数通过高斯分布随机初始化， 平均值为零， 标准差为〇． ０ １ ． 除了输出层之外， 我们还在每个卷积层之后使用批量标准化层和Ｒ ｅ ｌ ｕ 层， 以提高训练速度并有效地避免梯度的消失和爆炸．４ ． １ 真值的生成现有的数据集一般都给定了原始图像以及其对应的人群在图像中的坐标位置及总人数． 和文献［ ９ ］一样， 我们同样用高斯自适应核来生成密度图的真值． 高斯自适应核的定义如下：ＮＦ （ ｘ ）—８（ ｘ Ｘｉ） Ｘ Ｇａ （ ｘ ） ｙ ａｌ—＾ｄ ｌ（ １ ４ ）ｉ  １其中， 在真值５ 中， 对于其中任意位置ｚ 和每一个人头目标， ｉ ＝ｌ，２，…，ＪＶ ， 定义是标准差为Ａ 的高斯核， 而４ 是＆ 个最近邻的平均距离． 根据文献［ ９ ］ 的经验， 我们设置／？ ＝０ ． ３， 々＝３ ． 对于每幅输人的人群场景图像， 高斯核可将其中所有标注的人头模糊化， 生成人群密度图的真值．４ ． ２ 评估指标大多数现有工作使用两个度量指标来衡量人群计数的准确性， 平均绝对误差（ ＭＡ Ｅ ） 和均方误差（ ＭＳＥ ） ． ＭＡ Ｅ 表示估计的准确性， 而ＭＳＥ 反映估计的鲁棒性． 定义如下：１ＮＭＡ Ｅ ＝ｊｊ Ｔｊｌ ＾ Ａ ｜（ １ ５ ）ｉ  １ＭＳＥ＝Ｊ ｊ＾ｆ＾＼Ｆｄｔ Ｄｔ＼２（ １ ６ ）稱類臀；ＦＲ ｅ辑基于通２： 道麵机ｉｔ賴增爾會的人輕賴 ３１１ 期其中＊ Ｎ 是恻试图像的数量， Ａ 是第＾ 个图像中的暮实人群数是第ｚ 个图像中的估计人群数．４．３ 在ＵＣＦ＿ＣＣ＿ ５ ０ 数据集上的实验Ｉ ｄｒ ｅ ｅ ｓ 等人见提出的Ｕ Ｃ Ｆ＿ Ｃ Ｃ＿Ｓ 〇数据集包括５ 〇个具有不同视角和分携率的图像， 这是一个非常拥挤的数据集， 平均人数达到＇了Ｉ ２缒人＿＊最多的一幅图片中有４ Ｓ ４Ｓ 人？ 由于包含各种人群场景ｉ 图镩总数有限， 这是一个非常具有挑战性的数据集． 因此， 我们按照文就［２］ 中的标准设置执行Ｓ 倍交叉验证， 最大程度地利用榉本： 将数据集随机均分成五等份， 以其中的四份作为训＇练集， 剩下的一份作为测试集， 共进行五次训练和测试， 五次实验的结果如表１所示－ 最后再取误差指标的平均值作为实验的最？终结舉．我们将结果辱最先进的方法迸行比较， ＿２ 中列： 出了Ｍ４ Ｆ 和ＭＳＥ 比较的離果＾ 我们的ＦＦ－ＣＡＭ的估计误差ＭＡ Ｅ 和ＭＳ￡在所有模型中鸯最小的，这表明我们樽到了对Ｕ ＣＦ＿ ＣＣ＿ ５ 〇数据集计数的晕隹估计， 相比于激果最好的ｐ°］， 我们的ＭＡ Ｅ提高了表１：ＵＣ Ｆ ＣＸＬ５ ０ 数据集５ 倍交叉验证结果＿姚＿ 參号ＭＡ：ｇＭＳ Ｋ￣１３ Ｓ ３？Ｓ ５ｆｆ９ ． ９ ９２１ ４ ４ ． ３ｆ３Ｊ？ ．２ ５３２ ９ ３０Ｓｓｔｆ ａ ｓ： ４ｍ ｔ ．ｉ ｓｓ ｉ ｒ ．ｉ？５１ ５ ５ ． ５ ４１ ９ ２ ， ５ １＃ｉｔ２ ４ ６． ７６ ４３ ２ ２ ． １ ７ ２表２ＰＣ： Ｆ＿ＣＣ ５０ 数据集的估计误差ＭＡＥＭＭＭＣＮＮ［ ９ ］３ ７ ７．  ６ ５ ０ ９ ． １Ｃ ＭＴＬ［ ８ ］３ ２ ２． ８ ３ ９ ７ ． ９Ｓ ｗｉ ｔ ｃｈ－ＣＮＮ［ ７ ］３ １ ８．  １ ４ ３ ９ ． ２Ｓ ａＣＮ Ｎ［１ １］３ １ ４．  ９ ４ ２ ４ ． ８Ｃ ＳＲＮｅ ｔ［ １ ０ ］２ ６ ６．  １ ３ ９ ７ ． ５ＦＦ－ＣＡＭ ２ ４ ６ ． ８ ３ ２ ２ ． ２４Ｊ％ ， ＭＳＥ提賓了 ３ ．８该：结果验钲了ＦＦ ＣＡＭ．型的准确性和脅棒性？训练好的模遽在ＵＣ Ｆ＿ＱＣＪ ５０ 数据集上得到的部分密度估计阌如？４ 所示？ 由＿４ 窗以着出． 我们國４ＦＦ ＣＡＭ 鎮藤辑載猶繼上徵資聽：对ｆｔ密度厲（顰１ 行海，摩翁圈像＾＆ ，４翁錚财海ｉ９ ｆ 〇和； 第？ 行； ｉ密康摘的蛋像３ ：行愈Ｃ驟Ｈｅ ｔ［ｗ ］ 綠擔＃巍＿ ＿泰估计图痛離＆人巍金别为ｔＩＭ 、３ ４ ３ ０ 和１ １ ８ ５ ； 第４ 行为Ｆ Ｆ－ Ｃ Ａ Ｍ 得到的密度估计图， 预测总人数分别为２ ００ ６ 、２ ６Ｗ 和１ ０２ ２ ）３ １ ２ 计導机攀报 ：＿１苹的模型对极度拥挤的塚景能进行很好的预测并生成分布较齿准确的密度图， 且预测人数更接近真实人数， 好于Ｃ ＳＲｌ＾ｅ ｔ［１° ］ 模型． 由这些图可以看扭，第二张由于透视存．在人头，Ｒ 度大小不一时问题， 面得到的密度画，很好地解决了翁间，题： ， ＿不；麗人头太小的僮置生成的密疏程度不一． 第三张具有干扰的楼房背景，》而得到的密度圈很好地排除了干扰， 未将其统计人人数．４． ４ 在Ｓ ｈ ａｎｇ ｈａ ｉ Ｔ ｅｃｈ 数据集上的实验Ｓｈ ａ ｉｒｇｌｉ ａ ｉＴ ｅ ｃ ｌｉ 数据集是一个多＃ 且拥挤的数磨集， 由Ｚｈ ａ ｎ ｇ 等人？ 提出？ 该数摒集包括Ｐａ ｒ ｔＡ和ＰａｒｔＢ 两部分， ：Ｐａ ｒ ｔＡ 盖从网上收集而来？ 共有指２ 张图片；Ｐａｒｔ Ｂ． 则＊从上海的拥挤繁忙的街道上收集而：来， 共有７ １ ６ 张？片． 两个部分都是十分拥挤的数据集， ＰａｒｔＡ 平均人数达＇到了 ３ ０ １ 人， 最多的一幅面片中有３ １ ２ ９ 人． 而Ｐａ ｒｔＢ． 相对不那么拥挤， 平均人巍： 为１ Ｍ 人（ ＿｜ ＃ 的一＿： 图片中有３ 雜人． 在Ｐｅｎ ｔ Ａ 数据集中＊ ３ ００ 张圈片用来训练， 剩下的１ ８ ２ 张则用来测试． Ｐ ａｒｔＢ 数据集里的４ ０ ０ 张图片用来训练，３ １ ６ 张甩ｆ测试．表３ 中列出了我们将估计结果的误差ＭＡＥ 和与．最先进的方法进行比较的结果． 从表中可以看出？ 我们的方法在ＰａｒｔＢ 数据集中测试的结果优宁靠他的方法．． ＭＡ Ｅ 和ＭＳＥ 分别提高了．２？  §： ％ 和１ ，这说明我们的方法在ＰａｒｔＢ 数据集上表现得很好， 怔明了Ｆ Ｆ－ ＣＡＭ 的优趨性？ 同时其在；ＰａｒｔＡ 数据集上的ＭＳＥ 提髙了４ ．  ５％ ？ 说明模型敗鲁棒性较强？ 但ＭＡＥ 则略差于ＣＳ ＲＮ ｅ ｔ＿， 这嚴映出我们的方法可能讀寒更多的训缘和实验来掇高其预测的准猶性．表３Ｓｈ ａｎｇｈａ ｉＴｅ ｃｈ 数据集的估计误差施ＭＳＥＭＣＮＮ［ ９ ］１ １ ０ ． ２Ｓｗｉｔ ｃｈ－ＣＮＮ［７］ ９ ０ ． ４Ｓａ ＣＮＮ。１ ］８ ６ ． ８ＣＳＲＮ ｅｔ［１ ０］６ ８ ． ２ＦＦ－ＣＡＭ ７ １ ． ０１ １ ５． ０１ ０ ． ６１ ６ ． ０１０ ９ ． ８１ ０ ． ３１ ５． ８图５ 和图６ 展示了训练好的模型在Ｓｈａ ｎｇｈａ ｉＴｅｃｈ数据集上估计得到的部分密度估计图． 可以看出， 我们的模型在这两个部分的数据集上都有较好的表现，Ｆ Ｆ－ＣＡＭ 模型在Ｓｈ ａｎ ｇｈ ａ ｉＴ ｅｃ ｈ Ａ 数据集上的实验对比密度图（ 第１ 行为原始图像， 总人数分别为２ ３ ９ 、１ ０ ０ ５ 和１ １ ７ ４； 第２ 行为密度图的真值； 第３ 行为ＣＳＲ Ｎｅｔ「Ｗ 得到的密度估计图， 预测总人数分别为３ ７ ９ 、７ ４ １ 和１ ４ ４ ８； 第４ 行为ＦＦ －ＣＡ Ｍ 得到的密度估计图， 预测总人数分别为３ ４ ６ 、８ ７ ０ 和１ ４ ０ ２ ）稱類臀；ＦＲ ｅ辑基于通２： 道麵机ｉｔ賴增爾會的人輕賴 ３１３ 期國： ＩＦＫＣ ５ ＡＭ 棋＿Ｓ ｈａ ｎｆｅ ｂａ ｉＴｅｅｈ Ｂ＿：爾棄上的实暴爾比齊萬固ｔ寒１ 有为靜飨：图＃ｓ 总Ａ 築：分爾为２ ８ 、１ ３ ０ 和４ ６ ７： 第２ 行为密度囝的真值； 第３ 行为Ｃ ＳＲＮｅ ｔ「＂ 得到的密度估计图． 预测总人数分别为２ ＜ｋＩ ｌｆ 和４ｉＳ： 第 ４： ｆｆ食得倒的＿估计阌， ＿獅［ 嚴人数＃細；为妗、１就和輸ｉｆ生成了分布较为准确的密．食：图？ｉｔ测的结果東接近于真揸ｉｆｔ静論率也鞔會？ 比樣图５ 和图６ ，Ｓｈａｎ：ｇＭＴｅ ｃ ：ｈＰａ ｒｔＡ 数据集极度拥挤， 而Ｓ ｈａｎ ｇｈ ａＥ￡％ｃ ｈＰ ａｒ ｔ Ｂ 数据策则栩对稀琦， 这说明在板度拥挤的数据．集上我们的网络还：需要更多的图片进行训练以提高獏型的准确度■４． ５ 在ＵＣＦ＿ＱＮ ＲＦ 数据集上的实验ＵＣＦ＿Ｑ ＮＲＦ 数据集由Ｉ ｔＷ２ ６］ 等人提出， 伺样是—个多样且拥挤的数搪集， 但图片总薮薰有１ ５ ３５ 张，人的总数多达１ ２Ｓ１ ６４ ２ ， 远多乎其他两个数据集． 其是从三个不同的数据集来源收集而来， 包含了全球各个壤景， 且同时拥有拥挤和稀疏的人群场景． ． 我们取１ ２ ０ １ 张屈片用来训练， 剩下的３ ３ ４ 张则用于测试．表４ 中列出了我们将估计结果的误差ＭＡ Ｅ 和ＭＳ Ｅ 与最先进的方法进行比较的结果？ 从＿ 中可以看出， 我们方法的ＭＡ Ｅ 提高了１ ３ ． ３ ％ ， 这说明预测效果有了明適提升， 估计误蠢较小． 但ＭＳ Ｅ 则略逊于现有方法， 可能是预测结果还不够稳歲！ 存隹少量廣差较太的？ 片．表４ ＶＣＥ ＬＱＮＲ Ｆ 数据集的估计误差方法 ＭＡＥ ＭＳＥＭＣＮ Ｎ［ ９ ］１ １１ ４ ２ ６Ｃ ＭＴＬ［８］２ ５２ ５ １ ４Ｓ ｗｉｔ ｃ ｈ－ ＣＮＮ ［７］ ２ ２８ ４ ４ ５Ｉ ｄ ｒ ｅ ｅｓ 等人［ ２６ ］１ ３２ １ ９ １ＦＦ－ＣＡＭ １ １４ ． ５ ２ ０ ０ ． ５？Ｔ 展示了训錄好的模型估计得到的部分密度估计亂可《膂出ｒ我们的模塑对ｇ ７ 磨两张的估计德翁Ｓｗ ｉｔ ｃ ｈ－ Ｃ Ｎ Ｎ ［７］ 更为准确ｊ 且生成的密：貧虜的分布也更加榷准， 分辨奉寅髙， 这．反映出我们模型对拥挤和相对稀疏的玢景都能进行很好的预测并生成分布较为准确的密度图， 较接近于真值＊ 同时我们可以着到三幅面都具有枭屋和树木的背；！ 平扰； 预测生成的密度？卿避免了此干扰＜迸一步验证了模型的抗干轨性， 伹是， 第一张图的估计值相对离值有一定的偏差綦我们模型的测试中少量的读遠较大的图片， 这也可以解释模：型的ＭＳＥ 略逊于现有方法．下一步需要更多的训练来提窗模型时鲁棒性， 排除太的误差．３ １ ４ 计導机攀报 ：＿１苹圓７Ｆ Ｆ－Ｃ ＊Ｍ模遵在ＴＯ＾ ＱＮＲ Ｆ 数据產上通＿蘭＇比密蘧图峰１ｆｆＳ 原：賴图橡总，人：数费ＭＳ ０轉、４ 詩？， １ ７；巔多行翁密度＿＿真；ｆｃ泰？ 翁谢密度括计图， 質觸总入数奋别讀Ｓ： ｆｔｌ ？７ 和１鋪％第ｉ ｆｆ＊ＦＦ－ £ ＊滅骨＿ ｆｔ ｜Ｗ度翁计图、：预侧总人数分别： 为》１４？ 和１０１ ７＞４． ６ 消融实验我们在Ｓ ｈａ ｎｇ ｈａ ｉ Ｔ ｅ ｃｈ Ｐａ ｒ ｔＡ 数据集上进行了消融实验来讀证ＦＦ ＣＡＭ 结构的有效性． 图８ 给出了消融实验的＇结果对比．ＭＡＥＭＳＥ图８ 爾獄餐藤奪擧：对比图我们首先在Ｖ ＧＧ － １ ６ 基线上进行了训练和测试的实验？ 从图３Ｗ Ｋ：看出， Ｆ Ｆ ＣＡＭ 的估计谟差明屬优于Ｖ Ｓ３ １ ６ 基＿ 的结藤． 与ＶＧ Ｏ ｌ？ 网络相比， ＦＦ Ｃ ＡＭ 獲濯的ＭＡ Ｅ 提高了１ ？ ．  ３％， ＭＳＥ 餐；毫了１ ２ ． ７ ％ ， 证明ＦＦ－ＣＡ Ｍ 的网络结构很好地提毫了预测精度》随后我们在保持Ｆ Ｆ－ ＣＡ Ｍ 的其他结构不变时ｓ分别去掉其中的通道柱意力＇ 模块； 扩张卷积摸块，基于ＳＳＩＭ 的损宍函数和基于菌归人数的损失越数，进行训练并测试． 每—今消酿实验揭到的ＭＡ Ｅ 和Ｊ ＶＴＳｆ： 的対比如獨Ｉ在去掉所有的通道往意力餐块后， 模型的ＭＡ 芯Ｔ降了１ １．４ ％ ， ＭＳＥ 下降了７ ．  ？％３ 黥征了賢貧注窵．力獏块对整个模觀的增益，在去掉扩张卷积辏块后， 模型的ＭＡＥ 下降了？？６ ％ ， ＭＳＥ 撵禽了４ｖ  Ｄ％ ， 证明了扩张卷积的有效性？相翁于其他模块； 基于Ｓ Ｓ ＺＭ 的损失請数和基于回归入数的掼．失函数对整、个模型的影响较小， 但老掉后翁缉的ＭＡ ＥＳ ＭＳＥ 也有所下降， 说明其在一定程度上握高Ｔ 预测精度． 具体来说，基于回归人数的损失函数提高效果略离ｆＳ ｆ ＳＳ ＪＭ 的损失函数．消融实毅结果表萌． 分别去掉各个模块后预测穡度都有一洚的下降， 这说昉每个擦块都对＿ 络性能有一定的提升作用， 验证了我们提出的方法的