ｂｅｄｄｉｎｇ　ｌａｙｅｒ　ｆｏｒ　ＤＰＳＮ，ｗｈｅｒｅ　ｎｏｄｅｓ　ｃｏｍｅ　ｆｒｏｍ　ｎｏｔ　ｏｎｌｙ　ｔｈｅ　ｅｍｂｅｄｄｉｎｇ　ｖｅｃｔｏｒ　ｂｕｔ　ａｌｓｏｔｈｅ　ｗｅｉｇｈｔ　ｏｆ　ｅａｃｈ　ｆｅａｔｕｒｅ，ｗｈｉｃｈ　ａｒｅ　ｂｏｔｈ　ｐｒｅ－ｔｒａｉｎｅｄ　ｂｙ　ＦＭ　ｍｏｄｅｌ．Ｔｏ　ｏｕｒ　ｂｅｓｔ　ｋｎｏｗｌｅｄｇｅ，ｔｈｉｓ　ｉｓ　ｔｈｅ　ｆｉｒｓｔ　ａｔｔｅｍｐｔ　ｔｏ　ｉｍｐｒｏｖｅ　ｔｈｅ　ｐｒｅｄｉｃｔｉｏｎ　ｐｅｒｆｏｒｍａｎｃｅ　ｂｙ　ａｄｄｉｎｇ　ｆｅｗ　ｗｅｉｇｈｔ　ｎｏｄｅｓ　ｉｎ　ｔｈｅｅｍｂｅｄｄｉｎｇ　ｌａｙｅｒ．Ｆｕｒｔｈｅｒｍｏｒｅ，ａ　ｓｉｍｐｌｉｆｉｅｄ　ａｎａｌｙｓｉｓ　ｏｆ　ｔｈｅ　ｐａｒａｍｅｔｅｒ　ｃｏｍｐｌｅｘｉｔｙ　ｉｓ　ｇｉｖｅｎ；ｍｅａｎｗｈｉｌｅ，ｔｈｅ　ｃｏｎｖｅｒｇｅｎｃｅ　ｏｆ　ｔｈｅ　ＤＰＳＮ　ｍｏｄｅｌ　ｉｓ　ａｎａｌｙｚｅｄ　ａｎｄ　ｐｒｏｖｅｄ．Ｗｅ　ｅｖａｌｕａｔｅ　ｔｈｅ　ｐｒｅｄｉｃｔｉｏｎｐｅｒｆｏｒｍａｎｃｅ　ｏｆ　ｔｈｅ　ｐｒｏｐｏｓｅｄ　ｍｏｄｅｌ　ｂａｓｅｄ　ｏｎ　ｔｗｏ　ｒｅａｌ－ｗｏｒｌｄ　ｄａｔａ　ｓｅｔｓ，ｉＰｉｎＹｏｕ　ａｎｄ　Ｃｒｉｔｅｏ，ｂｙｕｓｉｎｇ　ＬｏｇＬｏｓｓ　ａｎｄ　ＡＵＣ　ｍｅｔｒｉｃｓ．Ｉｎ　ｔｈｅ　ｆｉｒｓｔ　ａｎｄ　ｓｅｃｏｎｄ　ｅｘｐｅｒｉｍｅｎｔｓ，ｗｅ　ｖｅｒｉｆｙ　ｔｈｅ　ｃｏｎｖｅｒｇｅｎｃｅ　ｏｆｔｈｅ　ＤＰＳＮ　ｍｏｄｅｌ　ａｎｄ　ｉｌｌｕｓｔｒａｔｅ　ｔｈｅ　ｐｅｒｆｏｒｍａｎｃｅ　ｉｍｐｒｏｖｅｍｅｎｔｓ　ｏｆ　ＦＮＮ　ａｎｄ　ＰＮＮ　ｂｙ　ａｄｄｉｎｇ　ｔｈｅｗｅｉｇｈｔ　ｎｏｄｅｓ　ｏｆ　ｅａｃｈ　ｆｅａｔｕｒｅ　ｉｎ　ｔｈｅ　ｅｍｂｅｄｄｉｎｇ　ｌａｙｅｒ．Ｉｎ　ｔｈｅ　ｔｈｉｒｄ　ｅｘｐｅｒｉｍｅｎｔ，ｗｅ　ａｎａｌｙｚｅ　ｔｈｅｉｎｆｌｕｅｎｃｅｓ　ｏｆ　ｄｉｆｆｅｒｅｎｔ　ｍｏｄｅｌ　ｐａｒａｍｅｔｅｒｓ　ｏｎ　ｔｈｅ　ｐｒｅｄｉｃｔｉｏｎ　ｐｅｒｆｏｒｍａｎｃｅ　ｏｆ　ＤＰＳＮ，ｉｎｃｌｕｄｉｎｇ　ｔｈｅｎｕｍｂｅｒ　ｏｆ　ｈｉｄｄｅｎ　ｌａｙｅｒｓ，ｈｉｄｄｅｎ　ｌａｙｅｒ　ｎｏｄｅｓ，ａｃｔｉｖａｔｉｏｎ　ｆｕｎｃｔｉｏｎ，ａｎｄ　ｅｍｂｅｄｄｅｄ　ｖｅｃｔｏｒ　ｄｉｍｅｎｓｉｏｎ．Ｔｈｅ　ｆｏｕｒｔｈ　ｅｘｐｅｒｉｍｅｎｔ　ｉｓ　ｕｓｅｄ　ｔｏ　ｅｖａｌｕａｔｅ　ｔｈｅ　ｅｆｆｅｃｔｓ　ｏｆ　ｔｈｅ　ｎｅｗ　ｅｍｂｅｄｄｉｎｇ　ｌａｙｅｒ　ｏｎ　ｔｈｅ　ｐｒｅｄｉｃｔｉｏｎｐｅｒｆｏｒｍａｎｃｅ　ｏｆ　ｔｈｅ　ＤＰＳＮ　ｍｏｄｅｌ．Ｔｈｅ　ｆｉｆｔｈ　ａｎｄ　ｓｉｘｔｈ　ｅｘｐｅｒｉｍｅｎｔｓ　ｒｅｓｐｅｃｔｉｖｅｌｙ　ｃｏｍｐａｒｅ　ｔｈｅｉｎｆｌｕｅｎｃｅｓ　ｏｆ　ｄｉｆｆｅｒｅｎｔ　ａｒｃｈｉｔｅｃｔｕｒｅｓ　ａｎｄ　ｎｅｇａｔｉｖｅ　ｓａｍｐｌｉｎｇ　ｒａｔｉｏｓ　ｏｎ　ＤＰＳＮ　ｐｒｅｄｉｃｔｉｏｎ　ｐｅｒｆｏｒｍａｎｃｅ．Ｔｈｅ　ｌａｓｔ　ｅｘｐｅｒｉｍｅｎｔ　ｉｓ　ｔｏ　ｃｏｍｐａｒｅ　ｔｈｅ　ｐｅｒｆｏｒｍａｎｃｅ　ｏｆ　ｔｈｅ　ＤＰＳＮ　ｍｏｄｅｌ　ｗｉｔｈ　ｏｔｈｅｒ　ｔｙｐｉｃａｌ　ＣＴＲｐｒｅｄｉｃｔｉｏｎ　ｍｏｄｅｌｓ，ａｎｄ　ｔｈｅ　ｅｘｐｅｒｉｍｅｎｔａｌ　ｒｅｓｕｌｔｓ　ｄｅｍｏｎｓｔｒａｔｅ　ｔｈａｔ　ｔｈｅ　ｎｅｗ　ｍｏｄｅｌ　ｈａｓ　ｂｅｔｔｅｒｐｅｒｆｏｒｍａｎｃｅ　ｔｈａｎ　ｍａｊｏｒ　ｓｔａｔ－ｏｆ－ｔｈｅ－ａｒｔ　ｍｏｄｅｌｓ　ｏｎ　ＬｏｇＬｏｓｓ　ｍｅｔｒｉｃｓ　ａｎｄ　ＡＵＣ　ｍｅｔｒｉｃｓ．Ｋｅｙｗｏｒｄｓ　ｃｌｉｃｋ－ｔｈｒｏｕｇｈ　ｒａｔｅ；ｌｏｇｉｓｔｉｃ　ｒｅｇｒｅｓｓｉｏｎ；ｆａｃｔｏｒｉｚａｔｉｏｎ　ｍａｃｈｉｎｅ；ｄｅｅｐ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ；ｈｙｂｒｉｄ　ｎｅｔｗｏｒｋ１　引　言随着互联网的广泛普及以及大数据技术的快速发展，广告商利用互联网平台进行广告精准营销成为可能．与传统广告相比，在线广告在覆盖范围、灵活性、针对性、成本和效果评估等方面拥有得天独厚的优势，而 且 已 经 发 展 成 为 具 有 数 十 亿 美 元 的 产业［１］．在线广告的主要目标之一是在给定预算的情况下，最大化广告商的收益，例如最大化广告的点击次数或者转换次数［２］．因此，在线广告的一个重要环节是对将广告投放到一个曝光机会（ａｄ　ｉｍｐｒｅｓｓｉｏｎ）的用户点击概率进行预测，应尽可能将广告投放到预测点击率高的曝光机会，这就是点击率（Ｃｌｉｃｋ－ＴｈｒｏｕｇｈＲａｔｅ，ＣＴＲ）预测问题．ＣＴＲ预测是一个典型的回归问题．目前工业界应用最广泛的预测方法 是 利 用 逻 辑 回 归 （ＬｏｇｉｓｔｉｃＲｅｇｒｅｓｓｉｏｎ，ＬＲ）来学习 ＣＴＲ 预测模型［２－４］．ＬＲ 的优点是简单、非常容易实现大规模实时并行处理，但是线性模型的学习能力有限，不能捕获高阶特征携带的信息（非线性信息）［５］，从而限制了 ＬＲ 的预测性能．为此文献［６］提出可以利用 Ｐｏｌｙ２模型［７］来进行ＣＴＲ 预测，该模型不仅考虑了一阶特征携带的信息，而且考虑了二阶特征组合携带的信息，但是由于ＣＴＲ预测模型的输入特征通常是经过独热（ｏｎｅ－ｈｏｔ）编码［８］后的高维稀疏二值化特征向量，将特征进行两两组合的计算复杂度会变得非常大，导致学习效率大幅降低．因此在工业界，更多采用的是特征工程来完成手动的特征组合工作，以捕获特征间的高阶信息．近几年，非线性模型在 ＣＴＲ 预测中逐渐 获得关注．例如因子分解机模型（Ｆａｃｔｏｒｉｚａｔｉｏｎ　Ｍａｃｈｉｎｅ，ＦＭ）［９－１０］通过将高维稀疏特征映射到低维稠密向量中，并通过向量内积的方式来学习特征两两之间的隐含信息，从而大幅减少了特征两两组合导致的计算复杂度；ＦＭ 的缺陷在于每个特征都只学习一个隐含向量，在与其它特征进行组合时，同一个特征产生的影响力是相同的，而事实上当与不同特征域的特征组合时，隐含向 量可能表现 出不同的 分布．为此，文献［６］进一步提出了特征域相关的因子分解机模型ＦＦＭ（Ｆｉｅｌｄ－ａｗａｒｅ　Ｆａｃｔｏｒｉｚａｔｉｏｎ　Ｍａｃｈｉｎｅｓ），其基本思想是将特征分割为若干域，每个特征将针对不同特征域学习不同的隐含向量，利用 ＦＦＭ 方案，作者分别在 Ｃｒｉｔｅｏ和 Ａｖａｚｕ举办的全球 ＣＴＲ 预测大赛中获得了冠军［６］．Ｐｏｌｙ２、ＦＭ、ＦＦＭ 都是在 ＬＲ基础上增加对二阶特征组合的权重 自 动学习的模７期 刘梦娟等：基于融合结构的在线广告点击率预测模型１７５１，Ｆａｃｅｂｏｏｋ的研究人员提出了另一种筛选特征和特征组 合的 方式，称为 ＧＢＤＴ＋ＬＲ 方案［１１］，该方案利用 ＧＢＤＴ（Ｇｒａｄｉｅｎｔ　Ｂｏｏｓｔ　ＤｅｃｉｓｉｏｎＴｒｅｅ）来帮助筛选有区分度的特征和组合特征，作为ＬＲ模型的输入，从而增强 ＬＲ的非线性学习能力．图 １　ＤＰＳＮ 采用的融合结构深度学习在计算机视觉［１２］、语音识别［１３］、自然语言处理［１４］等领域取得巨大成功，其在探索特征间高阶隐含信息的能力也被 应用 到 了 ＣＴＲ 预测中．文献 ［５］提 出 了 ＦＮＮ（Ｆａｃｔｏｒｉｚａｔｉｏｎ　Ｍａｃｈｉｎｅ　ｓｕｐ－ｐｏｒｔｅｄ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）模型，该模型利用一个带嵌入层 （Ｅｍｂｅｄｄｉｎｇ　ｌａｙｅｒ）的 深 度 神 经 网 络 （ＤｅｅｐＮｅｕｒａｌ　Ｎｅｔｗｏｒｋ，ＤＮＮ）来完成点击率预测，其特点是通过ＦＭ 模型预先训练得到每个特征域的稠密隐含向量，将隐含向量作为 ＤＮＮ 的输入进行训练．文献［１５］仍然使用 ＤＮＮ 来预测点击率，不同之处在于 ＤＮＮ 的结构中引入了一个 Ｐｒｏｄｕｃｔ层，ＤＮＮ 的输入单元不仅包括每个特征域的隐含向量，还包括任意两个特征域向量的积运算，这种方案称为 ＰＮＮ（Ｐｒｏｄｕｃｔ－ｂａｓｅｄ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）．ＦＮＮ 和ＰＮＮ 充分利用了 ＤＮＮ 对特征高阶隐含信息的表示能力，但忽略了一阶特征携带的信息，而实验证明一阶特征对于 ＣＴＲ 预测也是非常重要的，为此 Ｇｏｏｇｌｅ的研究人员在文献［１６］中提出一种深度学习融合结构 Ｗｉｄｅ　＆Ｄｅｅｐ，该结构将线性模型和深度学习模型进行巧妙地融合，不仅考虑了低阶特征携带的信息，也考虑了高阶特征之间的交互信息，因 此 能 够 获 得 超 过 ＦＮＮ 和 ＰＮＮ 的 预 测 性能．文献［１７］在 Ｗｉｄｅ　＆Ｄｅｅｐ的基础上，将线性模型（Ｗｉｄｅ）替换为ＦＭ 模型，从而提出 ＤｅｅｐＦＭ．本文借鉴 Ｗｉｄｅ　＆Ｄｅｅｐ的思路，设计了一个基于融合结 构 的 深 度 神 经 网 络 来 建 立 ＣＴＲ 预 测 模型，称为 ＤＰＳＮ（Ｄｅｅｐ＆Ｐｒｏｄｕｃｔ　ｓｕｐｐｏｒｔｅｄ　ＳｔａｃｋｉｎｇＮｅｔｗｏｒｋ），如 图 １ 所 示．该 结 构 由 Ｄｅｅｐ　Ｎｅｔｗｏｒｋ、Ｐｒｏｄｕｃｔ　Ｎｅｔｗｏｒｋ和Ｓｔａｃｋｉｎｇ　Ｎｅｔｗｏｒｋ三部分组成，其 中 Ｄｅｅｐ　Ｎｅｔｗｏｒｋ和 Ｐｒｏｄｕｃｔ　Ｎｅｔｗｏｒｋ分 别 用 于学习特征 间 的 高 阶 表 示，Ｄｅｅｐ　Ｎｅｔｗｏｒｋ是 一 个 简单 的 ＤＮＮ，Ｐｒｏｄｕｃｔ　Ｎｅｔｗｏｒｋ 则 借 鉴 了 ＰＮＮ 在ＤＮＮ 的输入 位 置增 加 一 个 Ｐｒｏｄｕｃｔ层；最 终 通 过Ｓｔａｃｋｉｎｇ　Ｎｅｔｗｏｒｋ将 前 两 个 部 分 的 参 数 进 行 联 合训练，以有效捕获不同特征表示之间的 关系，从 而得到最终的 ＣＴＲ预测值．与已有的深 度学习方 案类似，ＤＰＳＮ 中也 引 入 了 一 个 嵌 入 层，用 于 将 原 始高维稀疏的二值化特征映射为固定维度的低维 稠密向量，作为 Ｄｅｅｐ　Ｎｅｔｗｏｒｋ和 Ｐｒｏｄｕｃｔ　Ｎｅｔｗｏｒｋ的共同输入．为了验证 ＤＰＳＮ 的预测性能，本文利用ｉＰｉｎＹｏｕ和 Ｃｒｉｔｅｏ的公开数据集完成了大量实验，２７５１ 计　　算　　机　　学　　报 ２０１９年ＬｏｇＬｏｓｓ和 ＡＵＣ 指 标 上，ＤＰＳＮ 能 够比传统的点击率预测模型以及已有的基 于深度学习的预测模型获得更好的性能．２　相关工作相比于传统 的 浅 层 学 习，ＤＮＮ 在 特 征 学 习 方面表现出 巨 大 的 潜 力［５］，因此，近 两 年 将 ＤＮＮ 用于 ＣＴＲ预测已经成为一种研究 趋势．本节将对几种典型的基于 ＤＮＮ 的 ＣＴＲ 预测模型进行介绍和对比．在此之前，首 先对 ＣＴＲ 预 测模型 原 始 特 征 的预处理方法 以 及 在 ＤＮＮ 方 案 中 常 用 的 映 射 方 法进行简单介绍［５，１８］．在 ＣＴＲ预测中，使用的特征主要是分类特征（ｃａｔｅｇｏｒｉｃａｌ　ｆｅａｔｕｒｅｓ），例如用户的性别（Ｇｅｎｄｅｒ）、所在的城市（Ｃｉｔｙ）等，分类特征不能直接用于预测计算，因此通常使用独热（ｏｎｅ－ｈｏｔ）编码对分类特征 进行预处理，例如 Ｇｅｎｄｅｒ特 征有两种可能取值（Ｆｅｍａｌｅ／Ｍａｌｅ），因此 Ｇｅｎｄｅｒ特征可编码为２比特，［０，１］表示 Ｆｅｍａｌｅ，［１，０］表示 Ｍａｌｅ；Ｃｉｔｙ特征有三种可能取值（Ｂｅｉｊｉｎｇ／Ｓｈａｎｇｈａｉ／Ｃｈｅｎｇｄｕ），因此 Ｃｉｔｙ特征可编码为３比特，分别对应［０，０，１］，［０，１，０］，［１，０，０］．例如，一个位于北京的男性用户，其编码后的原始特征向量为［１，０烐烏 烑］Ｇｅｎｄｅｒ＝Ｍａｌｅ［０，０，１烐烏 烑］Ｃｉｔｙ＝Ｂｅｉｊｉｎｇ．在 ＣＴＲ 预测中，通常将独热编码后的每个比特称为一个特征，例如［１，０］中第一个比特表示男性特征，第二个比特表示女性特征，样本中出现的特征取值为１，其余取值为０．因此对于一个样本，编码后的特征向量是一个超高维度的稀疏向量，如果将该特征向量直接输入到 ＤＮＮ 中会使得需要学习的参数非常多，产生巨大的计算开销．因此在基于 ＤＮＮ的 ＣＴＲ 预测模型中，通常会在输入层和第一个隐藏层之间增加一个嵌入层，用于降低 ＤＮＮ 的输入单元数．这里引入了特征域（ｆｉｅｌｄ）和嵌入向量（ｅｍｂｅｄｄｉｎｇｖｅｃｔｏｒ）的概念，首先将编码后的特征按照其物理属性划分为若干特征域，例如［ｂ１，ｂ２］表示 Ｇｅｎｄｅｒ特征域，［ｂ１，ｂ２，ｂ３］表示 Ｃｉｔｙ特征域，在每个样本中，每个特征域中只有一个特征的值为１，其余为０．假设特征域ｃ在整个样本集中有 Ｍ 种取值可能，则独热编码后的表示如式（１），ｃ是一个由二值化元素组成的向量，每个元素ｂｉ∈｛０，１｝．ｃ＝ ｂ１，ｂ２，…，ｂ（ ）Ｍ，∑Ｍｉ＝１ｂｉ＝１ （１）如前所述，为了减少 ＤＮＮ 中的输入单元数，在基于 ＤＮＮ 的 ＣＴＲ 预测模型中，需要将独热编码后的每个特征映射为一个固定维度的嵌入向量，再将所有嵌入向量拼接起来作为输入．假设独热编码后的特征数为ｎ，每个嵌入向量的维度为 Ｄ，特征的嵌入向量ｖ可以写为一个矩阵，如式（２）所示．ｖ＝ｖ１ｖ２ｖ熿燀燄ｎ燅＝ｖ１１ｖ２１… ｖＤ１ｖ１２ｖ２２… ｖＤ２   ｖ１ｎｖ２ｎ… ｖＤ熿燀燄ｎ燅（２）对于一个样本，由于属于相同特征域的特征只有１个有取值，因此 ＤＮＮ 模型的输入单元数为 Ｎ×Ｄ，这里 Ｎ 表示特征向量中特征域的个数．图２展示了将特征映射为嵌入向量作为输入的一个示例．假设独热编码后的样本特征为［１，０，０，０，１］，其中前两个比特为 Ｇｅｎｄｅｒ特征域，后三个比特为 Ｃｉｔｙ特征域，嵌入向量的维度为２，可将男性特征和 Ｂｅｉｊｉｎｇ特征映射为两个嵌入向量，假设为［０．２，０．８］和［０．６，０．４］，最后将两个嵌入向量拼接起来作为输入，因此映射后的嵌入单元的数量为４．需要说明的是不同的特征对应的嵌入向量是不同的，例如 Ｍａｌｅ和 Ｆｅｍａｌｅ分别对应的是不同的嵌入向量．此外，如果样本中包含有数值特征，在 ＣＴＲ 预测中通常 将数值特 征利用分箱技术转化为分类特征，再按照分类特征的预处理方法来编码．图 ２　嵌入向量的示例本节将详细介绍几种比较典型的基于 ＤＮＮ 的ＣＴＲ预测模型，各种模型的结构如图３和图４所示．图３（ａ）是 ＦＮＮ 模型［５］，它是一个采用因子分解机模型 ＦＭ 预先初始化嵌入向量的前馈神经网络，其特点是嵌入的特征域向量是预先训练的，因此可以大幅降低 ＤＮＮ 参数训练的计算复杂度．图３（ｂ）是ＰＮＮ 模型［１５］，不同于 ＦＮＮ，它在 Ｅｍｂｅｄｄｉｎｇ　ｌａｙｅｒ和第一个隐藏层之间增加了一个 Ｐｒｏｄｕｃｔ　ｌａｙｅｒ，以捕捉高阶特征之间的相互作用．根据 ｐｒｏｄｕｃｔ操作的不同类型，有三种变化：ＩＰＮＮ、ＯＰＮＮ、ＰＮＮ＊，其中ＩＰＮＮ 表示任意两个特征域的嵌入向量做内积，７期 刘梦娟等：基于融合结构的在线广告点击率预测模型３７５１２０１８－０４－２９；在线出 版 日 期：２０１９－０１－２５．本 课 题 得 到 国 家 自 然 科 学 基 金 （６１２０２４４５，６１５０２０８７）、中 央 高 校 基 本 业 务 费 项 目（ＺＹＧＸ２０１６Ｊ０９６）资助．刘梦娟，博士，副教授，主要研究方向为数据挖掘、广告计算、机器学习．Ｅ－ｍａｉｌ：ｍｊｌｉｕ＠ｕｅｓｔｃ．ｅｄｕ．ｃｎ．曾贵川，硕士研究生，主要研究方向为广告计算、机器学习．岳　威，硕士研究生，主要研究方向为广告计算、机器学习．刘　瑶，博士，副教授，主要研究方向为数据挖掘、机器学习．秦志光，博士，教授，博士生导师，主要研究领域为数据挖掘、网络安全．基于融合结构的在线广告点击率预测模型刘梦娟　曾贵川　岳　威　刘　瑶　秦志光（电子科技大学信息与软件工程学院　成都　６１００５４）摘　要　点击率预测作为推荐系统和在线广告的关键环节，在学术界和工业界均受到了极大的关注．论文首先对几种典型的点击率预测模型进行研究，然后探索了基于融合结构的深度学习方法，并在此基础上提出一种基于融合结构的点击率预测模型，该模型能够灵活融合不同结构的深度神经网络来分别学习原始高维稀疏特征的高阶表示，从而使点击率预测模型能够利用更丰富的高阶特征信息．论文利用真实数据集来评价模型的预测性能，实验结果显示，基于融合结构的深度学习预测模型，能够比传统的点击率预测模型以及最新的基于深度学习的预测模型获得更好的性能．关键词　点击率预测；逻辑回归；因子分解机；深度神经网络；融合结构中图法分类号 ＴＰ１８　　　ＤＯＩ号 １０．１１８９７／ＳＰ．Ｊ．１０１６．２０１９．０１５７０Ａ　Ｈｙｂｒｉｄ　Ｎｅｔｗｏｒｋ　Ｂａｓｅｄ　ＣＴＲ　Ｐｒｅｄｉｃｔｉｏｎ　Ｍｏｄｅｌ　ｆｏｒ　Ｏｎｌｉｎｅ　ＡｄｖｅｒｔｉｓｉｎｇＬＩＵ　Ｍｅｎｇ－Ｊｕａｎ　ＺＥＮＧ　Ｇｕｉ－Ｃｈｕａｎ　ＹＵＥ　Ｗｅｉ　ＬＩＵ　Ｙａｏ　ＱＩＮ　Ｚｈｉ－Ｇｕａｎｇ（Ｄｅｐａｒｔｍｅｎｔ　ｏｆ　Ｉｎｆｏｒｍａｔｉｏｎ　ａｎｄ　Ｓｏｆｔｗａｒｅ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｅｌｅｃｔｒｏｎｉｃ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ　ｏｆ　Ｃｈｉｎａ，Ｃｈｅｎｇｄｕ　６１００５４）Ａｂｓｔｒａｃｔ　 Ａｓ　ｔｈｅ　ｋｅｙ　ｃｏｍｐｏｎｅｎｔ　ｏｆ　ｒｅｃｏｍｍｅｎｄｅｒ　ｓｙｓｔｅｍ　ａｎｄ　ｏｎｌｉｎｅ　ａｄｖｅｒｔｉｓｉｎｇ，ｔｈｅ　ｃｌｉｃｋ－ｔｈｒｏｕｇｈｒａｔｅ（ＣＴＲ）ｐｒｅｄｉｃｔｉｏｎ　ｈａｓ　ｒｅｃｅｉｖｅｄ　ｇｒｅａｔ　ａｔｔｅｎｔｉｏｎ　ｉｎ　ｂｏｔｈ　ｔｈｅ　ａｃａｄｅｍｉａ　ａｎｄ　ｔｈｅ　ｉｎｄｕｓｔｒｙ．Ｔｈｅ　ｍｏｓｔｃｏｍｍｏｎ　ａｐｐｒｏａｃｈｅｓ　ｔｏ　ＣＴＲ　ｐｒｅｄｉｃｔｉｏｎ　ａｒｅ　ｒｅｇａｒｄｉｎｇ　ｉｔ　ａｓ　ａ　ｒｅｇｒｅｓｓｉｏｎ　ｐｒｅｄｉｃｔｉｏｎ　ｔａｓｋ　ｉｎ　ｍａｃｈｉｎｅｌｅａｒｎｉｎｇ．Ａｔ　ｂｅｇｉｎｎｉｎｇ，ｓｉｍｐｌｅ　ｍｏｄｅｌｓ　ｌｉｋｅ　ｌｏｇｉｓｔｉｃ　ｒｅｇｒｅｓｓｉｏｎ（ＬＲ）ａｎｄ　ｆａｃｔｏｒｉｚａｔｉｏｎ　ｍａｃｈｉｎｅ（ＦＭ）ａｒｅ　ｕｓｅｄ　ｔｏ　ｄｏ　ｐｒｅｄｉｃｔｉｏｎｓ，ｈｏｗｅｖｅｒ　ｔｈｅ　ｐｒｅｄｉｃｔｉｏｎ　ｐｅｒｆｏｒｍａｎｃｅｓ　ａｒｅ　ｎｏｔ　ｓｏ　ｇｏｏｄ　ｂｅｃａｕｓｅ　ｏｎｌｙｌｏｗ－ｏｒｄｅｒ　ｆｅａｔｕｒｅ　ｉｎｔｅｒａｃｔｉｏｎｓ　ａｒｅ　ｅｘｐｌｏｒｅｄ．Ｔｈｅｒｅｆｏｒｅ，ｍｏｄｅｌｓ　ｗｉｔｈ　ｓｔｒｏｎｇｅｒ　ａｂｉｌｉｔｙ　ｏｆ　ｆｅａｔｕｒｅｒｅｐｒｅｓｅｎｔａｔｉｏｎ　ｌｅａｒｎｉｎｇ　ａｒｅ　ｄｅｖｅｌｏｐｅｄ，ｆｏｒ　ｅｘａｍｐｌｅ，ａ　Ｆａｃｔｏｒｉｚａｔｉｏｎ－ｍａｃｈｉｎｅ　ｓｕｐｐｏｒｔｅｄ　ＮｅｕｒａｌＮｅｔｗｏｒｋ（ＦＮＮ）ａｎｄ　ａ　Ｐｒｏｄｕｃｔ－ｂａｓｅｄ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ（ＰＮＮ），ｗｈｉｃｈ　ａｒｅ　ｐｒｏｍｉｓｉｎｇ　ｔｏ　ｅｘｐｌｏｉｔｄｅｅｐ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋｓ　ｔｏ　ｌｅａｒｎ　ｓｏｐｈｉｓｔｉｃａｔｅｄ　ａｎｄ　ｓｅｌｅｃｔｉｖｅ　ｆｅａｔｕｒｅ　ｉｎｔｅｒａｃｔｉｏｎｓ．Ｔｈｅ　ｍａｊｏｒ　ｄｏｗｎｓｉｄｅｏｆ　ＦＮＮ　ａｎｄ　ＰＮＮ　ｉｓ　ｔｈａｔ　ｔｈｅｙ　ｆｏｃｕｓ　ｍｏｒｅ　ｏｎ　ｈｉｇｈ－ｏｒｄｅｒ　ｆｅａｔｕｒｅ　ｉｎｔｅｒａｃｔｉｏｎｓ　ｗｈｉｌｅ　ｃａｐｔｕｒｅ　ｌｉｔｔｌｅｌｏｗ－ｏｒｄｅｒ　ｉｎｔｅｒａｃｔｉｏｎｓ．Ｉｎ　ｏｒｄｅｒ　ｔｏ　ｍａｋｅ　ｆｕｌｌ　ｕｓｅ　ｏｆ　ｌｏｗ－ａｎｄ　ｈｉｇｈ－ｏｒｄｅｒ　ｆｅａｔｕｒｅ　ｉｎｔｅｒａｃｔｉｏｎｓ，ｓｏｍｅｈｙｂｒｉｄ　ａｒｃｈｉｔｅｃｔｕｒｅｓ　ａｒｅ　ｐｒｏｐｏｓｅｄ，ｃｏｎｔａｉｎｉｎｇ　ｂｏｔｈ　ａ　ｓｈａｌｌｏｗ　ｃｏｍｐｏｎｅｎｔ　ａｎｄ　ａ　ｄｅｅｐ　ｃｏｍｐｏｎｅｎｔ．Ｉｎ　ｔｈｉｓ　ｐａｐｅｒ，ｗｅ　ｆｉｒｓｔｌｙ　ｓｔｕｄｙ　ｓｅｖｅｒａｌ　ｔｙｐｉｃａｌ　ＣＴＲ　ｐｒｅｄｉｃｔｉｏｎ　ｍｏｄｅｌｓ，ｅｓｐｅｃｉａｌｌｙ　ｔｈｅ　ｄｅｅｐ　ｌｅａｒｎｉｎｇｍｏｄｅｌｓ　ｂａｓｅｄ　ｏｎ　ｈｙｂｒｉｄ　ａｒｃｈｉｔｅｃｔｕｒｅｓ，ｔｏ　ｄｅｓｃｒｉｂｅ　ｔｈｅ　ｄｅｖｅｌｏｐｍｅｎｔ　ｐｒｏｃｅｓｓ　ｏｆ　ＣＴＲ　ｐｒｅｄｉｃｔｉｏｎ；ａｎｄ　ｔｈｅｎ，ｉｎｓｐｉｒｅｄ　ｂｙ　ｅｘｉｓｔｉｎｇ　ｗｏｒｋｓ，ａ　ｎｅｗ　ｃｌｉｃｋ－ｔｈｒｏｕｇｈ　ｒａｔｅ　ｐｒｅｄｉｃｔｉｏｎ　ｍｏｄｅｌ　ｂａｓｅｄ　ｏｎ　ａ　ｈｙｂｒｉｄｎｅｔｗｏｒｋ　ｉｓ　ｐｒｏｐｏｓｅｄ—ＤＰＳＮ（Ｄｅｅｐ　＆Ｐｒｏｄｕｃｔ　ｓｕｐｐｏｒｔｅｄ　Ｓｔａｃｋｉｎｇ　Ｎｅｔｗｏｒｋ）．Ｔｈｅ　ｎｅｗ　ｍｏｄｅｌ　ｃａｎｉｎｔｅｇｒａｔｅ　ｄｉｆｆｅｒｅｎｔ　ｄｅｅｐ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋｓ（ＤＮＮｓ）ｔｏ　ｌｅａｒｎ　ｔｈｅ　ｈｉｇｈ－ｏｒｄｅｒ　ｒｅｐｒｅｓｅｎｔａｔｉｏｎ　ｏｆ　ｏｒｉｇｉｎａｌｈｉｇｈ－ｄｉｍｅｎｓｉｏｎａｌ　ｓｐａｒｓｅ　ｆｅａｔｕｒｅｓ　ｒｅｓｐｅｃｔｉｖｅｌｙ，ｗｈｉｃｈ　ｅｎａｂｌｅｓ　ｔｈｅ　ｐｒｅｄｉｃｔｉｏｎ　ｍｏｄｅｌ　ｔｏ　ｔａｋｅ　ａｄｖａｎｔａｇｅｏｆ　ｍｏｒｅ　ａｂｕｎｄａｎｔ　ｉｎｆｏｒｍａｔｉｏｎ　ｏｆ　ｈｉｇｈ－ｏｒｄｅｒ　ｆｅａｔｕｒｅ　ｉｎｔｅｒａｃｔｉｏｎｓ．Ｉｎ　ａｄｄｉｔｉｏｎ，ｗｅ　ａｌｓｏ　ｄｅｓｉｇｎ　ａ图 ３　ＦＮＮ 模型和 ＰＮＮ 模型的结构图 ４　两种典型的融合结构ＯＰＮＮ 表示任意两个 特 征域的嵌 入 向 量做外 积，ＰＮＮ＊表示将内积和外积的输出结果拼接起来．不同于 ＦＮＮ，ＰＮＮ 在嵌入层的输入中不仅考虑了一阶特征的嵌入向量，还考虑了任意两个特征嵌入向量之间的组合操作．这里 ＦＮＮ 模型和 ＰＮＮ 模型忽略了一阶特征的相互作用．为此 Ｇｏｏｇｌｅ提出一种能够同时考虑低阶和高阶特征相互作用的融合结构 Ｗｉｄｅ＆Ｄｅｅｐ［１６］，如图４（ａ）所示，该结构将线性模型和 ＤＮＮ 结合起来联合训练，相比于单独的线性模型和深度学习模型，融合结构的预测性能有一定提升，但是其 Ｗｉｄｅ部分仍然依赖于特征工程．文献［１７］提出的 ＤｅｅｐＦＭ模型重新设计了融合结构，如图４（ｂ）所示，该结构将 ＦＭ 模型和 ＤＮＮ 结合起来联合训练，优点是不需要特征工程支持，同时也可以学习低阶和高阶特征的相互作用．表１展示了几种典型基于 ＤＮＮ 的 ＣＴＲ 预测模型与 ＤＰＳＮ 的特点对比．分析发现几种典型方案均选择了前馈神经网络来学习高阶特征的表示，在网络结构上均在第一个隐藏层（Ｈｉｄｄｅｎ　ｌａｙｅｒ）之前加入了嵌入层，其中 ＦＮＮ、ＰＮＮ 以及 Ｗｉｄｅ　＆Ｄｅｅｐ和 ＤｅｅｐＦＭ 的 Ｄｅｅｐ 部 分 的 输 入 只 依 赖 于 嵌 入 向量；而在低阶部分，Ｗｉｄｅ　＆Ｄｅｅｐ输入的是原始特征和交叉积的变换特征，ＤｅｅｐＦＭ 输入的是原始特征及嵌 入 向 量 的 内 积．基 于 上 述 分 析，本 文 提 出 的ＤＰＳＮ 模型采用了与 Ｗｉｄｅ　＆Ｄｅｅｐ和 ＤｅｅｐＦＭ 类似的融合结构，其特点是利用两个不同的前馈神经网络来分别学习特征之间的高阶表示，通过 ＳｔａｃｋｉｎｇＮｅｔｗｏｒｋ将两个前馈网络输出的特征域高阶表示拼接起来作为一个新的 ＤＮＮ 输入进行 ＣＴＲ 预测．此外，ＤＰＳＮ 不同于其它深度学习模型之处在于嵌入层的设计，除了包括每个特征的嵌入向量，还包括特征的一阶权重，作为对嵌入向量表示的补充．表 １　基于 ＤＮＮ 的 ＣＴＲ 预测模型的特点ＦＮＮ　ＰＮＮ　 ＤＰＳＮ　 Ｗｉｄｅ＆Ｄｅｅｐ　 ＤｅｅｐＦＭ特征工程 × × × √ ×低阶特征 × × × √ √高阶特征 √ √ √ √ √嵌入层 √ √ √ √ √网络结构 ＤＮＮ　ＤＮＮ　３个ＤＮＮ　ＬＲ＋ＤＮＮ　ＦＭ＋ＤＮＮ嵌入向量训练 预训练嵌入向量 嵌入向量作为整体训练４７５１ 计　　算　　机　　学　　报 ２０１９年合结构的 ＣＴＲ 预测模型本节将详细介绍论文提出的 ＤＰＳＮ 模型，如图１所示．首先介绍模型设计的动机；然后按照由底向上的顺序逐一介绍模型的组成，包括：（１）嵌入层，着重介绍从原始输入特征到嵌入层一阶特征权重单元和嵌入向量单元的映射方法；（２）Ｄｅｅｐ　Ｎｅｔｗｏｒｋ，前馈神经网络，用于学习输入仅为一阶特征相关信息的高阶 特征表达；（３）Ｐｒｏｄｕｃｔ　Ｎｅｔｗｏｒｋ，前馈神经网络，用于学习输入增加了二阶交叉特征的高阶特征表达；（４）Ｓｔａｃｋｉｎｇ　Ｎｅｔｗｏｒｋ，前馈神经网络，用于拼接前两个 ＤＮＮ 的输出，并进一步挖掘不同的高阶特征表达之间的交叉信息；在此基础上，介绍模型参数的学习算法，并对模型的参数复杂度给出了简化的理论分析；最后分析和证明了 ＤＰＳＮ 模型的收敛性．３．１　设计动机本文在设计 ＤＰＳＮ 模型时，主要受到两个方面的启发．一是 ＦＮＮ 和 ＰＮＮ 采用 ＦＭ 模型进行预训练，从而得到每个特征的嵌入向量，这里认为嵌入向量携带了对应特征的重要信息，因此可以在嵌入层采用嵌入向量来替代原始特征．而 ＦＭ 模型中不仅可以学到特征的嵌入向量，还可以学到一阶特征在预测 ＣＴＲ 时对应的权重，如３．２节的式（３）所示，这里一阶特征的权重也携带了反 映该特征的重要信息，而在目前已有的基于 ＤＮＮ 的预测模型中，都只考虑了每个特征对应的嵌入向量，而忽略了一阶特征的权重．因此，本文尝试将一阶特征的权重也作为信息单元，引入到嵌入层，并在后续实验中验证该设计的有效性，在嵌入层中加入一阶特征权重单元的ＦＮＮ 和ＰＮＮ 方案都显著优于只考虑嵌入向量单元的方案．第二个启发是 Ｗｉｄｅ＆Ｄｅｅｐ和 ＤｅｅｐＦＭ 的融合结构，这两个方案采用的都是“深度模型＋浅层模型”的结构，将样本原始特征分别输入到两个不同的模型学习不同的特征表达，然后拼接起来联合学习，完成最终的 ＣＴＲ 预测，其基 本思路是在最终预测时比单一深度学习模型增加更多的有效信息．受这一思想启发，本文设计出一种“深度模型＋深度模型”的结构，将经过预处理后的嵌入层单元分别输入到两个不同结构的 ＤＮＮ 中，一个 ＤＮＮ 只考虑一阶特征的信息作为输入进行高阶交叉特征的探索，另一个ＤＮＮ 同时考虑一阶和二阶组合特征的信息作为输入，进行高阶交叉特征的探索，从而得到更多不同的高阶特征的组合模式，提供给最终的 ＣＴＲ 预测．在后续实验中，论文也通过单一结构和融合结构的对比实验，验证了该设计的有效性．下面将按照由底向上的顺序介绍本文提出的 ＤＰＳＮ 模型包含的 各组成部分．３．２　嵌入层如前所述，ＣＴＲ 预测中使用的原始特征通常是超高维度的稀疏向量，如果将其直接输入到 ＤＮＮ中，将会产生非常巨大的计算开销，因此将每个原始特征映射为固定维度的嵌入向量将会大幅降低输入单元的个数．在 ＤＰＳＮ 中设 计 了 一 个 不 同 于 ＦＮＮ和 ＰＮＮ 的嵌入层，其中的单元除了每个特征对应的嵌入向量还包括一阶特征的权重，如图５所示．图 ５　嵌入层的结构在 ＣＴＲ 预测中，可利用的特征主要来自 于 三个方面：广告特征（如广告创意、广告内容类别等）、上下文特征（如网页内容主题、广告位的位置及尺寸等）、用户特征（如用户类别标签、地理位置、人口统计特征等）［１９］．假设独热编码后的原始特征向量中有 Ｎ 个特征域，第ｉ个特征域中有 Ｍ 个特征，每个特征对应的嵌入向量的维度为 Ｄ，则对应的嵌入层中有 Ｎ 个嵌入向量，每个嵌入向量中有 Ｄ 个单元节点，由于同一个样本中每个特征域只可能出现一个特征，因此嵌入层中的一阶特征的权重单元数为Ｎ，嵌入层中总的单元数为（Ｄ＋１）×Ｎ．类似于 ＦＭ模型，在 ＤＰＳＮ 的嵌入层每个特征都有自己的一阶权重，因此特征域ｉ的 Ｍ 个特征的一阶权重可用向量ｗｅｉ＝［ｗｅｉ１，ｗｅｉ２，…，ｗｅｉＭ］表示．每个特征的嵌入向量和一阶权重可以作为模型参数进行端到端的统一训练（例如 Ｗｉｄｅ　＆Ｄｅｅｐ和ＤｅｅｐＦＭ），也可以采用其它 ＣＴＲ 预测模型进行预先训练．在本文提出的 ＤＰＳＮ 中采用 ＦＭ 模型［１０］在训练集上进行预训练，从而得到每个特征的嵌入向量和一阶权重，公式如式（３）所示，这里ｆ（ｗｅ，ｖ，ｘｉ）表示基于样本ｉ的点击率预测值，ｘｉ表示样本ｉ特征向量，ｘｉ＝（ｘ１ｉ，ｘ２ｉ，…ｘｎｉ），ｎ表示独热编码后的特征数，ｘｋｉ和ｘｌｉ分别表示样本ｉ的第ｋ 个特征的值和第ｌ７期 刘梦娟等：基于融合结构的在线广告点击率预测模型５７５１ｖｋ和ｖｌ表示第ｋ 个特征和第ｌ个特征的隐含向量．用训练好的 ＦＭ 模型中每个特征的一阶权重初始化嵌入层的一阶权重节点的值，用 ＦＭ 模型中每个特征的隐含向量初始 化嵌入向量节点的值．仍然沿用图 ２ 的例子，假设训练好的 ＦＭ 模型中，男性特征的一阶权重为０．４，北京特征的一阶权重为０．２，则嵌入层的映射结果如图６所示，包括６个单元节点．ｆ（ｗｅ，ｖ，ｘｉ）＝ｗｅＴｘｉ＋∑ｎｋ＝１∑ｎｌ＝ｋ＋１（〈ｖｋ·ｖｌ〉·ｘｋｉ·ｘｌｉ）（３）其中，〈ｖｋ·ｖｌ〉＝∑Ｄｄ＝１ｖＤｋｖ　Ｄｌ．图 ６　嵌入层映射的例子３．３　Ｄｅｅｐ　ＮｅｔｗｏｒｋＤｅｅｐ　Ｎｅｔｗｏｒｋ是一个包含多个隐层的前馈神经网络，用于学习输入仅为一阶特征相关的高阶特征之间的交互信息，如图１所示．在 Ｄｅｅｐ　Ｎｅｔｗｏｒｋ中，嵌入层的每个节点与第１个隐层的每个节点全连接，第１个隐层中每个节点的输出值采用式（４）计算，其中ｈ１∈Rｎ１是第１个隐层节点的输出向量，ｎ１是第１个隐层的节点数，Ｗ０表示嵌入层节点到第１个隐层节点的连接权重，Ｗ０∈Rｎ１×ｎ０，ｎ０是嵌入层的节点数，ｘ０∈Rｎ０是嵌入层的输出向量，ｂ０表示第 １个隐层的偏置向量，ｂ０∈Rｎ１，隐层节点的激活函数ｆ（·）采用 ＲｅＬＵ［２０］．ｈ１＝ｆ（Ｗ０ｘ０＋ｂ０） （４）Ｄｅｅｐ　Ｎｅｔｗｏｒｋ是一个前馈深度神经网络，每个隐层的节点数和隐层的层数可调整，隐层之间每个节点均采用全连接，第ｌ＋１个隐层节点的输出值计算如式（５）所示，Ｗｌ表示第ｌ 个隐层节点到第ｌ＋１个隐层节点的连接权重，Ｗｌ∈Rｎｌ＋１×ｎｌ，ｎｌ和ｎｌ＋１分别是第ｌ个隐层和第ｌ＋１个隐层的节点数，ｈｌ∈Rｎｌ是第ｌ个隐层节点的输出值，ｂｌ表示第ｌ＋１个隐层的偏置向量，ｂｌ∈Rｎｌ＋１，隐层中所有节点的激活函数ｆ（·）都采用 ＲｅＬＵ；最后１个隐层节点的输出值将直接作为输入传 输到 Ｓｔａｃｋｉｎｇ　Ｎｅｔｗｏｒｋ 输入层的部分节点；ｈｌ＋１＝ｆ（Ｗｌｈｌ＋ｂｌ） （５）需要说明的是，由于在 ＤＮＮ 隐层节点的计算中是按“节点”进行交叉组合，因此输入如果只考虑特征的嵌入向量，将会使交叉组合不是按照每个“特征”来完成，各嵌入向量的每个单元节点将作为一个独立的输入值，只有一阶特征对应的权重才反映的是一个完整特征信息，示意如图７所示．因此，直观地认为一阶特征的权重值在隐层节点的交叉组合中将起着更为有意义的作用．图 ７　嵌入层到隐层节点的连接示意３．４　Ｐｒｏｄｕｃｔ　ＮｅｔｗｏｒｋＰｒｏｄｕｃｔ　Ｎｅｔｗｏｒｋ也是一个包含多个隐层的前馈神经网络，不同于 Ｄｅｅｐ　Ｎｅｔｗｏｒｋ，它在嵌入层和第１个隐层之间增加一个 Ｐｒｏｄｕｃｔ层，如图１所示，该层不仅包含嵌入层的单元节点，还包含任意两个特征的嵌入向量进行两两内积的单元节点，计算如式（６）所示，这里ｐｉ，ｋ表示嵌入向量ｖｉ和ｖｋ的内积，因此在 Ｐｒｏｄｕｃｔ层有 Ｎ×（Ｎ－１）／２个 Ｐｒｏｄｕｃｔ节点，这里 Ｎ 表示嵌入层嵌入向量的个数；Ｐｒｏｄｕｃｔ层的节点与第１个隐层的节点全连接，隐层中每个节点的激活函数ｆ（·）都采用 ＲｅＬＵ，因此每个节点输出值的计算方法与 Ｄｅｅｐ　Ｎｅｔｗｏｒｋ相同；在 ＰｒｏｄｕｃｔＮｅｔｗｏｒｋ中最后１个隐层节点的输出值将直接作为输入传输到Ｓｔａｃｋｉｎｇ　Ｎｅｔｗｏｒｋ输入层的部分节点．ｐｉ，ｋ＝〈ｖｉ·ｖｋ〉＝ ｖ１ｉｖ２ｉ… ｖＤ［ ］ｉｖ１ｋｖ２ｋｖＤ熿燀燄ｋ燅＝∑Ｄｔ＝１ｖｔｉｖｔｋ（６）由于 ＤＮＮ 中，是按照“节点”进行加权求和来完成特征交叉，没有考虑“叉积”这样的组合方式，因此在 Ｐｒｏｄｕｃｔ　Ｎｅｔｗｏｒｋ中输入信息不仅包含了一阶特征相关的信息，还包含了二阶特征的“叉积”信息，从而使输入 ＤＮＮ 的信息更丰富，可以得到更多的不同于 Ｄｅｅｐ　Ｎｅｔｗｏｒｋ的高阶特征组合模式．３．５　Ｓｔａｃｋｉｎｇ　ＮｅｔｗｏｒｋＳｔａｃｋｉｎｇ　Ｎｅｔｗｏｒｋ主要用于将 Ｄｅｅｐ　Ｎｅｔｗｏｒｋ和 Ｐｒｏｄｕｃｔ　Ｎｅｔｗｏｒｋ输出的高阶特征表示拼接起来作为一个新的 ＤＮＮ 的输入，使得整个模型能够联６７５１ 计　　算　　机　　学　　报 ２０１９年数训练．为了进一步挖掘不同高阶特征之间的交叉信息，ＤＰＳＮ 中将拼接后的特征向量输入到一个新的 ＤＮＮ 中，如图１所示．这里隐层的数量是可调整的，当隐层数为０时，Ｓｔａｃｋｉｎｇ　Ｎｅｔｗｏｒｋ就简化为拼接各高阶特征，然后进行预测输出的功能．实际上，后续实验结果说明，增加少量隐层确实可以在一定程度上提升预测性能．假设Ｓｔａｃｋｉｎｇ　Ｎｅｔｗｏｒｋ的输入层有（ｎＤ＋ｎＰ）个节点，这里ｎＤ表示 Ｄｅｅｐ　Ｎｅｔｗｏｒｋ的最后１个隐层的节点数，ｎＰ表示 Ｐｒｏｄｕｃｔ　Ｎｅｔｗｏｒｋ的最后１个隐层的节点数，输入层的节点与第１个隐层的节点全连接，隐层之间的节点都采用全连接，隐层中每个节点的激活函数ｆ（·）都采用 ＲｅＬＵ，因此隐层中每个节点的输出值都采用式（５）计算，最后输出节点用于计 算 预 测 点 击 率，输 出 节 点 的 激 活 函 数 采 用Ｓｉｇｍｏｉｄ函数［２１］，预测点击率ｐ的计算公式如式（７）所示，这里ＷＳＬ表示最后１个隐层到输出节点的权重向量，ＷＳＬ∈RｎＬ，ｈＳＬ表示最后 １ 个隐层的输出向量，ｈＳＬ∈RｎＬ，ｂＳＬ表示输出节点的偏置．ｐ＝Ｓｉｇｍｏｉｄ（ＷＳＬｈＳＬ＋ｂＳＬ） （７）３．６　模型训练为了对融合结构中的权重和偏置参数进行学习，本论文使用对数损失函数作为目标函数来优化模型参数，如式（８）所示，　 Ｌ（θ）＝－１Ｎ∑Ｎｉ＝１（ｙｉｌｏｇｐ（ｘｉ，θ）＋（１－ｙｉ）ｌｏｇ（１－ｐ（ｘｉ，θ）））＋λ２ｗ２２（８）这里 Ｌ（θ）是 对数损失函 数，θ 表示融合 结构的参数，ｐ（ｘｉ，θ）表示根据样本ｉ的特征向量ｘｉ基于融合结构当前参数θ 计算得到的预测点击率，ｙｉ表示样本ｉ中关于点击行为的真实标记，有点击行为为１，无点击行为为 ０，Ｎ 表示 训 练 数 据 集 中 的 样 本 数，λ ｗ２２／２表示 Ｌ２正则化项［２２］，用于防止过拟合，λ是正则化参数，由 手动设 置，ｗ 是融合 结 构 中 所 有节点之间 边 的 权 重 向 量；参 数 学 习 的 目 标 是 求 解使对数损失函数最小的融合结构参数．论文使用随机梯度下降（Ｓｔｏｃｈａｓｔｉｃ　Ｇｒａｄｉｅｎｔ　Ｄｅｓｃｅｎｔ，ＳＧＤ）算法［２３－２４］来求解式（８）中的融合结构参数θ，包括节点之间边的权重和节点的偏置向量．这里对梯度下降求解的基本过程及涉及的参数进行简要介绍．ＳＧＤ 是利用了 Ｔａｙｌｏｒ展开式的一阶近似推导出来的，将损失函数Ｌ（θ）在初值的邻域内展 开，将 导 数 Ｌ／θ 记 为 关 于θ 的 梯 度 向 量ｇ（θ），得到如下表达式：Ｌ（θ）≈Ｌ（θ０）＋ｇ（θ０）Ｔ（θ－θ０）ｓ．ｔ．Ｌ（θ）＜Ｌ（θ０）ｇ（θ０）Ｔ（θ－θ０）＜０ （９）为了尽快降低损失函数的值，梯度向量ｇ（θ０）和参数差值向量（θ－θ０）的夹角需要达到１８０°，即沿负梯度方向下降．由此可以得到参数更新规则：θ－θ０＝－ηｇ（θ０）θ＝θ０－ηｇ（θ０） （１０）其中，η是一个比较小的正实数，也称为学习率或步长．根据式（９）、式（１０）得到的参数θ 能使得损失函数的值减小，因而更接近最优解．将式（１０）的结果记为θ１，按照相同的方式迭代地更新参数，参数最终会达到损失函数的极小值点，因此参数更新规则如式（１１）所示，ｔ＝０，１，２，…代表迭代轮次．θｔ＋１＝θｔ＋Δθｔ＝θｔ－ηｇ（θｔ） （１１）本节的最后对融合结构的参数复杂度进行一个简化的理论分析．假设 Ｎ 为特征域个数，Ｄ 为嵌入向量的维度，所有 ＤＮＮ 网络都有相同的隐层数 Ｌ，且每个隐层的节点数相同，记为 ｍ，则：（１）Ｄｅｅｐ　Ｎｅｔｗｏｒｋ的参数个数为（Ｎ×Ｄ＋Ｎ）×ｍ＋ｍ＋（ｍ２＋ｍ）×（Ｌ－１）．（２）Ｐｒｏｄｕｃｔ　Ｎｅｔｗｏｒｋ的参数个数为Ｎ×Ｄ＋Ｎ＋Ｎ×（Ｎ－１）（ ）２×ｍ＋ｍ＋（ｍ２＋ｍ）×（Ｌ－１）．（３）Ｓｔａｃｋｉｎｇ　Ｎｅｔｗｏｒｋ的参数个数为２×ｍ２＋２×ｍ＋（ｍ２＋ｍ）×（Ｌ－１）＋１．（４）融合结构的参数复杂度为（３Ｌ－１）ｍ２＋（３Ｌ＋１）ｍ＋（２Ｄ＋１．５＋０．５　Ｎ）Ｎｍ＋１．因此，在 ＤＰＳＮ 模型中，对模型参数影响 最 大的是每个隐层的神经元节点数，按照 ｍ 的２次方倍增长．此 外，每 个 ＤＮＮ 的 隐 层 数 也 会 影 响 模 型 参数，而嵌入向量维度和特征域数目通常只会影响从嵌入层到第一个隐层的模型参数．后续实验将会逐一对各个超参数对模型预测性能及参数复杂度的影响进行分析．３．７　模型的收敛性分析如３．６节所述，本文使用对数损失函数来最小化模型误差，因此模型的目标函数如式（８）所示：Ｌ（θ）＝－１Ｎ∑Ｎｉ＝１（ｙｉｌｏｇｐ（ｘｉ，θ）＋（１－ｙｉ）ｌｏｇ（１－ｐ（ｘｉ，θ）））＋λ２ｗ２２．目前已有大量的研究［２５－２６］证明，只要目标函数是凸函数，在数据线性不可分或有正则项时，使用梯度下降法求解模型参数一定能够收敛，即在梯度下降法７期 刘梦娟等：基于融合结构的在线广告点击率预测模型７７５１该数据集包含４５　８４０　６１６条真实展示广告的特征值与点击反馈，来自于 Ｃｒｉｔｅｏ公司连续７天的交易流量．为了减小数据规模及保持正负样本的比例平衡，该数据集已经对样本进行了负采样，使得点击率提升至约２５．６％．数据集包含１３个数值特征以及２６个分类特征，并且为了保护隐私，所有分类特征的值均被 Ｈａｓｈ到３２位的字符串上，因此这些特征现实含义是无法知晓的，同时有些特征存在缺失值．在本文的实验中，首先对缺失值进行了填补，然后按照５∶１的比例将样本按顺序划分为训练集和测试集．此外，为了降低实验的时间开销与空间开销，在不显著降低模型性能的前提下，本文弃用了５个特征取值过多的分类特征，即只使用了１３个数值特征和２１个分类特征，并且将数值特征转化为分类特征进行预处理．表３展示了本文实验采用的 Ｃｒｉｔｅｏ数据集的样本统计情况．目前，ｉＰｉｎＹｏｕ和 Ｃｒｉｔｅｏ数据集已逐步成为学术界衡量 ＣＴＲ 预测模型性能的基准数据集［５，１５，１７］．表 ３　Ｃｒｉｔｅｏ数据集的统计情况样本数 点击数 实际点击率 特征域数 特征数 嵌入层单元数训练集 ３８２０２９２７　 ９７８９３５０　 ０．２５６２４　 ３４　 ５６９３５４　 ３７４测试集 ７６３７６８９　 １９５６０８８　 ０．２５６１１　 ３４　 ５６９３５４　 ３７４实验使用 ＡＵＣ［２８］和 ＬｏｇＬｏｓｓ［２９］作为主要的评价指标，其中 ＡＵＣ是 ＲＯＣ曲线下的面积，ＡＵＣ值越大，说明 ＣＴＲ预测模型的性能越好；ＬｏｇＬｏｓｓ是交叉熵损失，ＬｏｇＬｏｓｓ越小，说明预测模型的性能越好．４．２　对比模型为了进行对比，本文选择了７种具有代表性的ＣＴＲ预测模型，包括 ＬＲ［２］、ＦＭ［１０］、ＧＢＤＴ＋ＬＲ［１１］以及最新的 ＦＮＮ［５］、ＰＮＮ［１５］、Ｗｉｄｅ　＆Ｄｅｅｐ［１６］、ＤｅｅｐＦＭ［１７］等深度学习模型．所有对比模型都是基于ＴｅｎｓｏｒＦｌｏｗ①实现的，对于包含深度神经网络的方案，为了简化，设置每个隐层节点的激活函数为 ＲｅＬＵ，输出节点的激活函数为 Ｓｉｇｍｏｉｄ，最优化参数求解均采用随机梯度下降法．此外，论文还对比了一种用投票机制做模型融合的方案，即分别用 ＦＮＮ 和 ＰＮＮ 学习模型得到 ＣＴＲ 预测值，再将两个 ＣＴＲ 预测值按各自０．５的权重求和作为融合模型的 ＣＴＲ 预测值，这种融合方案记为 ＦＮＮ＋ＰＮＮ．４．３　性能评价及分析本节将通过 ７ 组实 验对 ＤＰＳＮ 模型的性能进行评价，并对实验结果展开讨论．其中第１组实验用于验证 ＤＰＳＮ 模型的收敛性；第２组实验用于说明增加一阶特征权重信息对 ＦＮＮ 和 ＰＮＮ 模型预测性能的提升；第３组实验是分析不同的模型超参对ＤＰＳＮ 模型预测性能的影响，包括：隐层数、隐层节点数、激活函数、嵌入向量维度；第４组实验用于评价本文提出的新的嵌入层结构对 ＤＰＳＮ 模型预测性能的影响；第５组实验是对比单一结构和融合结构对模型预测性能的影响；第６组实验用于分析负采样对预测性能的影响；第７组实验是将 ＤＰＳＮ 模型与其它典型 ＣＴＲ 预测模型的 性能进 行 对比．论文在 ＧｉｔＨｕｂ上分享了本文的所有实验代码和实验结果②．４．３．１　ＤＰＳＮ 模型的收敛性验证本节将通过实验验 证 ＤＰＳＮ 融合模型 的收敛性．图８展示了 ＤＰＳＮ 融合结构在ｉＰｉｎＹｏｕ的１４５８、３３８６训练集上 ＬｏｇＬｏｓｓ随着训练轮次逐渐降低直至收敛 的 过 程，学 习 率 均 设 为 ０．００８．观 察 发 现，１４５８在２３２轮次收敛，３３８６在１７５轮次收敛，３３８６的收敛速度快于１４５８．由此可证明 ＤＰＳＮ 融合结构由于采用了交叉熵损失作为损失函数，因此能够保证模型的收敛性．为了获得更快的收敛速度，在后续实验中将学习率设置为０．１．图 ８　ＤＰＳＮ 在ｉＰｉｎＹｏｕ　１４５８和３３８６上的训练过程４．３．２　一阶特征权重节点对预测性能的影响ＤＰＳＮ 的一个重要改进是将ＦＭ 预训练的一阶特征的权重作为特征的信息加入到嵌入层，实验 ２７期 刘梦娟等：基于融合结构的在线广告点击率预测模型９７５１①②ＴｅｎｓｏｒＦｌｏｗ．ｈｔｔｐｓ：／／ｗｗｗ．ｔｅｎｓｏｒｆｌｏｗ．ｏｒｇ／本文实验代码和实验结果．ｈｔｔｐｓ：／／ｇｉｔｈｕｂ．ｃｏｍ／ｍｊｌｉｕ－ａｄｖｅｒ－ｔｉｓｉｎｇ都是沿着梯度下降的方向更新参数，逐步逼近目标函数的极小值．因此，只需证明式（８）是一个凸函数，即可证明模型收敛．在证明之前首先介绍两个定理．定理１．　凸函数的复合还是凸函数．定理２．　凸函数的正线性组合还是凸函数．证明．首先对于式（８）中的 Ｌ２正则项ｗ２２＝∑ｎｉ＝１ｗ２ｉ，显然，该项是处处可微分的凸函数，其中 ｗ 是模型的权重向量．因此只需证明式（８）中的对数损失函数是凸函数，记为Ｊ（θ）＝－１Ｎ∑Ｎｉ＝１（ｙｉｌｏｇｐ（ｘｉ，θ）＋　（１－ｙｉ）ｌｏｇ（１－ｐ（ｘｉ，θ））） （１２）由于 ＤＰＳＮ 模 型 使 用 Ｓｉｇｍｏｉｄ 函 数 作 为 最 终 输 出单元的激活函数，因此式（１２）中样本ｉ的输出预测值为ｐ（ｘｉ，θ）＝１１＋ｅ－ｖｉ（１３）其中ｖｉ是样本ｉ 最终输出节点的值．根据定理１与定理２，证明Ｊ（θ）是凸函数，只需证明式（１４）是凸函数，Ｆ（ｖ）＝－ｌｏｇ１１＋ｅ－（ ）ｖ＝ｌｏｇ（１＋ｅ－ｖ） （１４）对式（１４）求二阶导数，得：Ｆ′（ｖ）＝－ｅ－ｖ１＋ｅ－ｖ，Ｆ″（ｖ）＝ｅｖ（１＋ｅｖ）２０．由于二阶导数非负，Ｆ（ｖ）是关于ｖ 的凸函数，从而证明式（１２）为凸函数．因此得证式（８）为凸函数．４　实验及性能评价为了对提 出的 ＤＰＳＮ 模型的 预测性能进 行 评价，本文基于ｉＰｉｎＹｏｕ① 和 Ｃｒｉｔｅｏ② 两个公开数据集完成了大量的实验．本节首先对数据集及评价指标进行介绍，然后描述了８种作为对比的典型 ＣＴＲ 预测模型，最后通过７组实验展示 ＤＰＳＮ 模型的预测性能，并对实验结果展开讨论．４．１　ｉＰｉｎＹｏｕ和 Ｃｒｉｔｅｏ数据集及评价指标本文实验采用的ｉＰｉｎＹｏｕ数据集是ｉＰｉｎＹｏｕ公司在２０１３年发布的一个真实广告投放的数据集，包括曝光机会、竞价、点击、转化四类日志，其中曝光机会和点击日志可用于点击率预测．具体来说，在本文实验中，每个样本对应了一次广告曝光，特征信息包括用户的相关信息（例如用户类别标签、使用的浏览器、ＩＰ地址、所在区域、城市等）、广告位的相关信息（例如广告位的宽度、高度、可见性、所在网站的域名以及 ＵＲＬ等），投放的广告ＩＤ，以及最终的点击情况（用户点击为１，无点击为０）．考虑到 ＣＴＲ 预测模型是针对 每 个 广 告 商 的，因 此 本 论 文 采 用 了 其 中Ａｄｖｅｒｔｉｓｅｒ　ＩＤ 分别为 １４５８、３３８６、３３５８、３４２７的四个广告商的投放和点击日志分别建立 了四个数 据集．所有实验均采用前７天的样本作为训练集，采用后３天的样本作为测试集，表２展示了四个数据集中样本的统计情况．表 ２　ｉＰｉｎＹｏｕ四个数据集的统计情况样本数 点击数 实际点击率（１０－３） 特征域数 特征数 嵌入层单元数Ａｄｖｅｒｔｉｓｅｒ　ＩＤ＝１４５８训练集 ３０８３０５６　 ２４５４　 ０．７９５９６　 １６　 ５６０８０２　 １７６测试集 ６１４６３８　 ５１５　 ０．８３７８９　 １６　 ５６０８０２　 １７６Ａｄｖｅｒｔｉｓｅｒ　ＩＤ＝３３８６训练集 ２８４７８０２　 ２０７６　 ０．７２８９８　 １６　 ５５６８８４　 １７６测试集 ５４５４２１　 ４４５　 ０．８１５８８　 １６　 ５５６８８４　 １７６Ａｄｖｅｒｔｉｓｅｒ　ＩＤ＝３３５８训练集 １７４２１０４　 １３５８　 ０．７７９５２　 １６　 ４９１７００　 １７６测试集 ３００９２８　 ２６０　 ０．８６３９９　 １６　 ４９１７００　 １７６Ａｄｖｅｒｔｉｓｅｒ　ＩＤ＝３４２７训练集 ２５９３７６５　 １９２６　 ０．７４２５５　 １６　 ５５１１５８　 １７６测试集 ５３６７９５　 ３６６　 ０．６８１８２　 １６　 ５５１１５８　 １７６从表２观察发现真实互联网上广告投放的点击率是非常低的，即数据集中正负样本的比例严重不平衡，会使得模型对正样本的学习不充分，从而降低ＣＴＲ预测模型的精度［２７］．此外，可以发现独热编码后原始特征的数目是非常巨大的，达到５０万量级，将其直接输入 ＤＮＮ 必然导致巨大的计算开销，经过本文提出的嵌入向量映射后，使输入 ＤＮＮ 的单元数目大幅下降为１７６，这里假设每个嵌入向量的维度为 Ｄ＝１０．Ｃｒｉｔｅｏ数据集是 Ｃｒｉｔｅｏ公司在２０１４年 Ｋａｇｇｌｅ平 台上发起的展示广告点击率预测大赛的数据集．８７５１ 计　　算　　机　　学　　报 ２０１９年①②ｉＰｉｎＹｏｕ：ｈｔｔｐ：／／ｄａｔａ．ｃｏｍｐｕｔａｔｉｏｎａｌ－ａｄｖｅｒｔｉｓｉｎｇ．ｏｒｇ／Ｃｒｉｔｅｏ　ｈｔｔｐ：／／ｌａｂｓ．ｃｒｉｔｅｏ．ｃｏｍ／２０１４／０２／ｄｏｗｎｌｏａｄ－ｋａｇｇｌｅ－ｄｉｓｐｌａｙ－ａｄｖｅｒｔｉｓｉｎｇ－ｃｈａｌｌｅｎｇｅ－ｄａｔａｓｅｔ／