全球有数百家公司在开发自动驾驶汽车（AV）技术12承诺彻底改变所有人的交通方式。目前，行业涵盖两个细分领域：全自动叫车系统和带驾驶辅助的消费级车辆13.在消费类车辆中，机器学习（ML）解决方案显著提升了技术水平，但在特殊或具有挑战性的情况下，仍需人工干预，这些情况下，已学习过的规划者可能无法确定正确的行动14.由于驾驶至关重要，这些罕见的故障非常重要，因此驾驶员必须能够预见并做好准备15.然而，机器学习规划者的不透明性使得解读和传达决策原因具有挑战性，这也妨碍了人类驾驶员理解和预测自动驾驶行为的能力，同时实现实时态势感知16,17,18.

 

自动驾驶与人类驾驶员之间缺乏有效沟通，导致多起高调事件，其中一些导致死亡 7,8,9，强调了让机器学习规划者易于理解的紧迫需求11.以往的研究通过调查和模拟情景试图解决这个问题19,20,21,22,23,24,25,26，一个模拟自动驾驶的人类驾驶员 27,28，或为自然语言驱动政策提供理论的语言模型3,29 .然而，这些研究属于理论，未能提供因果忠实的解释，仅在模拟中评估，或未能令人信服地展示解释对终端用户的实际效用。这就留下了一个问题：如何在现实环境中提供易于理解、有用且忠实于AV决策过程的解释。

 

为了回答这个问题，我们扩大了在可解释设计深度强化学习方面的工作10利用概念瓶颈模型文献中的主题30提出概念封装网络（CW-Net）。CW-Net将黑箱机器学习规划器的推理建立在人类可理解的概念上，如“接近停车车辆”或“靠近骑行者”。该方法根植于案例推理，这是一种经典的人工智能（AI）方法31,32,33,34灵感来源于人类推理和记忆的认知模型35.CW-Net 可以应用于任意预训练的深度神经网络，无需从头重新训练，也不降低原始黑盒机器学习规划器的性能。由于推断出的概念是CW-Net最终决策模块的唯一输入，直接决定AV行为，我们称之为因果忠实。值得注意的是，我们的方法与流行的事后解释方法形成鲜明对比 36,37这些应用到预训练模型上，且从结构上讲并不保证对模型决策过程的忠实性38.

 

我们将CW-Net应用于经过逆强化学习训练的机器学习规划器，该规划器通过逆向强化学习模拟人类驾驶行为 1,2.我们将预训练深度神经网络的最终（奖励）层替换为概念分类器，随后是新的奖励层。然后我们联合训练分类器和新的奖励层，分别预测情景类型和驱动决策，而无需修改网络的其他部分。大规模基准评估39确认CW-Net能够在不影响驾驶行为的情况下对概念进行分类。为了研究这些解释的效用，我们在一辆有安全驾驶员的真实自动驾驶汽车上进行了半自然主义研究，使用了CW-Net40.我们展示了三种情况，驾驶员最初不准确的心理模型随后通过CW-Net解释得到改进，从而使驾驶员能够更准确地预测自动驾驶者的行为。随后，我们在模拟这些情景的大型在线研究中观察到类似的心理模型提升。最后，我们将这些结果与更复杂的现实情境联系起来，在拉斯维加斯的公共道路上部署了CW-Net。我们在一项大型在线研究（n = 100）中使用这些新数据，证明心理模型的优良度提升会带来预测能力和情境感知的提升。总体而言，我们的工作展示了可解释深度学习如何帮助高级自主系统用户改进其心理模型，更好地预测其未来行为。

 

黑箱规划器

我们重点关注视听技术栈的规划模块（见图）。1a），输入场景上下文s，输出轨迹\（\widehat{\tau }\）。这里，s 是由感知模块计算的场景符号面向对象表示，\（\widehat{\tau }\） 是后续控制模块应遵循的轨迹。我们采用深度神经网络架构 1,2由场景编码器 H（s） → h 和轨迹发生器 G（s） → {τ1，......，τk}，后面跟着场景轨迹编码器E（h， τi） → zi以及最后的奖励层 R（z）i） → ri（图。1b）。H 计算一个嵌入 h 的场景，G 计算一组 k 条候选轨迹 {τ1, …， τk}.这些元素在E中组合以计算嵌入z。i对于每个轨迹τi.最后，R 计算出一个估计的奖励 ri对于每个轨迹τi，量化了它的人类相似度。换句话说，ri当 τ 时 更高i更像是人类在这种情况下的驾驶方式。

 

图1：规划型建筑。

图1：规划型建筑。

全尺寸图像

a，杀毒软件栈。感知模块处理感官输入以生成场景上下文s。规划模块处理 s 计算轨迹 \（\widehat{\tau }\），随后是控制模块。b，黑盒机器学习规划器。这里，s 被输入轨迹生成元 G，生成候选轨迹 {τ1，......，τk}，以及场景编码器H，H生成嵌入h的场景。这些数据输入编码器E，生成场景轨迹嵌入zi对于每个 τi这些 又被送入奖励层 R，后者计算奖励 ri对每个弹道。该模型训练为对更接近真实人类轨迹的轨迹输出更高奖励。c，CW-Net。与 b 相同，唯独 zi输入到概念分类器C，生成概念赋值C。i.这些奖励会被输入新的奖励层R′，以产生\（{r}_{i}^{{\prime} }\）奖励。并行地，ci被处理以生成解释。奖励层被训练为优先选择与黑盒机器学习规划器相同的轨迹，而概念层则通过真实情景标签监督。在训练过程中，褪色部件的重量会被冻结。靠近，靠近另一辆车;ASV，接近停滞车辆;BIKE，靠近骑行者。经参考文献许可改编。1，IEEE。

 

在推理过程中，每次迭代选择奖励最高的轨迹：

 

$$\widehat{\tau }=\mathop{\text{arg}\，\text{max}\，}\limits_{\tau \in \{{\tau }_{1}\ldots {\tau }_{k}\}}R（E（{\bf{h}}，\tau ））$$

我们利用逆强化学习来训练规划师80小时的人类专家驾驶 1,2.

 

规划对人友好的概念

为了使机器学习规划器可理解，我们修改了规划器架构，进一步提供其行为的解释10.我们对可解释人工智能的工作定义如下。41他们将其定义为“能够向人类用户解释其理由，描述其优缺点，并传达对未来行为的理解的人工智能系统”。

 

具体来说，我们将 R 替换为概念分类器 C（z）i） → ci，随后是新的奖励层 \（{R}^{{\prime} }（{{\bf{c}}}_{i}）\to {r}_{i}^{{\prime} }\）（图。1c）。概念分类器C计算Logit向量c。i该数据通过一个软极大层和/或S形层，进而为不同的人类可理解概念赋予概率。当 \（{R}^{{\prime} }\） 从 c 计算轨迹奖励时i最终决策完全基于这些概念分配;因此，它们构成了因果忠实的解释。网络的其他部分保持不变。

 

与黑盒规划器类似，轨迹的选择是根据以下方式进行的

 

$$\hat{\tau }=\mathop{\text{arg max}\，}\limits_{\tau \in \{{\tau }_{1}...{\tau }_{k}\}}{R}^{{\prime} }（C（E（{\bf{h}}，\tau ）））$$

我们训练CW-Net共同预测概念标签，并模拟黑箱规划者的驱动决策。具体来说，ci通过对应场景类型的标签进行监督，如“接近停滞车辆”或“靠近骑行者”（完整概念列表见方法，“概念细节”）。这确保了CW-Net为c中的每个单元分配一个唯一可解释的概念i.同时，\（{r}_{i}^{{\prime}}\）由黑盒规划器通过交叉熵损失选择轨迹来监督。训练期间，深度神经网络（H、G和E）被冻结（详见方法，“CW-Net训练”）。我们的研究重点是这种特定的机器学习规划器架构（但也考虑了其他方案;参见扩展数据图。1），指出先前的研究表明CW-Net能够有效地推广到其他架构10.

 

概念分类

作为基线，我们首先在nuPlan数据集上使用nuPlan模拟器，利用闭环模拟，评估了黑箱规划器（不含CW-Net）39（扩展数据表1）总体而言，成绩与nuPlan挑战赛的顶尖作品具有竞争力，尽管从停止开始时性能略有不足（见方法，“模拟结果”）。这表明存在改进空间，更重要的是，有机会研究不良行为的解释。

 

随后，我们评估了包裹在黑盒规划器上的CW-Net的驾驶性能（扩展数据表1）。结果等效，所有指标差异均小于1%，确认我们的方法未降低驾驶性能。我们还评估了对未保留数据集（补充表1和表2）的概念分类。平均准确率为54%，准确率23%，回忆率77%，F1评分为0.31（参见方法，“模拟结果”）。总体而言，这些结果表明CW-Net可以用来基于人类可解读的概念，将高性能机器学习规划者的决策建立在基础上，同时不牺牲驾驶性能。

 

部署中的心理模型改进

我们的核心假设是，CW-Net的解释将改善人类驾驶员对自动驾驶车辆的心理模型，进而提升他们的态势感知能力。这在意外情况下尤为突出，这时解释最为有用42.具体来说，这些解释应提升驾驶员理解和应对防控故障原因的能力，同时也能预测其未来行为。

 

为了验证这一假设，我们在私人赛道上的真实杀毒软件上使用 Lab2Car 包装器部署了 CW-Net40并观察安全驾驶员对意外事件及相应CW-Net解释的反应（见图）。这些情况并非计划性，而是自然发生，研究人员干预极少，每天只制定高层次计划。这种半自然主义的研究设计使我们能够评估解释在自然发生的意外情境中的效用。为了衡量自动驾驶的可预测性，我们记录驾驶员在这些情境下对自动驾驶行为做出反事实预测的能力。为了记录驾驶员的心理模型及其预测能力，我们还记录了他们在考虑CW-Net解释前后的思考43.我们关注的是与其他道路使用者相关且易于反事实测试的概念（参见方法，“概念细节”）。

 

图2：部署设置。

图2：部署设置。

全尺寸图像

现场有一名安全驾驶员、一名支持工程师和一名研究员。安全驾驶员在路考间手动驾驶自动驾驶，每次测试开始时自动驾驶，测试期间监控自动驾驶表现，并在不安全驾驶时接手。支持工程师部署了CW-Net并设定了场景目的地。研究员负责测试。仪表盘包含一张地图，叠加了感知模块的物体检测结果和输出轨迹（\（\widehat{\tau }\））。CW-Net的解释\（{{\bf{c}}}}_{\widehat{i}}\）以百分比表示，便于解释50.PUDO，行人接送。

 

附近车辆意外停车

我们观察到AV多次在行人接送区前不久停下（见图。3a）。司机的直觉是车辆停车是因为有接送区，但解释显示规划者停车是因为检测到车辆“靠近另一辆车”（CLOSE概念）。为了验证这一假设，司机手动将车辆驶离停放的车辆更远。此时，闭合概率下降，房室开始再次移动，支持了另一种假说。完整的事件时间线详见图。3a. 我们将CLOSE概率截距与AV的全局速度拟合，发现它准确预测了该事件的停止和启动。