处理具有高空间维度和丰富时态信息的时空数据源是机器智能中无处不在的需求。机器学习领域的递归神经网络和神经形态计算领域的生物启发脉冲神经网络分别是通过外在动力学和内在动力学处理时空数据的两种有前途的候选模型。然而，这些网络具有不同的建模范式，这会导致不同的性能结果，使它们在实践中难以涵盖不同的数据源和性能要求。构建一个统一的建模框架，能够在不同情况下有效和自适应地处理可变的时空数据，仍然相当具有挑战性。在这项工作中，我们提出了通过在统一的代理梯度学习框架和 Hessian 感知神经元选择方法下将递归神经网络和脉冲神经网络相结合来创建的混合时空神经网络。通过灵活调整两种神经元之间的比率，混合模型在平衡不同的性能指标方面表现出更好的适应性，包括几个典型基准的准确性、稳健性和效率，并且通常优于传统的单范式递归神经网络和脉冲神经网络。此外，我们证明了所提出的网络在不同环境中执行机器人任务的巨大潜力。通过我们的概念验证，所提出的混合模型提供了一种通用的建模路线，用于在开放世界中处理时空数据源。

 

毫不夸张地说，对数据学习的渴求是正在进行的智能时代的核心。能够有效地处理多尺度复杂时空信息对于许多实际应用非常重要，例如在自动驾驶汽车中处理视频、在移动阅读应用程序中解释书面文本以及在户外机器人中管理各种类型的传感器数据。然而，准确、可靠和高效地处理这些复杂数据仍然是一个重大挑战，尤其是在具有不同性能要求的不同环境中。

 

在主流机器学习中，非尖峰递归神经网络 （RNN） 是处理时空数据的关键模型。与传统的前馈架构不同，RNN 将递归连接整合到标准人工神经网络 （ANN） 模型中，使它们能够捕获时间模式。虽然 RNN 广泛用于语音识别等各种应用1、语言建模2和 State Control3，由于反向传播 （BP） 学习期间梯度消失，它们无法学习长时间依赖性4.为了解决这个问题，长短期记忆 （LSTM） 网络等变体5已经开发。这些高级模型配备了额外的门控单元，擅长捕获长期的时间依赖关系，但代价是增加了计算复杂性。

 

与此同时，人们对神经形态计算作为开发既计算高效又受生物启发的智能模型的替代途径的兴趣日益浓厚。脉冲神经网络 （SNN），被认为是第三代神经网络6是最著名的神经形态模型家族。每个尖峰神经元的行为由膜电位的非线性动力学和相邻神经元之间通信的二元尖峰机制来描述7.与外部复发诱导的 RNN 的外在动力学不同，SNN 中的动力学本质上存在于每个神经元内。神经元内的时间动态和通过网络的空间数据流使 SNN 非常适合处理时空数据。到目前为止，SNN 已广泛用于尖峰流处理8语音识别9、 ECG 信号分析10、状态控制11等。

 

面向机器学习的 RNN 使用密集矩阵乘法进行计算，使用连续激活进行神经元间通信;相反，面向神经形态计算的 SNN 使用稀疏矩阵累积进行计算，使用二进制尖峰进行神经元间通信。与 RNN 的连续激活状态空间相比，SNN 的尖峰状态通常在离散空间中演变。通过这些区别，已经证明 RNN 在常规连续数据源（例如语音信号和语言文本）上实现了更高的准确性，而 SNN 更适合离散数据源12例如动态视觉传感器 （DVS） 收集的事件流13.由于膜电位泄漏的自然过滤效应以及脉冲神经元的尖峰放电和重置机制，SNN 对时间分辨率的变化表现出很强的鲁棒性12和对抗性攻击14.此外，由于尖峰的二进制格式和尖峰活动的稀疏性，SNN 模型的计算成本可以远低于相同网络结构下的非尖峰模型12,15 元.

 

基于上述分析，可以看出，由于不同的建模范式，RNN 和 SNN 呈现出不同的性能结果。但是，在实际场景中，数据源的类型各不相同，例如连续数据或离散数据，性能要求也可能高度多样化。例如，高功能精度最受云用户关注，而低计算成本对于能量受限的边缘设备更为重要。此外，对于系统中的许多核心组件，如何保证对内部噪声或外部攻击的高鲁棒性成为主要的设计考虑因素。即使我们可以构建一个特定的模型来完成每项任务，但它的效率也很低，因为当任务发生变化时，研究人员无法直接应用在建模探索中积累的经验。为了摆脱“一任务一模型”的困境，在各种场景下处理时空数据时，人们非常期待一个统一的建模框架来实现自适应的准确性、鲁棒性和效率。

 

在这里，我们报告了一个统一的建模框架，该框架通过协同组合 RNN 和 SNN 来处理时空数据源，从而创建混合时空神经网络 （HSTNN）。为了使混合模型可学习，我们的工作建立在统一的学习方法之上，即时间反向传播 （BPTT），并通过代理函数进行增强，该函数适用于 RNN 和 SNN，从而为混合提供了可能性。此外，我们利用了一种经典的修剪方法16,17 元实现从 RNN 和 SNN 群体中选择神经元，并进一步开发神经元感知的三阶段杂交解决方案以创建 HSTNN。它利用 Hessian 梯度信息，并支持在训练阶段自动学习混合结构。在几个典型的时空数据集基准上，HSTNN 通过调整两种类型神经元之间的配置，在平衡准确性、稳健性和效率方面的不同性能指标方面表现出更好的适应性，并且通常优于传统的单范式 RNN 和 SNN。通过机器人位置识别任务，我们证明了 HSTNN 在不同环境中的巨大潜力。总体而言，拟议的 HSTNN 提供了一种有吸引力的方式，可以在开放世界中自适应地处理可变的时空数据源。

 

结果

创建 HSTNN

通常，RNN 和 SNN 在神经编码、计算和通信方面采用不同的策略，导致在专用设备上的性能和应用适用性不同。如何整合 RNN 和 SNN 的不同特征并整合它们的互补优势是设计 HSTNN 的一个开放但最重要的问题。神经形态领域的最新进展表明，人们对一种将非递归神经网络转换为脉冲网络的混合方法的兴趣激增18、19、20、21、22 元.几项研究23,24 元探索了在层级集成非递归 ANN 和 SNN 模块。然而，需要详细说明为每个特定任务提前指定固定的异构网络，并且仍然缺乏一种支持有效集成不同时间动态和处理时空数据流的混合方法。

 

为了保持不同神经元的特征，我们采取解耦策略来保留不同神经元的不同时空动态，并允许神经元水平的混合信息传递。HSTNN 的一般结构如图 2 所示。1a. 每个混合层包含两个神经元群，一个 RNN，一个带有人工神经元，一个带有尖峰神经元的 SNN。两个群体从前一层接收相同的混合输入，独立更新各自的时空动态，并通过连接 RNN 和 SNN 输出来协同发送混合输出。在每个混合层中，每个神经元仅连接到属于同一群体的神经元。