感觉器官从环境中捕获信息并将其转换为神经元信号，由大脑在认知过程中解释。这种转换称为感官编码。

 

同样，感觉假体将来自传感器的信息转换为人工刺激参数，以取代自然功能（人工感觉编码）。然而，假肢装置的输入范围通常比生物系统小得多。例如，神经植入物中的电极数量通常比感觉神经元的数量少几个数量级1,2.因此，人工感官编码是降维的一种形式。来自传感器的高维信息被简化为几个刺激参数，同时试图最大限度地保留信息，因此很少有电极可以以大脑可以读取和理解的格式写入信息。一个值得注意的例子是人工耳蜗中的听觉编码，其中声音被转换为听觉神经内几个频率区域的电刺激3、4、5.这个过程允许聋人听到声音。同样，假肢为截肢者提供触觉反馈，以增强手部灵活性，增加假肢体现，并改善他们的生活质量6、7、8.

 

人工感官编码在视觉假体中也发挥着巨大作用。人工视觉编码将外部摄像头捕获的高分辨率图像转换为视网膜传递的人工刺激的时空模式9、10、11、12视神经13,14或皮质假体15,16.人工视觉编码对于改善患者的感知至关重要，但它并不简单。在视网膜中，信息从大约 1.2 亿个光感受器流向大约 120 万个视网膜神经节细胞 （RGC），这些视网膜神经节细胞 （RGC） 分为几类，这些细胞投射到多个脑核，包括外侧膝状核，然后投射到发生进一步图像处理的视觉区域17,18,19,20.视觉信息过程的复杂性需要先进的编码策略，以确保对视觉神经元的有效刺激，从而产生有用的人工视觉。

 

迄今为止，已经有几种视觉假体植入患者体内16、21、22、23、24、25、26，但大多数设备都经过测试，只能使用简单的图像编码技术（例如像素平均）识别字母和形状。在Argus® II中，这是迄今为止植入最多的设备，像素平均与视频滤波器结合使用，将相机图像下采样到植入阵列的分辨率（6×10像素）。最近，已经有相当多的研究致力于开发更好的图像编码算法。一些方法包括对象检测、边缘检测和内容感知重定向方法27,28.通常，此类方法旨在降低图像的复杂性并突出有趣的内容和功能。例如，边缘检测可以识别图像中亮度的不连续性，以定位物体的轮廓。通过减少信息量，用户可以更好地感知环境。然而，这些算法没有考虑从光感受器到RGC的视网膜信息处理。因此，它们的编码潜力可能有限。

 

为感官系统找到适当的人工输入以引起所需的感知是一个不合理的问题：有多个输入可能会产生相同的输出。在线性系统中，可以通过测量系统对一系列任意输入（正向路径）的响应，然后计算其逆向（反向路径）来确定产生所需输出的能力。确定正向通路需要测量整个系统的响应，这在生物系统中几乎是不可能的，因为细胞数量众多，测量电极的数量和分辨率都很低。然而，即使系统的正向路径被完全表征，对于涉及许多变量的大规模系统，获得其逆向（后向路径）也是计算密集型的。此外，神经元处理是非线性的，并且仅通过部分测量进行探测，从而使这个问题进一步复杂化。

 

人们已经付出了巨大的努力来生成计算机视网膜模型（正向通路），这些模型可能用于有效的人工视觉编码29,30,31,32.视网膜信息处理很复杂33,34，找到一个高性能的计算机视网膜模型至关重要，因为它将直接影响图像编码算法的结果。近年来，卷积神经网络（CNN）在视网膜建模方面非常成功，并且优于线性-非线性模型或广义线性模型等传统方法35,36，当呈现白噪声和自然场景时，它们在捕捉视网膜动态方面效果较差35,36.因此，使用CNN对视网膜进行建模在改善人工视觉编码方面具有巨大潜力。

 

尽管如此，鉴于在前向路径中获得的一组有限的测量值，估计后向路径的计算方法对于人工视觉编码是必要的。同样，神经网络在解决病态逆问题方面表现良好37.因此，我们提出了一种基于端到端神经网络的视网膜建模和图像编码方法，其中考虑了视网膜信息处理。我们验证了一个参与者模型框架，该框架旨在通过基于学习的方法学习非线性下采样模式37,38.通过测量神经元可靠性来评估性能35.通过将测量的视网膜信息处理集成到框架中，我们证明，与无学习方法（即像素平均）相比，生成的下采样图像引发了具有更高神经元可靠性的神经元反应（+4.9% 计算机模拟和 +2.9% 离体，中位数百分比增加）。在此过程中，actor 网络学会了优化对比度，内核的权重演变为类似于 RGC 感受野 （RF） 的墨西哥帽形状。这些属性协同工作，可实现有效的下采样。

 

本研究中使用的参与者模型框架是通用的，可用于其他图像编码过程，甚至可用于人工感官编码的其他领域，例如听觉和触觉。尽管属于不同的感觉通路，但听觉和触觉具有相似的特性，使我们能够假设其他感觉编码系统的潜在有效性34,39.这种基于学习的方法可以作为未来编码策略的模板，解释感觉器官中发生的自然转化过程。更有效的编码方法需要大脑可以更好地解释编码的信息，从而改善假肢使用者的感知。