洛桑联邦理工学院的研究人员开发了一种机器学习方法，可以比无学习计算方法更准确地压缩图像数据，并应用于视网膜植入物和其他感觉假体。
开发更好的神经假体的一个主要挑战是感觉编码：将传感器从环境中捕获的信息转换为可以被神经系统解释的神经信号。 但是，由于假肢中的电极数量有限，因此必须以某种方式减少这种环境输入，同时仍保持传输到大脑的数据的质量。
视网膜假体数据压缩的进展
Demetri Psaltis（光学实验室）和Christophe Moser（应用光子学器件实验室）与朱尔斯-戈宁医院的Diego Ghezzi合作，将机器学习应用于压缩多维度图像数据的问题，如颜色、对比度等。 在他们的案例中，压缩目标是下采样，或减少通过视网膜假体传输的图像像素数。
“视网膜植入物的下采样目前是通过像素平均来完成的，这基本上是图形软件在你想减小文件大小时所做的。 但归根结底，这是一个数学过程; 不涉及学习，“Ghezzi 解释道。
原始图像的比较（左）;使用非学习计算处理的图像（中）;以及使用 actor 模型框架处理的图像。图片来源：© EPFL CC BY SA
基于学习的图像下采样方法
“我们发现，如果我们应用基于学习的方法，我们在优化感官编码方面得到了改进的结果。但更令人惊讶的是，当我们使用不受约束的神经网络时，它学会了自己模仿视网膜处理的各个方面。
具体来说，研究人员的机器学习方法，称为演员模型框架，特别擅长寻找图像对比度的“最佳点”。Ghezzi 以 Photoshop 为例。“如果将对比度滑块向一个方向或另一个方向移动得太远，图像就会变得更难看清。我们的网络改进了过滤器，以重现视网膜处理的一些特征。
研究结果最近发表在科学期刊《Nature CoRevolutionizing Vision Restoration Through Artificial Intelligencemmunications》上。
计算机模拟和离体验证
在参与者模型框架中，两个神经网络以互补的方式工作。模型部分或前向模型充当视网膜的数字孪生：它首先被训练以接收高分辨率图像并输出与生物视网膜生成的神经代码尽可能相似的二进制神经代码。然后，对参与者网络进行下采样，以对高分辨率图像进行下采样，该图像可以从前向模型中引出尽可能接近生物视网膜响应原始图像而产生的神经代码。
利用这个框架，研究人员在视网膜数字孪生和小鼠尸体视网膜上测试了下采样图像，这些视网膜已被移除（移植）并放置在培养基中。这两项实验都表明，参与者模型方法产生的图像引发了更类似于原始图像响应的神经元反应，而不是由无学习计算方法（如像素平均）生成的图像。
尽管使用外植小鼠视网膜涉及方法学和伦理学方面的挑战，但Ghezzi说，正是这种对他们模型的离体验证使他们的研究成为该领域的真正创新。
“我们不能只相信数字或计算机模拟模型。这就是我们进行这些实验的原因——以验证我们的方法。
其他感官视野
由于该团队过去有研究视网膜假体的经验，这是他们首次使用演员模型框架进行感觉编码。但Ghezzi看到了将该框架在视觉恢复领域内外的应用扩展到其他领域的潜力。他补充说，重要的是要确定使用小鼠视网膜验证的模型中有多少适用于人类。
“显而易见的下一步是看看我们如何更广泛地压缩图像，超越像素缩减，以便框架可以同时处理多个视觉维度。另一种可能性是将这种视网膜模型转移到大脑其他区域的输出中。它甚至可能与其他设备相关联，如听觉或假肢，“Ghezzi说。
暂无评论内容