神经网络是简化快照压缩成像采样的关键

由图森亚利桑那大学的 Minghao Hu 和杭州西湖大学的 Zongliang Wu 领导的国际研究小组进行了多维计算成像实验，将经典快照压缩成像系统与他们提出的系统进行比较，其中涉及多尺度流形采样和神经解压缩。他们发现他们的方法实现了可比的图像质量，并且由于人工神经网络处理能力的预期进步而具有广阔的前景。

该小组的研究成果于 8 月 16 日发表在Science Partner 期刊《智能计算》上。

相机和其他传感器可用于捕获丰富的数据，但数据越准确，数据的捕获、存储和处理就越难以管理。解决方案是采样，即采取策略性间隔或屏蔽的目标快照，并将它们组合起来，通过利用数据中计算上可猜测的相关性来获得近似原始值的东西。面临的挑战是做出明智的权衡，以便设置和操作易于管理，并且尽管被压缩，但结果仍具有良好的质量。

在称为快照压缩成像的技术集合中，编码孔径快照光谱成像仪专门用于捕获颜色信息，编码孔径压缩时间成像仪专门用于视频。这些称为 CASSI 和 CACTI 的系统可能会因依赖神经网络进行图像重建的方法而黯然失色。

神经网络使系统更加紧凑且易于实现，因为它们以更通用的方式执行优化，从而允许不太复杂的采样类型，例如多尺度流形采样。

CASSI 风格的 隔行扫描 采样就像在摄影中使用滤色镜，而多尺度流形采样更像是立体对成像，并且可以在相机阵列上实现，灵活且可扩展。这种相机阵列甚至可以在捕获图像时进行编程。

研究人员的多尺度流形采样系统使用一种称为 变压器 的神经网络进行视觉数据处理。特别是，它是一个物理感知的变压器网络，因此该系统被称为PAT。

研究人员使用模拟数据比较了 PAT 和 CASSI 与九个色带的成像。他们的定量分析表明，这两种方法都有优点和缺点：PAT 图像在结构相似性方面得分较高，而 CASSI 图像在峰值信噪比方面得分较高。

他们还使用模拟数据比较了视频的 PAT 和 CACTI。这两个系统取得了相似的结果，但 PAT 系统的设置更容易且成本更低。

此外，研究人员还通过成功重建两个场景来演示 PAT。一张以高分辨率灰度和低分辨率彩色拍摄，另一张使用四相机阵列拍摄，可拍摄三种颜色和纹理。

版权声明：本文由用户上传，如有侵权请联系删除！