近日，电子科技大学自动化工程学院研究团队在期刊《神经网络》上发表研究性论文。该文首次提出毫米波近场透视成像与可见光的图像融合方法。

随着目标检测技术的快速发展，多种传感器在提升检测精度方面发挥着关键作用。可见光传感器（如摄像头）在捕捉纹理、结构信息方面表现出色，但仅限于获取表面信息，在遮挡或复杂环境下其检测能力受限。为弥补这一缺陷，近场毫米波成像技术因其具备透视能力、非破坏性检测和生物安全等特性，受到广泛关注。该技术能够通过处理回波生成高分辨率的内部缺陷图像，特别适用于工业制造、建筑检测和航空航天等领域的质量控制与安全检测。然而，传统毫米波成像面临特征稀疏的问题，导致生成的图像信息单一，难以满足高精度检测需求。针对无损检测、遮挡条件下的目标定位等场景，毫米波与可见光图像的融合提供了一种有效的解决方案。随着多视角智能检测需求的增加，高效整合多模态图像信息以提升目标表征能力，已成为亟待解决的研究课题。然而，目前尚未开展相关研究。

该研究提出了一种高效的近场毫米波透视与可见光图像融合方法，旨在克服粗粒度毫米波模态的信息稀疏问题，实现高分辨率的多模态图像融合。本研究基于深度学习中的迁移学习策略，应用典型SwinFusion框架，设计出一款从红外与可见光图像融合数据集中学习先验的信息融合算法，该算法能够有效地整合毫米波和可见光图像的互补信息。同时，通过引入双边滤波损失函数，显著提升了算法对毫米波图像摩尔纹噪声的抑制能力，确保融合结果在精度和鲁棒性方面均表现优异。

实验结果表明，该方法在真实环境下展现了更高的融合精度与优异的目标检测效果，为多模态图像融合提供了新的解决思路，尤其适用于内部缺陷检测、目标定位等需要穿透成像的应用场景中，具有重要的实际应用价值。

此外，研究构建了首个近场毫米波与可见光图像融合数据集（MMVI数据集），有助于研究者验证并优化个性化算法，推动近场雷达成像领域的发展。

相关论文信息：http://doi.org/10.1016/j.neunet.2024.106799