NEC与东京工业大学联合开发“多模图像融合技术”

本篇文章1371字，读完约3分钟

Nec与日本国立大学(以下简称东京理工大学)法人东京理工学院(tokyo institute of technology)的Aofu Masami教授的研究团队共同开发了多模式(Note 1)图像融合技术，通过ai技术自动高效地合成普通相机拍摄的可见光图像和热成像相机拍摄的不可见光图像，提高了拍摄单张图像时的视觉识别度。

将该技术应用于需要即时视觉识别的各个领域，即使在恶劣的条件下也能实现正确的判断。例如，设施监测可以在夜间或浓雾等恶劣天气条件下正常进行；即使耀眼的前灯和迎面而来的汽车的黑暗造成视觉死角，也可以使用的自动驾驶支持；它不仅可以监测建筑物表面的裂缝，还可以监测异常基础设施的抽查等。

过去，为了合成由不同种类的照相机拍摄的图像，专家必须进行复杂的手工合成工作。然而，该技术通过人工智能技术自动有效地合成由各种摄像机采集的图像，而无需人工操作。并且充分利用可见光图像和不可见光图像各自的优势，即使是过去人眼难以看清的场景也能获得较高的视觉识别度。

Nec和东京理工学院将继续联合开发图像处理和人工智能相关技术，以工业大学合作的形式支持各种社会基础设施的安全运行。

[背景]

近年来，在图像传感器不断升级和成本不断降低的背景下，使用了能够捕捉物体内部结构的热成像相机和x光。太赫兹波？毫米波摄像机等非可见光摄像机广泛应用于夜间、大雾、背光灯和遮蔽物等恶劣条件下的监测和诊断。然而，这些不可见摄像机的分辨率和图像质量低于可见摄像机的分辨率和图像质量，这使得视觉上难以识别。因此，有必要将可视摄像机一起使用，通过比较两侧的图像进行监控和诊断。因此，很难快速准确地判断物体的状况。要解决这个问题，最好的方法是将两种图像组合成一幅图像。然而，在过去，精通相机和摄影环境的专家需要手动调整并从其单独的图像中提取适合合成的部分，同时在执行复杂的图像合成操作时注意防止过度曝光和曝光不足以及噪声增强对图像的损害。此外，用于判断异常和危险物体的不可见光中包含的特征可能由于合成而丢失，这也是一个重要的问题。

Nec和东京理工学院学习了专家的人工智能技术转换技巧，并自动高效地整合可见光相机和不可见光相机拍摄的图像，从而提高物体的质量。基于对情况的视觉识别程度，我们共同开发了多模式图像融合技术，即使在恶劣环境下也能快速判断是否存在异常或危险物体。

图1:该技术的应用示例(注2)

[新技术的优势]

Ai技术从多幅图像中自动选择视觉识别率高的图像，并在合成图像的同时强调不可见光中包含的小特征，从而实现打破以往局限的高视觉识别率。

Ai技术将根据热成像相机、太赫兹相机等相机类型、环境特征(亮度、光线方向、有无障碍物)等不同条件，对图像中各个部分的视觉识别程度进行评估，从而自动从每个图像中提取最合适的部分。

此外，在处理非可见光相机拍摄的图像时，ai技术将分析异常和危险物体的细微特征，并进行适当的强度调整，以避免因过度曝光和曝光不足而损坏图像，从而自动生成视觉识别度高的多模式(可见光-不可见光)融合图像，这是以前无法实现的。

(注1)多式联运(多式联运)

各种各样的模式和形式。本文所指的多模是指可见光相机拍摄的图像和红外相机等非可见光相机拍摄的图像。

(注2)在创新研发推广项目“艰难机器人挑战赛”中获得恶劣环境模拟设备的许可和使用。