研究人员开发新的计算机视觉和深度学习方法 从受环境影响的视频中提取准确数据

据外媒报道，耶鲁-新加坡国立大学学院（Yale-NUS College）的研究人员开发了新的计算机视觉和深度学习方法，可从受雨水和夜间条件等环境因素影响的视频中的低级视觉中提取更准确的数据。此外，研究人员还提高了视频中3D人体姿态估计的准确性。

计算机视觉技术可用于自动监控系统、自动驾驶汽车、医疗保健和社交距离工具等应用，但经常受到环境因素的影响，可能会对提取的数据造成问题。低光照条件以及强光、光晕和泛光照明等人造光效应都会影响夜间图像。在雨天，图像也会受到雨条纹或雨水积累的影响。

Yale-NUS College副教授Robby Tan称，“许多计算机视觉系统，如自动监控和自动驾驶汽车，都依赖输入视频的清晰可见性来运行。例如，自动驾驶汽车无法在大雨中稳定工作，闭路电视自动监控系统在夜间经常失灵，尤其是在黑暗的场景，或有明显眩光或泛光照明的情况下。”

该团队基于两项独立的研究，引入深度学习算法，以提高夜间和雨天视频的质量。第一项研究专注于提高亮度，同时抑制噪声和灯光影响，如眩光、光晕和泛光，以创建清晰的夜间图像。该项新技术旨在提高夜间图像和视频的清晰度。

第二项研究引入帧对齐方法，可不受雨条纹的影响，获得更好的视觉信息，雨条纹通常在不同的帧中随机出现。该团队使用移动摄像头进行深度估计，有助于消除雨幕效应。现有方法主要去除雨条纹，而新开发的方法可同时去除雨条纹和雨幕效应。

同时，研究小组还展示了可用于视频监视、视频游戏、体育广播等领域的3D人体姿态估计技术。过去几年，关于单目视频中3D多人姿态估计的研究越来越多。与多摄像头拍摄的视频不同，单目视频更灵活，可使用手机等单摄像头拍摄。

在同一场景中，多个个体的活动会影响人类检测的准确性。当个体在单目视频中密切互动或相互重叠时，尤其如此。该研究小组的第三项研究结合现有的两种方法，从视频中估计3D人体姿势。与其他两种方法相比，新方法在多人环境下，可生成更可靠的姿态估计，而且更适合处理个体之间的距离。

Tan教授表示，“下一步我们将研究如何保护视频隐私信息。计算机视觉对于许多应用而言至关重要，如让自动驾驶汽车在恶劣天气条件下更好地工作。我们将努力开发提高能见度的方法，为该领域的进步做出贡献。”