2024-03-20 09:51
想象一下看一会儿繁忙的街道，然后尝试勾画出从记忆中看到的场景。大多数人都可以画出汽车、人和人行横道等主要物体的大致位置，但几乎没有人能够以像素完美的精度画出每个细节。大多数现代计算机视觉算法也是如此：它们非常擅长捕捉场景的高级细节，但在处理信息时会丢失细粒度的细节。
据外媒报道，麻省理工学院（MIT）的研究人员创建出名为“FeatUp”的系统，可以让算法同时捕获场景的所有高级和低级细节——几乎就像计算机视觉的激光近视手术一样。
图片来源：麻省理工学院
当通过查看图像和视频来学习“看”时，计算机会通过称为“特征”的东西建立对场景中内容的“想法”。为了创建这些功能，深度网络和视觉基础模型将图像分解为小方块网格，并将这些方块作为一个组进行处理，以确定照片中发生了什么。每个小方块通常由16到32个像素组成，因此这些算法的分辨率比它们处理的图像要小得多。在尝试总结和理解照片时，算法会损失大量像素清晰度。
FeatUp算法可以阻止这种信息丢失并提高任何深度网络的分辨率，而不会影响速度或质量。这使得研究人员能够快速、轻松地提高新的或现有算法的分辨率。例如，想象一下尝试解释肺癌检测算法的预测，以定位肿瘤。在使用类激活图（CAM）等方法解释算法之前应用FeatUp，可以根据模型产生肿瘤可能所在位置的更加详细的（16-32x）视图。
扫一扫关注微信
