【光电智造】计算机视觉新高度，机器摄像头瞟一眼就记住所有细节，远超碳基生命视觉系统以及记忆系统

今日光电 2024-03-27 18:01

TI MCU方案：电动汽车实时控制 【有奖直播】精密半导体参数测试解决方案

今日光电

有人说，20世纪是电的世纪，21世纪是光的世纪；知光解电，再小的个体都可以被赋能。追光逐电，光赢未来...欢迎来到今日光电！

----追光逐电光赢未来----

由麻省理工学院CSAIL研究人员开发的FeatUp，提高了任何深度网络或计算机视觉系统视觉基础的分辨率。

想象一下，你瞥了一眼繁忙的街道几秒钟，然后试图从记忆中勾画出你所看到的场景。大多数人可以画出汽车、人和人行横道等主要物体的大致位置，但几乎没有人能以像素级的精确度画出每一个细节。对于大多数现代计算机视觉算法来说也是如此：它们擅长捕捉场景的高级细节，但在处理信息时会丢失细致的细节。

现在，麻省理工学院的研究人员创建了一个名为“FeatUp”的系统，允许算法同时捕捉场景的高层次和低层次细节——几乎就像给计算机视觉做了激光眼睛手术。

当计算机通过查看图像和视频学习“看”时，它们通过所谓的“特征”建立对场景中内容的“想法”。为了创建这些特征，深度网络和视觉基础模型将图像分解成一格格的小方块，并将这些方块作为一个组进行处理，以确定照片中正在发生什么。每个小方块通常由16到32个像素组成，因此这些算法的分辨率远小于它们处理的图像。在尝试总结和理解照片时，算法会丢失大量的像素清晰度。

FeatUp算法可以阻止这种信息损失，并提高任何深度网络的分辨率，而不会影响速度或质量。这允许研究人员快速轻松地提高任何新的或现有算法的分辨率。例如，尝试解释肺癌检测算法的预测，目标是定位肿瘤。在使用类似类激活映射（CAM）方法解释算法之前应用FeatUp，可以得到一个明显更详细（16-32倍）的视图，根据模型可能位于肿瘤的位置。

FeatUp不仅帮助从业者理解他们的模型，还可以改善各种不同的任务，如对象检测、语义分割（将图像中的像素与对象标签相对应）和深度估计。它通过提供更准确的高分辨率特征，这对于构建从自动驾驶到医学成像等视觉应用至关重要，从而实现了这一点。

“所有计算机视觉的本质在于这些深度学习架构深处涌现的深层、智能特征。现代算法的一大挑战是它们将大图像简化为非常小的‘智能’特征网格，获得智能洞察但丢失了细节，”麻省理工学院电气工程与计算机科学系的博士生、计算机科学与人工智能实验室（CSAIL）附属成员、该项目论文的共同首席作者马克·汉密尔顿说。“FeatUp帮助实现了两全其美：具有原始图像分辨率的高度智能表示。这些高分辨率特征显著提升了计算机视觉任务的性能，从增强对象检测和改进深度预测，到通过高分辨率分析提供网络决策过程的更深入理解。”

分辨率复兴

随着这些大型AI模型变得越来越普遍，解释它们在做什么、在看什么、在想什么的需求也在增加。

但FeatUp是如何发现这些细致的细节的呢？奇怪的是，秘密在于轻微地调整图像。

特别是，FeatUp对图像进行轻微调整（比如将图像向左或向右移动几个像素），并观察算法对这些轻微图像移动的响应。这产生了数百个略有不同的深度特征图，可以组合成一套清晰的、高分辨率的深度特征集。“我们想象一些高分辨率特征的存在，当我们摆动它们并模糊它们时，它们将与所有原始、较低分辨率特征匹配。我们的目标是学习如何将低分辨率特征精炼成高分辨率特征，通过这个‘游戏’让我们知道我们做得如何，”汉密尔顿说。这种方法类似于算法如何从多张2D图像创建3D模型，确保预测的3D对象与用于创建它的所有2D照片匹配。在FeatUp的情况下，它们预测与通过晃动原始图像形成的所有低分辨率特征图一致的高分辨率特征图。

该团队指出，PyTorch中可用的标准工具无法满足他们的需求，并在寻求快速高效解决方案的过程中引入了一种新型的深度网络层。他们的自定义层，一种特殊的联合双边上采样操作，比PyTorch中的简单实现高出100倍以上。该团队还展示了这个新层如何改善包括语义分割和深度预测在内的各种不同算法。这个层提高了网络处理和理解高分辨率细节的能力，给任何使用它的算法带来了实质性的性能提升。

“另一个应用是所谓的小物体检索，我们的算法允许精确定位物体。例如，即使在杂乱的道路场景中，通过FeatUp丰富的算法也可以看到像交通锥、反光器、灯和坑洞这样的小物体，而它们的低分辨率对应物则失败了。这证明了它将粗糙特征增强为精细信号的能力，”加州大学伯克利分校的博士生、新FeatUp论文的另一位共同首席作者斯蒂芬妮·傅说。“这对于时间敏感的任务特别关键，比如在拥挤的高速公路上准确指出交通标志。这不仅可以通过将广泛的猜测转化为精确的定位来提高这些任务的准确性，还可能使这些系统更可靠、可解释和值得信赖。”

接下来是什么？

关于未来的愿景，团队强调FeatUp在研究界和更广泛的领域内的潜在广泛采用，类似于数据增强实践。“目标是使这种方法成为深度学习中的基本工具，丰富模型以更细致地感知世界，而不会带来传统高分辨率处理的计算低效率，”傅说。

“FeatUp代表着向着使视觉表示真正有用的方向迈出的美妙进步，通过以全图像分辨率产生它们，”康奈尔大学计算机科学教授诺亚·斯纳夫利说，他没有参与这项研究。“在过去几年中，学习到的视觉表示变得非常好，但它们几乎总是以非常低的分辨率产生——你可能输入一个漂亮的全分辨率照片，然后得到一个微小的、邮票大小的特征网格。如果你想在产生全分辨率输出的应用中使用这些特征，这就是一个问题。FeatUp以一种创造性的方式解决了这个问题，将超分辨率中的经典思想与现代学习方法结合起来，产生了美丽的、高分辨率的特征图。”

“我们希望这个简单的想法可以有广泛的应用。它提供了我们之前认为只能是低分辨率的图像分析的高分辨率版本，”高级作者、麻省理工学院电气工程与计算机科学教授、CSAIL成员威廉·T·弗里曼说。

领头作者傅和汉密尔顿由麻省理工学院CSAIL的当前或前附属成员、博士生劳拉·布兰特SM '21、阿克塞尔·费尔德曼SM '21以及周通·张SM '21、博士 '22共同完成。他们的研究部分由国家科学基金会研究生奖学金、国家科学基金会和国家情报总监办公室、美国空军研究实验室以及美国空军人工智能加速器资助。该团队将在5月的国际学习表示会议上展示他们的工作。

来源：新机器视觉