MediaTek AI技术论文入选CVPR会议

今天同大家分享MediaTek对于AI的研发，首先我们从CVPR说起：

CVPR（IEEE Conference on Computer Vision and Pattern Recognition）是人工智能领域的年度盛会，聚集了全球范围内研究计算机视觉和人工智能技术的科技企业、学者以及从业者。如此级别的盛会中，今年MediaTek通过3篇会议论文，1篇研讨会论文以及1个竞赛项目冠军向大众展示了AI研究的实力。

《Unified Dynamic Convolutional Network for Super-Resolution with Variational Degradation》

单图像超分辨率（SISR）的目标是在低分辨率（LR）图像的基础上重建高分辨率（HR）图像。近些年基于深度卷积神经网络（CNN）的方法执行SISR任务时，在保持和优化图像质量方面取得了显著成果。并且，MediaTek已使用动态卷积来解决多样可变的退化问题。

在本文中，MediaTek提出了一个统一的框架UDVD（用于可变退化的统一动态卷积超分辨率网络），该框架使用动态卷积来处理变化的跨图像和图像内降级，包括超分辨率应用的噪声、模糊和下采样。我们通过大量的实验，多方位分析了动态卷积性能的影响。分析显示：就目前来说，在合成、优化图像领域中，所提出的UDVD性能效果均优于现有技术。

《Learning to See Through Obstructions》

MediaTek与合作研究人员提出了一种基于学习的算法，可以从移动摄像机拍摄的短视频中去除不必要的障碍物，例如窗户中的反射，遮挡的栅栏或雨滴等等。我们的方法是通过利用背景元素与障碍元素之间的运动差异，来恢复这两层图像。

我们在估算两层的密集光流场与通过深度卷积神经网络从流扭曲图像重建每一层两个步骤之间进行交替运算。基于学习的层重构使我们能够适应流量估算中的潜在错误以及诸如亮度一致之类的脆性假设。我们的实验表明，训练综合生成的数据可以很好地传输到高还原度图像。

MediaTek已在许多使用场景中（玻璃反射和栅栏去除）的测试证实了该方法的可行性。

《Single-Image HDR Reconstruction by Learning to Reverse the Camera Pipeline》

从单一的低动态范围（LDR）输入图像中恢复高动态范围（HDR）图像非常具有挑战性，这是由于相机传感器的量化、饱和导致曝光不足/过度区域中细节的缺失。

与现有的学习方法相反，我们的核心思想是将LDR图像形成的领域知识整合到我们的模型中。我们将HDR到LDR的图像形成管线建模为以下三个阶段：

（1）动态范围裁剪

（2）相机响应函数的非线性映射

（3）量化

然后，建议学习三个专用的CNN来逆转这些步骤。通过将问题分为特定的子任务，我们施加了特定的物理约束，以训练单个子网络。并且，我们共同对整个模型进行端到端微调，以减少错误的叠加。

MediaTek，致力于提升及丰富大众生活。