助力生成高清视频——最新去隔行和缩放算法分析

我们必须承认，要将标准清晰度（SD）电视图象上转换成高质量高清晰度（HD）图象是极其困难的。它涉及到了图象处理、数学计算和实时处理等问题。但是，上转换(upconversion)却是当前广播和消费电子行业的一个焦点话题。

多格式和格式转换

高清晰广播信道需要将现有的标准清晰度视频文件、电影和广告转换成HD格式，以便能通过HD信道将之进行广播，并要保持高质量的图象。

另外，HD平板液晶或等离子电视以及视频投影器都必须显示逐行扫描HD图象，不管接入图象的格式是什么——这些图象一般大多为隔行标准电视图象。

视频格式的数量正在不断增多，它们特征各异，有着不同的图象尺寸（行和列的数量）、不同的时间采样率（每秒帧数）和不同的空时采样样式（隔行或非隔行）。

隔行视频的上转换

要从SD内容中获得高质量HD视频，需要进行一个超分辨率(super-resolution)处理过程，该过程基于现有象素以最可能好的分辨率来计算缺失象素。它可以分为两个步骤：第一个步骤是去隔行(deinterlacing)——计算输入的隔行视频每个区域内缺失的偶数行或者奇数行；第二个步骤是缩放(scaling)——扩大图象尺寸以提高输出分辨率。输出图象质量大多取决于去隔行的效率，而去隔行正是最难的过程。

图1：标准清晰度和高清晰度电视格式的行x列大小

视频/电影

隔行视频一般有一个更为复杂的时间结构，尤其是当电影被转换成隔行视频或当文本或图标被插入到图象中时。其中著名的3:2下拉和2:2下拉算法是通过在一定时间内重复扫描场来将电影的24Hz输入转换成60或50Hz的视频频率的而产生的。由于视频源的多种多样，各种算法也越来越复杂。这些算法有些可能是在后期制作阶段产生的，接下来就需要逐象素算法检测来适当处理这些内容。

去隔行和缩放

在20世纪80和90年代，去隔行的最大困难在于如何以最小的成本进行实时数字视频处理。因此，降低操作次数和存储要求就变得非常必要，于是产生了两种简单方法：空间线加倍和时间交织。

动作自适应(Motion adaptive)去隔行

随着处理能力的提高，这些基本方法已经被线性空间插值和时间插值所替代。插入这些信号会产生各种混叠赝像(artifact)，包括周期样式上的锯齿和波纹效应。

梳状赝像也会像图2及图3中的中下部分所显示的那样。这是由因图像边缘(高频部分)引起的空间混叠现象和快速动作引起的时间混叠现象导致的。

图2：移动和日历序列的去隔行。左上：线加倍。左下：空间插值。中上：时间交织。中下：时间插值。右上：动作自适应。右下：Let It Wave的去隔行。

当清晰空间转变中没有或者仅有很少的动作时，时间插值效果有很好的效果，而在流畅空间区域则是空间插值的效果较好，即便有快速的动作。一个改进的方法就是将二者结合起来，综合它们的长处——这就是动作自适应算法。图2和图3的右上部分展示了改进后的效果以及典型遗留赝像。

图3：电影抓取文本的去隔行。左上：线加倍。左下：空间插值。中上：时间交织。中下：时间插值。右上：动作自适应。右下：Let It Wave的去隔行。

此时，只有在硬件结构上做文章，提高计算能力，才能够实现创新，而不是创建新的算法。为了减少空间插值的赝像，边界自适应插值被采用——它可以使空间插值适配局部图象结构的方向。这种自适应方向插值器减少了由固定空间插值器产生的赝像，但不能完全消除，因为单个区域的数据不够，不能进行精确的方向插值。因此，去隔行视频可以采用一个时间抖动（抖动赝像），此时偶数和奇数区域中的方向插值不显示连贯信息。但是，这种改进型方法已经被用于整个电视行业的几乎所有动作自适应去隔行程序中。

动作补偿(Motion compensated)去隔行

当清晰图象结构移动时，动作自适应技术还不够精密。业界和图象处理研究组织一般把动作补偿当作下一代技术。在这种技术中，首先是计算每个象素的动作，然后对缺失的象素进行沿时间置换方向的时间插值。因此，这种插值是沿着补偿动作的时间方向而进行的。开发一个可靠的动作补偿去隔行技术是视频转换领域过去10年里一项最重要的探索。但是，在付出了时间和努力之后，迄今还没有一种关于动作自适应技术的具有预期效果的动作补偿算法产品问世。

动作补偿是基于这么一种设想的，即单个动作可以和每个图像象素关联起来，而这个也被称为光流的动作可以被计算。但光流研究结果表明，这种设想是错误的。首先，单个动作不能永远和一个象素相关联（透明性）。第二：光流估算本身就不是完全可靠的，而且被认为是一个不恰当的问题。这并是说动作永远都无法被精确测量，而是不可能总是被精确测量。

因此，动作补偿算法只是测量其动作计算的可靠性，而当可靠性不够时，就采用空间插值。要获得理想结果，就需要非常谨慎，并进行多次空间插值。因此这经常会导致和动作补偿算法同类的赝像，且需进行更多操作。

Let It Wave公司的超分辨率法和总差异

动作自适应算法的性能是有限制的，因为缺失的象素是从一套有限的可用象素中计算出来的。动作补偿算法能在一个全三维时空领域内应用信息，但由于动态估算误差的原因，稳定性又更低。

Let It Wave的方法是基于缺失象素的整个3D环境来计算它的。这些缺失的象素图象不需要假设，而是可以依据生成图象的质量来计算。这意味着将一个有关这一备选结果图象的通用规律性标准最小化。

图4：（上图）动作自适应算法以一个来自同一位置前后象素的空间插值或时间插值来计算缺失的象素。（下图）Let It Wave的超分辨率法在一个完整的时空领域范围内搜索能将产生的总差异最小化的方向插值。

如图4右边所示，方向插值通过插入一个或多个可用象素（位于一条以特定时空方向穿越缺失象素的线旁边）来计算缺失的象素。任何方向插值都可优先利用。这表明超分辨率框架包含了所有之前被应用过的方法：一个指令0插值就是复制一个位于沿时空方向的缺失象素前面或后面的象素。

线加倍和时间交织算法就是这样分别沿着垂直空间方向和时间方向的复制。一个指令插值可能会在两个沿着特定时空方向的象素之间被计算，或者会有一个更高指令多项式插值采用沿着该方向的两个象素。不同的插值会产生不同的估算结果。因此，所有可能估算的集合就是选择一系列时空方向和一组沿着这些方向的不同插值的结果。

必须有一个标准来选择一个备选估算器。这个标准必须是对比性的，采用一个有关视频信号的数学规范。一个总的差异规范测量抖动和图象差异（抖动和闪烁都属于时空抖动赝像）的幅度，而不会导致不连续性。事实可以证明，图形的总差异必定和边界的总长度成比例，不管这些边界是非连续的还是流畅的过渡。这个规范可用来选择恰当的备选估算器。

当最好方向插值的选择被限制到一个太小的时空领域时，最好的估算器可能也不是理想的。这时就可以由时空细带门限法借助一个来自已计算最好插值器方向的时空几何流来调整估算。

缩放

在去隔行之后，一列场被转换成一列包含了偶数列和奇数列的全帧。在进行一次恰当的去隔行之后，采样密度不够再生出最高的图象频率，但优化型线性滤波器产生的混叠却比它用来进行去隔行时产生的相对较小。

每个象素

一个电影帧被分成两个或三个对应偶数行或奇数行的场。去隔行过程必须通过对应的全帧来替换每个场。这要求复制对应一个特定时空插值的象素。因此，电影的去隔行就需要识别一个恰当的时空插值。Let It Wave公司认为，这和去隔行其它任何隔行式视频是一样的。因此，可以通过尽可能减少同类局部总差异测量来进行，因为这样可以找到恰当的时空插值。

摄影噪音、压缩失真和模糊

上转换的去隔行和缩放需要考虑削弱输入要素（如摄影机噪音、压缩赝像和模糊），以防止这些因素会增强。MPEG2和MPEG4压缩视频的输入要素是最难削弱的。在上转换这些视频时，要在不增加赝像的前提下消除失真是非常困难的。

线性和自适应滤波

简单线性滤波是一个用来消除噪音的基本但功能强大的信号处理方法。它采用一个预设的线性滤波器来平均化噪音图象，从而削弱噪音。这个过程也平均了边界等清晰图象结构的模糊度。其它简单的非线性滤波器，如中值滤波器等，可以提供更清晰的边界图象，但也会使不规则纹理变得模糊，而且无法消除常规区域的噪音。

3D滤波器利用了空间和时间来消除噪音。时间信息的优势在数字内容上常常受到限制，因为MPEG压缩产生的时间关联会导致时间信息的偏差。

先进多尺度图象滤波

小波和多尺度算法是在自适应线性滤波基础上的重要改进。微波系数能以不同尺度、在不同位置测量局部图象变化。将小波系数设为零并设置门限，可以在多个尺度上消除图象波动，相当于将图象平均到一个和图象内容局部匹配的尺度上。事实证明，小波门限算法具有适合大型图象包括边界图象的理想适应性特征。

图5：（左）经过上转换的帧(该帧从被相机噪音影响了的隔行视频中计算而来)。（右）包括了细带门限（用于消除噪音）的上转换。

Let it Wave公司从其核心细带处理中开发出一种非线性降噪方法，结合格式转换，来提供最好的输出图象。图5中左边的图象展示的是一个经过上转换的噪音帧（从噪音隔行视频中计算而来），而右边展示的则是结合了上转换并消除了噪音之后的效果。

图6：（左）受蚊式噪音和区块赝像影响的被压缩电影帧。（右）通过细带门限法消除了失真后的效果。

细节增强

在上转换之后，模糊的SD图象并不能产生期望的HD清晰度，而人们却往往会想要增加清晰度和输出级别的细节。抑制模糊需要放大信号高频率，而此举又往往会放大噪音。

我们可以通过将最小细带系数门限设置为零（大都由噪音决定），并放大最大系数来实现同时减少模糊和噪音的效果。如此一来，细带细节增强可在不会产生抖动赝像的前提下同时消除噪音并提高图象清晰度。

总结

SD至HD上转换的难度是非常大的，因为它需要依据噪音和失真输入图象、以较高的数据率计算缺失象素。要开发更高效的程序，需要在从计算到图象处理和快速并行算法的整个范围内进行创新。

Let It Wave公司的上转换器是基于数个核心数学和算法工具而成的。尽管全时空处理过程非常复杂，但它仅采用了一个中等尺寸的FPGA，就能进行所有这些计算，并集成了以数据流方法设计而成的并行算法。

作者：Alban d'Halluin

Let It Wave公司