干掉大小流切换 I 帧!阿里云 RTC QoS 及视频编码联合优化之切流编码

阿里云视频云 2022-01-20 15:28


如果要在两条分辨率不同的视频流之间切换,尽管这两条流的画面内容基本一样,但是由于两条流的参考帧不同,分辨率不同,目前所有的视频编码标准都无法做到利用帧间预测编码得到编解码匹配的结果,而帧内预测编码即 I 帧的压缩效率是非常低下的,因此在切流处很容易造成视频质量下降或由于码率突增引起的卡顿;阿里云 RTC codec 在前代标准的基础之上通过独创的切流编码技术和网络层 QoS 体系的紧密配合可以做到在此种场景下仍然利用帧间预测编码 P 帧且编解码匹配,相比于 I 帧显著提升压缩效率,提升视觉体验。

作者|安基程、田伟峰

审校|泰一

1. 背景介绍

一条视频流,如果中途改变分辨率,对于目前主流的 H.264/AVC, H.265/HEVC 标准来说,必须要编码 I 帧,即只能利用帧内信息冗余,如图 1(左)所示;新一代的编码标准如 AV1,H.266/VVC 等可以做到利用帧间信息冗余,不编 I 帧,以提升压缩效率,基本原理是通过对参考帧进行缩放,使得参考帧和当前帧的分辨率一致,如图 1(右)所示,阿里云 RTC codec 的变分辨率编码(Resolution Change Coding,以下简称 RCC)技术也具备该能力,详情请参考我们之前的分享:《阿里云 RTC QoS 弱网对抗之变分辨率编码》

本文将要介绍的切流编码(Stream Switch Coding,以下简称 SSC)技术是对 RCC 技术的升级。

image.png

图 1. 变分辨率示意图(左:传统插入 I 帧方式;右:参考帧缩放技术)


H.264/AVC 标准的 SP slice 技术可以用于切换两条分辨率一样的视频流,但是对于切换两条分辨率不同的视频流则无能为力。

AV1 标准的S frame 虽然可以用于从高分辨率的流切换到低分辨率的流,但是其会造成编解码不匹配,有误差传播风险。

2. 切流场景简介

image.png

图 2. 多流场景示意图

图 2 展示了多流场景,一个 publisher 上有两个 encoder: Enc0, Enc1, 分别发送大分辨率的流和小分辨率的流 (以下简称大流和小流),两路流的画面内容是一样的,只是分辨率,码率不同,所以清晰度不同,subscriber 可以根据自己网络状况等选择订阅不同的流,比如网络好的时候就收大流,网络差的时候收小流,图 2 中共有 6 个 subscriber 也即 6 个 decoder,其中 Dec0, Dec1, Dec2 接收的是大流,Dec3, Dec4, Dec5 接收的是小流。


image.png

图 3. 常规切流示意图


图 3 展示了发生切流时的变化,其中 Dec3 刚开始收的是小流,后面由于某种原因(如网络变好)切换到了大流,则 Enc0 必须要发送一个 I 帧来实现切流,此 I 帧会影响到所有接收大流的 subscriber (如图中的 Dec0, Dec1, Dec2,实际情况中可能会有更多的订阅者),造成切流瞬间的编码质量下降或码率突增。图中绿色箭头代表了 Dec3 接收的帧。但是如果直接将 Enc0 的 P 帧送给 Dec3, 肯定也是不行的,因为两条流的参考帧不一样,分辨率也不一样,必然造成解码错误(编解码不匹配),正是由于这些困难,目前所有的视频编码标准都未能解决这个痛点。然而阿里云 RTC Codec 通过独创的 SSC 技术可以做到在两条分辨率不同的流之间进行切换时也能够利用帧间信息冗余不编 I 帧,提升压缩效率。

image.png

图 4. 本文 SSC 技术切流示意图

图 4 展示了利用 SSC 技术进行切流,同样是 Dec3 从小流切换到大流,在切流时 Enc0 编码了一个 PDS 帧,Enc1 编码了一个 PSS 帧,图中的绿色箭头表示了 Dec3 接收的帧,其通过接收一个 PSS 帧实现了切流。PDS 帧本文称之为目标流切换帧(P frame for Destination-stream Switch),PSS 帧本文称之为源流切换帧(P frame for Source-stream Switch),Dec0, 1, 2 和之前相比,接收的 I 帧变成了 PDS 帧,Dec3 接收的 I 帧变成了 PSS 帧,PDS 帧和 PSS 帧都利用了帧间信息冗余进行编码,因此压缩效率相对于 I 帧有显著提升。

3. 测试结果

PDS 帧压缩性能测试

本文通过测试一个视频会议序列 FourPeople 来比较 I 帧,P 帧,和 PDS 帧的压缩性能。将该序列分别压缩为全 I 帧,全 P 帧(除了第一帧为 I 帧),和全 PDS 帧(除了第一帧为 I 帧)。图 5 展示了压缩结果,横坐标为码率,纵坐标为 PSNR,精确计算 BD-rate 显示,同等质量下,P 帧可以比 I 帧节省 93% 码率,PDS 帧在具备 I 帧的切流能力的同时可以比 I 帧节省 66% 码率。

image.png

图 5. PDS 帧压缩性能展示

本测试直接说明如果将一个序列每帧都编码为 I 帧,则其每帧都具备切流能力,但是损失了压缩性能,如果都编码为 P 帧,虽然可以比 I 帧节省 93% 码率,但是完全不具备切流能力,如果都编码为 PDS 帧,则可以在保留 I 帧切流能力的同时,比 I 帧节省 66% 码率。

实际场景中一般不会每帧都出现切流的情况,本测试表明在切流处,目标流利用 PDS 帧可以比 I 帧节省 66% 码率。

PSS 帧压缩性能测试

由于 PSS 帧涉及到分辨率的切换,用传统(如 H.264, H.265 标准)的 P 帧已无法编码,所以本文只比较了 I 帧和 PSS 帧的压缩性能。本文使用了一个大小分辨率帧交错的视频会议序列来测试,即偶数帧为大分辨率,奇数帧为小分辨率,分别编码全 I 帧,和全 PSS 帧(除了第一帧为 I 帧)。同等质量下,PSS 帧比 I 帧可以节省 29% 码率。

image.png

图 6. 常规连续切流示例


image.png

图 7. 本文 SSC 技术连续切流示例

本测试直接表明的是一个不断切流的场景,如图 6 所示,Dec3 不断的在大小流之间切换,图 6 展示的是用原有编码 I 帧的切流方式,则 Dec3 收到的全是 I 帧,图 7 展示的是用本文的 SSC 技术的切流方式,Dec3 收到的则全是 PSS 帧,本测试说明在这种情况下 PSS 帧可以比 I 帧节省 29% 码率,率失真曲线如图 8 所示。

image.png

图 8. PSS 帧压缩性能展示

实际场景中一般不会出现一直切流的情况,本测试表明在切流处,源流利用 PSS 帧可以比 I 帧节省 29% 码率。

综上,利用本文展示的阿里云 RTC 独创的 SSC 技术,在切流处,目标流可以比 I 帧节省 66% 码率,源流可以比 I 帧节省 29% 码率。

「视频云技术」你最值得关注的音视频技术公众号,每周推送来自阿里云一线的实践技术文章,在这里与音视频领域一流工程师交流切磋。公众号后台回复【技术】可加入阿里云视频云技术交流群,和作者一起探讨音视频技术,获取更多行业最新信息。


阿里云视频云 「视频云技术」你最值得关注的音视频技术公众号,每周推送来自阿里云一线的实践技术文章,在这里与音视频领
评论
  • 【萤火工场CEM5826-M11测评】OLED显示雷达数据本文结合之前关于串口打印雷达监测数据的研究,进一步扩展至 OLED 屏幕显示。该项目整体分为两部分: 一、框架显示; 二、数据采集与填充显示。为了减小 MCU 负担,采用 局部刷新 的方案。1. 显示框架所需库函数 Wire.h 、Adafruit_GFX.h 、Adafruit_SSD1306.h . 代码#include #include #include #include "logo_128x64.h"#include "logo_
    无垠的广袤 2024-12-10 14:03 69浏览
  • 一、SAE J1939协议概述SAE J1939协议是由美国汽车工程师协会(SAE,Society of Automotive Engineers)定义的一种用于重型车辆和工业设备中的通信协议,主要应用于车辆和设备之间的实时数据交换。J1939基于CAN(Controller Area Network)总线技术,使用29bit的扩展标识符和扩展数据帧,CAN通信速率为250Kbps,用于车载电子控制单元(ECU)之间的通信和控制。小北同学在之前也对J1939协议做过扫盲科普【科普系列】SAE J
    北汇信息 2024-12-11 15:45 70浏览
  • 时源芯微——RE超标整机定位与解决详细流程一、 初步测量与问题确认使用专业的电磁辐射测量设备,对整机的辐射发射进行精确测量。确认是否存在RE超标问题,并记录超标频段和幅度。二、电缆检查与处理若存在信号电缆:步骤一:拔掉所有信号电缆,仅保留电源线,再次测量整机的辐射发射。若测量合格:判定问题出在信号电缆上,可能是电缆的共模电流导致。逐一连接信号电缆,每次连接后测量,定位具体哪根电缆或接口导致超标。对问题电缆进行处理,如加共模扼流圈、滤波器,或优化电缆布局和屏蔽。重新连接所有电缆,再次测量
    时源芯微 2024-12-11 17:11 68浏览
  • 我的一台很多年前人家不要了的九十年代SONY台式组合音响,接手时只有CD功能不行了,因为不需要,也就没修,只使用收音机、磁带机和外接信号功能就够了。最近五年在外地,就断电闲置,没使用了。今年9月回到家里,就一个劲儿地忙着收拾家当,忙了一个多月,太多事啦!修了电气,清理了闲置不用了的电器和电子,就是一个劲儿地扔扔扔!几十年的“工匠式”收留收藏,只能断舍离,拆解不过来的了。一天,忽然感觉室内有股臭味,用鼻子的嗅觉功能朝着臭味重的方向寻找,觉得应该就是这台组合音响?怎么会呢?这无机物的东西不会腐臭吧?
    自做自受 2024-12-10 16:34 136浏览
  • 习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习笔记&记录学习习笔记&记学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记
    youyeye 2024-12-10 16:13 105浏览
  • 全球知名半导体制造商ROHM Co., Ltd.(以下简称“罗姆”)宣布与Taiwan Semiconductor Manufacturing Company Limited(以下简称“台积公司”)就车载氮化镓功率器件的开发和量产事宜建立战略合作伙伴关系。通过该合作关系,双方将致力于将罗姆的氮化镓器件开发技术与台积公司业界先进的GaN-on-Silicon工艺技术优势结合起来,满足市场对高耐压和高频特性优异的功率元器件日益增长的需求。氮化镓功率器件目前主要被用于AC适配器和服务器电源等消费电子和
    电子资讯报 2024-12-10 17:09 84浏览
  • 天问Block和Mixly是两个不同的编程工具,分别在单片机开发和教育编程领域有各自的应用。以下是对它们的详细比较: 基本定义 天问Block:天问Block是一个基于区块链技术的数字身份验证和数据交换平台。它的目标是为用户提供一个安全、去中心化、可信任的数字身份验证和数据交换解决方案。 Mixly:Mixly是一款由北京师范大学教育学部创客教育实验室开发的图形化编程软件,旨在为初学者提供一个易于学习和使用的Arduino编程环境。 主要功能 天问Block:支持STC全系列8位单片机,32位
    丙丁先生 2024-12-11 13:15 45浏览
  • 概述 通过前面的研究学习,已经可以在CycloneVGX器件中成功实现完整的TDC(或者说完整的TDL,即延时线),测试结果也比较满足,解决了超大BIN尺寸以及大量0尺寸BIN的问题,但是还是存在一些之前系列器件还未遇到的问题,这些问题将在本文中进行详细描述介绍。 在五代Cyclone器件内部系统时钟受限的情况下,意味着大量逻辑资源将被浪费在于实现较大长度的TDL上面。是否可以找到方法可以对此前TDL的长度进行优化呢?本文还将探讨这个问题。TDC前段BIN颗粒堵塞问题分析 将延时链在逻辑中实现后
    coyoo 2024-12-10 13:28 101浏览
  • 近日,搭载紫光展锐W517芯片平台的INMO GO2由影目科技正式推出。作为全球首款专为商务场景设计的智能翻译眼镜,INMO GO2 以“快、准、稳”三大核心优势,突破传统翻译产品局限,为全球商务人士带来高效、自然、稳定的跨语言交流体验。 INMO GO2内置的W517芯片,是紫光展锐4G旗舰级智能穿戴平台,采用四核处理器,具有高性能、低功耗的优势,内置超微高集成技术,采用先进工艺,计算能力相比同档位竞品提升4倍,强大的性能提供更加多样化的应用场景。【视频见P盘链接】 依托“
    紫光展锐 2024-12-11 11:50 44浏览
  • RK3506 是瑞芯微推出的MPU产品,芯片制程为22nm,定位于轻量级、低成本解决方案。该MPU具有低功耗、外设接口丰富、实时性高的特点,适合用多种工商业场景。本文将基于RK3506的设计特点,为大家分析其应用场景。RK3506核心板主要分为三个型号,各型号间的区别如下图:​图 1  RK3506核心板处理器型号场景1:显示HMIRK3506核心板显示接口支持RGB、MIPI、QSPI输出,且支持2D图形加速,轻松运行QT、LVGL等GUI,最快3S内开
    万象奥科 2024-12-11 15:42 65浏览
  • 智能汽车可替换LED前照灯控制运行的原理涉及多个方面,包括自适应前照灯系统(AFS)的工作原理、传感器的应用、步进电机的控制以及模糊控制策略等。当下时代的智能汽车灯光控制系统通过车载网关控制单元集中控制,表现特殊点的有特斯拉,仅通过前车身控制器,整个系统就包括了灯光旋转开关、车灯变光开关、左LED前照灯总成、右LED前照灯总成、转向柱电子控制单元、CAN数据总线接口、组合仪表控制单元、车载网关控制单元等器件。变光开关、转向开关和辅助操作系统一般连为一体,开关之间通过内部线束和转向柱装置连接为多,
    lauguo2013 2024-12-10 15:53 78浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦