基于FPGA的分布式视频处理平台

原创 FPGA技术江湖 2024-08-20 08:00

大侠好,欢迎来到FPGA技术江湖,江湖偌大,相见即是缘分。大侠可以关注FPGA技术江湖,在“闯荡江湖”、"行侠仗义"栏里获取其他感兴趣的资源,或者一起煮酒言欢。“煮酒言欢”进入IC技术圈,这里有近100个IC技术公众号。


硬件设计难点:

软件设计难点:

创新难点:


概述

目前人们对于高清视频的需求日益普遍,极致的视觉体验带来的是技术上的革新,高清视频数据带宽在HD视频的基础上不断增长,以单路4Kx2K分辨率,30Hz刷新率超高清视频而言为例,单帧无压缩视频数据量约为3840x2160x24≈189.84Mbits,每秒需完成缓存的数据量约为189.84x30≈5.56Gbits,如何传输及实时处理大量的高清视频数据成为当前的一大技术需求。对此,本作品设计了一种基于FPGA的分布式视频处理平台,能够将高清视频流通过PCIE接口以及SFP光传输接口进行从上位机到分布式视频处理平台以及分布式视频处理平台之间的高速传输。同时,本作品采用FPGA并行处理视频流,具有低时延,高算法拓展能力的特点,可以实现高带宽高清视频流的实时处理。

本项目平台设计了PCIE 2.0*8接口、2路SFP/SFP+高速光传输接口以及4路HDMI输出接口,针对高清视频数据,兼具远距离高速传输、实时处理以及本地同步显示的能力,最多能传输处理10路以上的1080p高清视频流。同时本项目平台具有高达4GB容量的高速图像缓存,以支持多路高清视频流的缓存与算法处理。在FPGA基础上,本项目平台具有的双核ARM Cortex-A9以及1GB容量的程序执行缓存,可以支持更高层算法的实现。

 

主要创新点

1.提出了一个针对高分辨率的视频流的高速传输与实时处理方案,包含了驱动卡与接收卡两个部分。

本作品平台为基于FPGA的分布式视频处理平台,面向高分辨率的视频流实现高带宽视频数据的高速传输与实时处理,平台系统完备,包含了视频驱动卡与接收卡两个部分。


2.软硬件全部自主设计开发,系统完善

本作品硬件软件自主设计开发。硬件部分包括43页原理图和12层高速PCB设计。软件部分包括发送高清视频流数据的上位机软件模块、本地视频数据接收与转发的视频处理平台模块、分布式视频数据接收显示的视频处理平台模块,包含PCIE数据接收模块、SFP数据转发模块、视频分割算法、DDR3高速缓存读写控制、视频数据输出模块、视频处理芯片配置模块等,有很强的原创性和先进性。


3.采用Xilinx Zynq-7000 SoC系列Zynq7045芯片,包含350K可编程逻辑资源以及Cortex-A9的双核ARM,FPGA与ARM通信接口采用AXI总线协议,稳定性好。

本设计采用的SoC芯片资源丰富,结合了FPGAARM的优点,从硬件设计层面提高了算法开发容量和算法处理效率,保障了高清视频数据处理的实时性,与现有技术相比,具有视频处理速度快、延时低、扩展性好等优势。


4.针对视频处理与程序执行部分分别设计了4GB与1GB的高速缓存,提升系统性能。

本系统FPGA部分采用多片DDR3高速存储颗粒应对大量的视频数据,能够保证视频传输处理的实时性和高效性。同时ARM部分也配备了多片DDR3高速存储颗粒,保障程序执行,为后续算法拓展提供支持。


5.通过PCIE*8接口从上位机获取高清视频数据,最高数据速率理论可达32Gbps

本作品可通过一路PCI Express 8-lane接口,从上位机读取4k高清视频流数据,串行传输速率理论最高能达到32Gbps,最高支持2路4k@60Hz视频数据的吞吐。


6.通过2路SFP/SFP+光传输接口进行分布式视频处理平台间的高清视频数据传输,最高数据速率理论可达10Gbps/路

本作品可通过两路SFP/SFP+光传输接口,收发高清视频流数据,两路光传输接口可通过主从模式同时工作,最高支持20Gbps的数据吞吐。


7.每一块分布式视频处理平台系统同时具备4路2K视频的HDMI输出接口,能够实现视频数据传输的同时进行本地分割显示

本作品搭载4片视频处理芯片ADV7511,可支持1920*1080@60Hz的高清视频输出,因此每一块视频处理平台都拥有一路4k视频数据的分割输出功能,支持高速转发的同时,本地显示视频数据。

 

系统架构 

1. 系统方案

随着视频技术的不断革新,为了解决超高分辨率,例如2K、4K、8K、16K甚至更高分辨率的视频传输处理需求,需要硬件上能支持高清视频输入输出,高速大容量数据实时处理,软件层面上具备多种算法处理能力,各种数据通信交互,且系统要能支持性能拓展,以便使系统兼容处理更大范围的任务强度。

分布式视频处理平台系统主要分为三部分:发送高清视频流数据的上位机、2块及以上的基于FPGA的分布式视频处理平台、作为一组完整4K视频显示的4块2K显示屏。该系统基本结构如图2-1所示。本作品为基于FPGA的分布式视频处理平台。主要实现视频信号发生输出以及视频信号接收这两个工作模式。

图2-1 分布式视频处理平台系统


2. 硬件方案

本基于FPGA的分布式视频处理平台需要将高清视频流通过PCIE接口以及SFP光传输接口进行从上位机到分布式视频处理平台以及分布式视频处理平台之间的高速传输。同时需要4路HDMI输出接口,在高速传输高清视频流的同时,通过FPGA超低时延的并行处理能力,能同步进行高清视频的分布式拼接显示。为支持以上要求,本作品搭载了Xilinx公司的Zynq-7000 SoC系列Zynq7045芯片作为核心处理器进行视频数据的传输及实时处理。为完成对视频处理过程的控制,本系统需要利用芯片自带的双核Cortex-A9作为系统控制部分,对视频处理芯片进行寄存器配置,同时挂载大容量SDRAM,实现对大量系统数据参数的存储

本作品需要满足大量视频数据的高速缓存要求。以最高单路4Kx2K分辨率,30Hz刷新率超高清视频而言为例,单帧无压缩视频数据量约为3840x2160x24≈189.84Mbits,每秒需完成缓存的数据量约为189.84x30≈5.56Gbits。本系统可支持PCIE 32Gbps带宽以内的超高清视频输入,则需要外接大容量高速存储设备,实现对多路视频数据的缓存。因此,本系统采用4片共32Gbits高速DDR3存储颗粒,可满足实时处理视频流数据时对缓存空间的需求。本系统中FPGA核心处理器与存储芯片接口数据位宽共64bits,单根数据线传输速率可达1866Mbps,可满足对多路超高清视频流数据的高速缓存需求。


根据以上的分析,制定出的本作品硬件设计方案如下:

视频实时处理方案:Xilinx Zynq-7000 SoC系列Zynq7045芯片的 FPGA部分作为视频核心处理器

视频接收方案:一路PCI Express 8-lane接口

视频发送方案:两路SFP/SFP+光传输接口

视频输出方案:四路ADV7511视频处理器,4个HDMI1.4视频输出接口

视频流缓存方案:32GBits DDR3存储颗粒高速缓存

视频控制方案:Zynq7045芯片ARM部分,双核Cortex-A9,2128MB QSPI Flash和8Gbits SDRAM

系统接口设计方案:USB2.0接口、UART1000M以太网口


图2-2平台结构框图

本作品实际结构图如图2-3所示。

图2-3平台实际结构图


3. 软件方案

基于FPGA的分布式视频处理平台的软件整体设计如图2-4所示,其中主要包括三个模块: 发送高清视频流数据的上位机软件模块、本地视频数据接收与转发的视频处理平台模块、分布式视频数据接收显示的视频处理平台模块。


图2-4 系统软件整体框架图

其中上位机PCIE驱动部分,实现了指定路径下的视频流数据文件的读取与发送,根据用户给定的中断参数,实现上位机吞吐速率的控制以及数据发送操作的开关选择。

本地视频数据接收与转发的视频处理平台的软件设计较为复杂,分为PCIE数据接收模块、SFP数据转发模块、视频重组分割算法、DDR3高速缓存读写控制、视频数据输出模块、视频处理芯片寄存器配置等部分。

分布式视频数据接收显示的视频处理平台模块,分为SFP数据接收模块,视频重组算法、DDR3高速缓存读写控制、视频输出模块、视频处理芯片寄存器配置等部分。

 

设计演示 

1. 基于FPGA的分布式视频处理平台单板性能测试

以下给出电源、时钟及复位信号和DDR3等几方面测试过程及结果

1.1 电源测试

电源的稳定运行是电路系统正常工作的前提条件,因此,在对电路系统各部分进行测试前,需要先对系统电源部分测试,确保电源电压、纹波等参数能够满足要求。本系统的电源使用了TI公司的TPS53355TPS62130TPS51200

TPS53355电源评估电路进行测试,可得到如表5-1所示的测量结果。


通过对电源输出电压进行分析,可见在较低负载和较高负载下都能够满足FPGA核心处理器0.97V至1.03V的电压范围要求。通过示波器可以测得在不同负载情况下的纹波,其中负载电流为9.699A时的纹波测试结果如图5-1所示。

5-1 TPS53355负载电流9.699A时的纹波


此时,可观测到电源的开关频率约为500KHz,电源纹波幅度的最小值为8.0mV,最大值为11.5mV,满足电路系统设计要求。

通过对实际电路中1.0V电源进行测试,纹波如图5-2所示,同样满足设计要求。

5-2 TPS53355在系统工作时的纹波波形


分别对本系统中其他部分电源电路进行测量,其中FPGA核心处理器及DDR3存储颗粒部分各电源输出电压及纹波如表5-2所示,都能够满足设计要求。


1.2 时钟及复位信号测试

系统的复位信号是测试部分首先考虑的对象。在本系统中,我们对于ZYNQARM部分的复位芯片MAX16025输出的全局复位信号进行测试。如图5-3所示,当按键被按下时,全局复位信号被置为低电平,且低电平保持203.0ms;当按键被松开时,全局复位信号恢复成高电平。
图5-3 系统全局复位信号测试

其次测试系统的时钟信号。在整个系统中,以下三个时钟较为关键。
  1. ZYNQ处理器FPGA部分200MHz差分时钟(逻辑触发时钟);
  2. ZYNQ处理器GTX部分SFP光传输接口IP核的156.25MHz差分时钟
  3. ZYNQ 处理器 ARM 部分 33.33333MHz 单端时钟

其中,差分时钟需要利用差分探头进行测试。
在测试时钟时,示波器的采样率被设置为1GHz,上述三个时钟的时钟波形如图5-4所示。
图5-4 系统时钟信号测试

三个关键时钟信号测量所得参数如表5-3所示。
由上表可见,相对于33.33333MHz的单端时钟,200MHz和156.25MHz的差分时钟利用了抑制相互串扰的性质,时间精度较高,并且在信号的上过冲、下过冲和周期抖动指标上具有优势。


1.3DDR3眼图测试

这部分介绍系统ZYNQ中的FPGA部分连接的DDR3的信号完整性测试过程与结果DDR3速率为1600Mbps通过编写测试程序的方式来实现持续对DDR3进行读写,以进行测试。示波器测试800MHz差分时钟眼图,如图5-5所示
图5-5 DDR3差分时钟眼图测试

由图5-5可知示波器读出该信号眼高为1.1366V,眼宽为578ps,眼交叉比为 50.37%,差分时钟设计指标通过了LeCroy示波器的QualiPHY对于1600MbpsDDR3的标准测试,因此眼图各指标符合设计要求。
进一步利用示波器观察DDR3时序:DQS信号如图5-6所示:DDR3进入读状态时,DQS前导码先产生负脉冲。相反,当DDR3进入写状态时DQS前导码先产生正脉冲。
图5-6DDR3 DQS信号测试

示波器自带的QualiPHY功能能够对DDR3各项性能进行测试,测试完成后将会生成一份测试报告,如图5-7所示。在测试报告中将详细列出各项参数的测量值和理论值,并对是否达标进行分析。
图5-7 差分时钟线测试报告


1.4ADV7511视频处理器验证

为验证ADV7511视频处理器芯片部分的电路设计,编写测试代码以完成验证。在进行该部分的测试过程中,我们基于ZYNQARM部分编写IIC配置接口,配置ADV7511寄存器,使能芯片,同时,FPGA部分按照时序要求编写测试图像,并输出到ADV7511,最终板级输出效果如图5-8所示。
图5-8 ADV7511测试图像图

由上图可知,ADV7511寄存器配置正确,芯片正常使能,FPGA时序发生正确,能够正常显示图像。

1.5 PCIE系统接口验证

图5-9上位机数据发送窗口为验证PCIE系统接口的功能,我们通过上位机向系统的PCIE接口发送数据文件,如图5-9所示。

通过Vivado的ILA工具采得数据传输波形,如图5-10所示。从图5-10的波形中,对比上位机发送的文件数据,可知PCIE读取的数据文件正确无误。
图5-10 系统PCIE接口数据文件抓取波形图


2. 系统联调

整体系统联调效果图如图5-11 所示:
图5-11 系统整体效果图
通过以上的效果可以看出,本作品可以实现本地视频处理平台PCIE接口从上位机接收超高清4K视频流的数据,并经过SFP/SFP+高速光传输接口高速传送至分布式视频处理平台,同时本地与分布式视频处理平台兼有4K视频分割显示的实时处理能力。
后续会持续更新,带来Vivado、 ISE、Quartus II 、candence等安装相关设计教程,学习资源、项目资源、好文推荐等,希望大侠持续关注。
大侠们,江湖偌大,继续闯荡,愿一切安好,有缘再见!

- THE END -

🍁


往期精选 

 
 

【免费】FPGA工程师人才招聘平台

FPGA人才招聘,企业HR,看过来!

系统设计精选 | 基于FPGA的实时图像边缘检测系统设计(附代码)

基于原语的千兆以太网RGMII接口设计

时序分析理论和timequest使用_中文电子版

求职面试 | FPGA或IC面试题最新汇总篇

特惠 | FPGA时序分析及约束专题课,Quartus、ISE、Vivado全涉及

特惠 | FPGA图像处理专题课,Quartus、ISE、Vivado全涉及

资料汇总|FPGA软件安装包、书籍、源码、技术文档…(2024.07.29更新)

FPGA技术江湖广发江湖帖

无广告纯净模式,给技术交流一片净土,从初学小白到行业精英业界大佬等,从军工领域到民用企业等,从通信、图像处理到人工智能等各个方向应有尽有,QQ微信双选,FPGA技术江湖打造最纯净最专业的技术交流学习平台。


FPGA技术江湖微信交流群

加群主微信,备注姓名+学校/公司+专业/岗位进群


FPGA技术江湖QQ交流群

备注姓名+学校/公司+专业/岗位进群

FPGA技术江湖 任何技术的学习就好比一个江湖,对于每一位侠客都需要不断的历练,从初入江湖的小白到归隐山林的隐世高人,需要不断的自我感悟自己修炼,让我们一起仗剑闯FPGA乃至更大的江湖。
评论
  • 彼得·德鲁克被誉为“现代管理学之父”,他的管理思想影响了无数企业和管理者。然而,关于他的书籍分类,一种流行的说法令人感到困惑:德鲁克一生写了39本书,其中15本是关于管理的,而其中“专门写工商企业或为企业管理者写的”只有两本——《为成果而管理》和《创新与企业家精神》。这样的表述广为流传,但深入探讨后却发现并不完全准确。让我们一起重新审视这一说法,解析其中的矛盾与根源,进而重新认识德鲁克的管理思想及其著作的真正价值。从《创新与企业家精神》看德鲁克的视角《创新与企业家精神》通常被认为是一本专为企业管
    优思学院 2025-01-06 12:03 135浏览
  • 本文介绍编译Android13 ROOT权限固件的方法,触觉智能RK3562开发板演示,搭载4核A53处理器,主频高达2.0GHz;内置独立1Tops算力NPU,可应用于物联网网关、平板电脑、智能家居、教育电子、工业显示与控制等行业。关闭selinux修改此文件("+"号为修改内容)device/rockchip/common/BoardConfig.mkBOARD_BOOT_HEADER_VERSION ?= 2BOARD_MKBOOTIMG_ARGS :=BOARD_PREBUILT_DTB
    Industio_触觉智能 2025-01-08 00:06 38浏览
  • 村田是目前全球量产硅电容的领先企业,其在2016年收购了法国IPDiA头部硅电容器公司,并于2023年6月宣布投资约100亿日元将硅电容产能提升两倍。以下内容主要来自村田官网信息整理,村田高密度硅电容器采用半导体MOS工艺开发,并使用3D结构来大幅增加电极表面,因此在给定的占位面积内增加了静电容量。村田的硅技术以嵌入非结晶基板的单片结构为基础(单层MIM和多层MIM—MIM是指金属 / 绝缘体/ 金属) 村田硅电容采用先进3D拓扑结构在100um内,使开发的有效静电容量面积相当于80个
    知白 2025-01-07 15:02 96浏览
  • 在智能家居领域中,Wi-Fi、蓝牙、Zigbee、Thread与Z-Wave等无线通信协议是构建短距物联局域网的关键手段,它们常在实际应用中交叉运用,以满足智能家居生态系统多样化的功能需求。然而,这些协议之间并未遵循统一的互通标准,缺乏直接的互操作性,在进行组网时需要引入额外的网关作为“翻译桥梁”,极大地增加了系统的复杂性。 同时,Apple HomeKit、SamSung SmartThings、Amazon Alexa、Google Home等主流智能家居平台为了提升市占率与消费者
    华普微HOPERF 2025-01-06 17:23 172浏览
  • 本文介绍Linux系统更换开机logo方法教程,通用RK3566、RK3568、RK3588、RK3576等开发板,触觉智能RK3562开发板演示,搭载4核A53处理器,主频高达2.0GHz;内置独立1Tops算力NPU,可应用于物联网网关、平板电脑、智能家居、教育电子、工业显示与控制等行业。制作图片开机logo图片制作注意事项(1)图片必须为bmp格式;(2)图片大小不能大于4MB;(3)BMP位深最大是32,建议设置为8;(4)图片名称为logo.bmp和logo_kernel.bmp;开机
    Industio_触觉智能 2025-01-06 10:43 87浏览
  • 每日可见的315MHz和433MHz遥控模块,你能分清楚吗?众所周知,一套遥控设备主要由发射部分和接收部分组成,发射器可以将控制者的控制按键经过编码,调制到射频信号上面,然后经天线发射出无线信号。而接收器是将天线接收到的无线信号进行解码,从而得到与控制按键相对应的信号,然后再去控制相应的设备工作。当前,常见的遥控设备主要分为红外遥控与无线电遥控两大类,其主要区别为所采用的载波频率及其应用场景不一致。红外遥控设备所采用的射频信号频率一般为38kHz,通常应用在电视、投影仪等设备中;而无线电遥控设备
    华普微HOPERF 2025-01-06 15:29 138浏览
  • By Toradex 秦海1). 简介嵌入式平台设备基于Yocto Linux 在开发后期量产前期,为了安全以及提高启动速度等考虑,希望将 ARM 处理器平台的 Debug Console 输出关闭,本文就基于 NXP i.MX8MP ARM 处理器平台来演示相关流程。 本文所示例的平台来自于 Toradex Verdin i.MX8MP 嵌入式平台。  2. 准备a). Verdin i.MX8MP ARM核心版配合Dahlia载板并
    hai.qin_651820742 2025-01-07 14:52 62浏览
  • 随着市场需求不断的变化,各行各业对CPU的要求越来越高,特别是近几年流行的 AIOT,为了有更好的用户体验,CPU的算力就要求更高了。今天为大家推荐由米尔基于瑞芯微RK3576处理器推出的MYC-LR3576核心板及开发板。关于RK3576处理器国产CPU,是这些年的骄傲,华为手机全国产化,国人一片呼声,再也不用卡脖子了。RK3576处理器,就是一款由国产是厂商瑞芯微,今年第二季推出的全新通用型的高性能SOC芯片,这款CPU到底有多么的高性能,下面看看它的几个特性:8核心6 TOPS超强算力双千
    米尔电子嵌入式 2025-01-03 17:04 55浏览
  •     为控制片内设备并且查询其工作状态,MCU内部总是有一组特殊功能寄存器(SFR,Special Function Register)。    使用Eclipse环境调试MCU程序时,可以利用 Peripheral Registers Viewer来查看SFR。这个小工具是怎样知道某个型号的MCU有怎样的寄存器定义呢?它使用一种描述性的文本文件——SVD文件。这个文件存储在下面红色字体的路径下。    例:南京沁恒  &n
    电子知识打边炉 2025-01-04 20:04 101浏览
  • 大模型的赋能是指利用大型机器学习模型(如深度学习模型)来增强或改进各种应用和服务。这种技术在许多领域都显示出了巨大的潜力,包括但不限于以下几个方面: 1. 企业服务:大模型可以用于构建智能客服系统、知识库问答系统等,提升企业的服务质量和运营效率。 2. 教育服务:在教育领域,大模型被应用于个性化学习、智能辅导、作业批改等,帮助教师减轻工作负担,提高教学质量。 3. 工业智能化:大模型有助于解决工业领域的复杂性和不确定性问题,尽管在认知能力方面尚未完全具备专家级的复杂决策能力。 4. 消费
    丙丁先生 2025-01-07 09:25 93浏览
  • 这篇内容主要讨论三个基本问题,硅电容是什么,为什么要使用硅电容,如何正确使用硅电容?1.  硅电容是什么首先我们需要了解电容是什么?物理学上电容的概念指的是给定电位差下自由电荷的储藏量,记为C,单位是F,指的是容纳电荷的能力,C=εS/d=ε0εrS/4πkd(真空)=Q/U。百度百科上电容器的概念指的是两个相互靠近的导体,中间夹一层不导电的绝缘介质。通过观察电容本身的定义公式中可以看到,在各个变量中比较能够改变的就是εr,S和d,也就是介质的介电常数,金属板有效相对面积以及距离。当前
    知白 2025-01-06 12:04 188浏览
  • 根据Global Info Research项目团队最新调研,预计2030年全球封闭式电机产值达到1425百万美元,2024-2030年期间年复合增长率CAGR为3.4%。 封闭式电机是一种电动机,其外壳设计为密闭结构,通常用于要求较高的防护等级的应用场合。封闭式电机可以有效防止外部灰尘、水分和其他污染物进入内部,从而保护电机的内部组件,延长其使用寿命。 环洋市场咨询机构出版的调研分析报告【全球封闭式电机行业总体规模、主要厂商及IPO上市调研报告,2025-2031】研究全球封闭式电机总体规
    GIRtina 2025-01-06 11:10 112浏览
  • PLC组态方式主要有三种,每种都有其独特的特点和适用场景。下面来简单说说: 1. 硬件组态   定义:硬件组态指的是选择适合的PLC型号、I/O模块、通信模块等硬件组件,并按照实际需求进行连接和配置。    灵活性:这种方式允许用户根据项目需求自由搭配硬件组件,具有较高的灵活性。    成本:可能需要额外的硬件购买成本,适用于对系统性能和扩展性有较高要求的场合。 2. 软件组态   定义:软件组态主要是通过PLC
    丙丁先生 2025-01-06 09:23 88浏览
  • 根据环洋市场咨询(Global Info Research)项目团队最新调研,预计2030年全球无人机锂电池产值达到2457百万美元,2024-2030年期间年复合增长率CAGR为9.6%。 无人机锂电池是无人机动力系统中存储并释放能量的部分。无人机使用的动力电池,大多数是锂聚合物电池,相较其他电池,锂聚合物电池具有较高的能量密度,较长寿命,同时也具有良好的放电特性和安全性。 全球无人机锂电池核心厂商有宁德新能源科技、欣旺达、鹏辉能源、深圳格瑞普和EaglePicher等,前五大厂商占有全球
    GIRtina 2025-01-07 11:02 95浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦