基于国产FPGA的全开源双目视觉处理系统

FPGA开源工作室 2025-02-21 11:31 462浏览 0评论 0点赞

3D IC设计卡在哪儿？5场研讨会揭秘3DIC全攻略 全球首发！3D IC协同设计“黑科技”，效率提升200%

1. 系统架构解析

本系统基于米尔MYC-YM90X构建，搭载安路DR1 FPGA SOC 创新型异构计算平台，充分发挥其双核Cortex-A35处理器与可编程逻辑（PL）单元的协同优势。通过AXI4-Stream总线构建的高速数据通道（峰值带宽可达12.8GB/s），实现ARM与FPGA间的纳秒级（ns）延迟交互，较传统方案提升了3倍的传输效率，极大地提升了系统整体性能。

国产化技术亮点：

全自主AXI互连架构，支持多主多从拓扑，确保系统灵活性与可扩展性
硬核处理器与PL单元共享DDR3控制器，提高内存带宽利用率（可升级至DDR4）
动态时钟域隔离技术（DCIT），确保跨时钟域的数据交互稳定性，避免时序错误
国产SM4加密引擎硬件加速模块，为数据加密任务提供硬件级别的支持，提升加密处理效率

图一系统架构框图

如图一所示，系统架构通过“低内聚，高耦合”的设计思想，通过模块化的设计方式，完成了以下工作。

1. 通过I²C对OV5640摄像头进行分辨率，输出格式等配置。

2. 双目图像数据进行三级帧缓存，FIFO——DMA——DDR。

3. 客制化低延迟ISP（开发者根据场景需求加入）

4. VTC驱动HDMI输出显示

2. 系统程序开发

2.1 DR1固件架构设计

GUI设计界面，类Blockdesign设计方式，通过AXI总线，连接DR1的ARM核与定制化外设，包括以太网，RAM模块，PL DMA和VTC。

图二 FPGA底层架构框图

2.2 双目视觉处理流水线

2.2.1 传感器配置层

为实现高效的传感器配置，本系统采用混合式I²C配置引擎，通过PL端硬件I²C控制器实现传感器参数的动态加载。与纯软件方案相比，该硬件加速的配置速度提升了8倍，显著降低了配置延迟。

// 可重配置传感器驱动IPmodule ov5640_config (input wire clk_50M,output tri scl,inout tri sda,input wire [7:0] reg_addr,input wire [15:0] reg_data,output reg config_done);// 支持动态分辨率切换（1920x1080@30fps ↔ 1280x720@60fps）parameter [15:0] RESOLUTION_TABLE[4] = '{...};

该配置引擎支持多分辨率与高帧率动态切换，适应不同应用场景需求。

2.2.2 数据采集管道

系统构建了三级缓存体系，确保数据处理的高效性和实时性：

像素级缓存：采用双时钟FIFO（写时钟74.25MHz，读时钟100MHz），实现数据的稳定缓存和传输。
行缓冲：使用BRAM的乒乓结构（每行1920像素×16bit），减少数据延迟。
帧缓存：通过DDR3-1066 1GB内存支持四帧循环存储，确保图像的持续流畅展示。

// 位宽转换智能适配器module data_width_converter #(parameter IN_WIDTH = 16,parameter OUT_WIDTH = 96)(input wire [IN_WIDTH-1:0] din,output wire [OUT_WIDTH-1:0] dout,// 时钟与使能信号);// 采用流水线式位宽重组技术always_ff @(posedge clk) begincase(state)0: buffer <= {din, 80'b0};1: buffer <= {buffer[79:0], din};// ...6周期完成96bit组装endcaseend

2.2.3. 异构计算调度

系统通过AXI-DMA（Direct Memory Access）实现零拷贝数据传输，优化内存和外设间的数据交换：

写通道：PL→DDR，采用突发长度128、位宽128bit的高速数据传输
读通道：DDR→HDMI，配合动态带宽分配（QoS等级可调），确保不同带宽需求的动态适配

2.2.4 VTC显示引擎深度优化

PL DMA输出显示优化
显示时序的优化对高质量图像输出至关重要。通过VTC（Video Timing Controller），本系统能够实现多模式自适应输出。

axi_hdmi_tx#(.ID(0),.CR_CB_N(0),.DEVICE_TYPE(17), // 17 for DR1M.INTERFACE("16_BIT"),.OUT_CLK_POLARITY (0))axi_hdmi_tx_inst (.hdmi_clk (pll_clk_150),//.hdmi_clk (clk1_out),.hdmi_out_clk (hdmi_clk ),.hdmi_16_hsync (hdmi_hs ),.hdmi_16_vsync (hdmi_vs ),.hdmi_16_data_e (hdmi_de),.hdmi_16_data (/hdmi_data/ ),// .hdmi_16_data (hdmi_data ),.hdmi_16_es_data (hdmi_data),.hdmi_24_hsync (),.hdmi_24_vsync (),.hdmi_24_data_e (),.hdmi_24_data (/{r_data,g_data,b_data}/),.hdmi_36_hsync (),.hdmi_36_vsync (),.hdmi_36_data_e (),.hdmi_36_data (),.vdma_clk (pll_clk_150 ),.vdma_end_of_frame (dma_m_axis_last ),.vdma_valid (dma_m_axis_valid ),.vdma_data (dma_m_axis_data ),.vdma_ready (dma_m_axis_ready),.s_axi_aclk (S_AXI_ACLK ),.s_axi_aresetn (S_AXI_ARESETN ),.s_axi_awvalid (axi_ds5_ds5_awvalid ),.s_axi_awaddr (axi_ds5_ds5_awaddr ),.s_axi_awprot (axi_ds5_ds5_awprot ),.s_axi_awready (axi_ds5_ds5_awready ),.s_axi_wvalid (axi_ds5_ds5_wvalid ),.s_axi_wdata (axi_ds5_ds5_wdata ),.s_axi_wstrb (axi_ds5_ds5_wstrb ),.s_axi_wready (axi_ds5_ds5_wready ),.s_axi_bvalid (axi_ds5_ds5_bvalid ),.s_axi_bresp (axi_ds5_ds5_bresp ),.s_axi_bready (axi_ds5_ds5_bready ),.s_axi_arvalid (axi_ds5_ds5_arvalid ),.s_axi_araddr (axi_ds5_ds5_araddr ),.s_axi_arprot (axi_ds5_ds5_arprot ),.s_axi_arready (axi_ds5_ds5_arready ),.s_axi_rvalid (axi_ds5_ds5_rvalid ),.s_axi_rresp (axi_ds5_ds5_rresp ),.s_axi_rdata (axi_ds5_ds5_rdata ),.s_axi_rready (axi_ds5_ds5_rready));

动态时序生成器
通过PL-PLL动态调整像素时钟，确保显示无卡顿、无闪烁，误差控制在<10ppm内。

// VTC配置代码片段（Anlogic SDK）void config_vtc(uint32_t h_total, uint32_t v_total) {VTCRegs->CTRL = 0x1; // 使能软复位VTCRegs->HTOTAL = h_total - 1;VTCRegs->VTOTAL = v_total - 1;// 详细时序参数配置VTCRegs->POLARITY = 0x3; // HS/VS极性配置VTCRegs->CTRL = 0x81; // 使能模块}

3. 硬件连接与测试

硬件连接

米尔的安路飞龙板卡采用2 X 50 PIN 连接器设计，可灵活插拔多种子卡，配合子卡套件，可扩展成多种形态，多种应用玩法。

图三使用模组，底板，子卡和线缆搭建硬件系统

显示测试

实测双目显示清晰，无卡帧，闪屏。

图四输出显示效果

系统集成
在FPGA硬件描述文件的基础上，进一步在Linux下实现双摄，为复杂系统调度应用铺平道路。
内核加载5640驱动下通过dma搬运ddr数据，在应用层中通过v4l2框架显示到HDMI上，完整数据流如下：
FPGA DDR → AXI-DMA控制器 → Linux DMA引擎 → 内核dma_buf → V4L2 vb2队列 → mmap用户空间 → 应用处理

三路DMA设备树HDMI、camera1、camera2代码片段：

//hdmisoft_adi_dma0: dma@80400000 {compatible = "adi,axi-dmac-1.00.a";reg = <0x0 0x80400000 0x0 0x10000>;interrupts = ;clocks = <&axi_dma_clk>;#dma-cells = <1>;status = "okay";adi,channels {#size-cells = <0>;#address-cells = <1>;dma-channel@0 {reg = <0>;adi,source-bus-width = <32>;adi,source-bus-type = <0>;adi,destination-bus-width = <64>;adi,destination-bus-type = <1>;};};};// cam1mipi_adi_dma0: dma@80300000 {compatible = "adi,axi-dmac-1.00.a";reg = <0x0 0x80300000 0x0 0x10000>;interrupts = ;clocks = <&axi_dma_clk>;#dma-cells = <1>;status = "okay";adi,channels {#size-cells = <0>;#address-cells = <1>;dma-channel@0 {reg = <0>;adi,source-bus-width = <128>;adi,source-bus-type = <1>;adi,destination-bus-width = <64>;adi,destination-bus-type = <0>;};};};//cam2mipi_adi_dma1: dma@80700000 {compatible = "adi,axi-dmac-1.00.a";reg = <0x0 0x80700000 0x0 0x10000>;interrupts = ;clocks = <&axi_dma_clk>;#dma-cells = <1>;status = "okay";adi,channels {#size-cells = <0>;#address-cells = <1>;dma-channel@0 {reg = <0>;adi,source-bus-width = <128>;adi,source-bus-type = <1>;adi,destination-bus-width = <32>;adi,destination-bus-type = <0>;};};};

双路i2c OV5640设备树配置代码片段

camera@3c {              compatible = "ovti,ov5640";              pinctrl-names = "default";            //   pinctrl-0 = <&pinctrl_ov5640>;              reg = <0x3c>;              clocks = <&ov5640_clk>;              clock-names = "xclk";            //   DOVDD-supply = <&vgen4_reg>; /* 1.8v /            //   AVDD-supply = <&vgen3_reg>;  / 2.8v /            //   DVDD-supply = <&vgen2_reg>;  / 1.5v /            powerdown-gpios = <&portc 8 GPIO_ACTIVE_HIGH>;            reset-gpios = <&portc 7 GPIO_ACTIVE_LOW>;              port {                  / Parallel bus endpoint /                  ov5640_out_0: endpoint {                      remote-endpoint = <&vcap_ov5640_in_0>;                      bus-width = <8>;                      data-shift = <2>; / lines 9:2 are used */                      hsync-active = <0>;                      vsync-active = <0>;                      pclk-sample = <1>;                  };              };          };