基于FPGA和麦克风阵列的高速高精度声源定位系统设计

FPGA技术江湖 2022-10-17 07:58

大侠好,欢迎来到FPGA技术江湖,江湖偌大,相见即是缘分。大侠可以关注FPGA技术江湖,在“闯荡江湖”、"行侠仗义"栏里获取其他感兴趣的资源,或者一起煮酒言欢。“煮酒言欢”进入IC技术圈,这里有近50个IC技术公众号。


第一部分 设计概述 / Design Introduction

1.1 设计目的

频繁杂乱的鸣笛声,不但给周边居民的生活质量造成很大影响,而且增加了驾驶员的疲劳,影响行驶安全,并使乘客和行人在出行时倍感烦躁不安。在大多 数城市的道路上,时常出现禁止鸣笛的标志,然而并不是所有人都能自觉地遵守 规则,对鸣笛之人进行适当的处罚是确保这项规定能够顺利实施的必要举措。

我们决定利用麦克风阵列获取声音信号,使用 FPGA 技术计算声音的位置, 使用 OPENMV 实现图像的抓拍,最终实现对鸣笛车辆的准确定位。

1.2 应用领域

本作品实际应用前景广泛。

用于民用领域:在交通监控中,对违规鸣笛的车辆进行定位并拍照取证,提高监控效率;在音视频会议系统中,采集会议发言人的语音信号,并进行实时处 理来确定发言人的当前位置坐标;在安防系统中,利用声源定位系统来辅助传统 摄像头,从而调整监控方向,弥补了普通的运动识别在光线昏暗条件下的不足, 提升安防效果;等等。

用于军事领域:既可以有效的发现敌方目标所在的位置,又可以充分的隐藏 自身。

1.3 主要技术特点

(1)采用麦克风阵列来获取声音信号 相较于传统麦克风,麦克风阵列具有空间选择性,能明显抑制干扰;可以用 于获取多个声源或移动声源信号,也可以用在一些特殊场合,该系统对于远处和 近处的声源,均可以正常工作。

(2)利用 FFT 算法和 CORDIC 算法计算相位 前者是离散傅氏变换(DFT)的快速算法,是有限长序列傅里叶变换的有限 点离散采样,从而实现了频域离散化,使频域采样按照数字运算的方法进行。后者是一个“化繁为简”的算法,将许多复杂的运算转化为一种“仅需要移位和加 法”的迭代操作。

(3)用 verilog 语言编码并利用 FPGA 实现 本作品用 FPGA 作处理器处理声音信号,利用了 FPGA 硬件并行的优势,在 每个时钟周期内完成更多的处理任务,超越了数字信号处理器的运算能力。

1.4 关键性能指标

(1)完成对实验室等室内环境的静止的鸣笛声源定位,并用摄像头以及舵 机云台对鸣笛者进行抓拍,抓拍成功率超过 90%,并且每次抓拍得到的鸣笛者偏 离照片中心不超过 50%.

(2)完成对实验室等室内环境的缓慢移动的持续鸣笛声源定位,并用摄像 头以及舵机云台对鸣笛者进行跟拍,跟拍成功率超过 90%,并且在跟拍过程中摄 像头内不丢失鸣笛者图像。

(3)完成对实验室等室内环境的快速移动的持续鸣笛声源定位,并用摄像 头以及舵机云台对鸣笛者进行跟拍,跟拍成功率超过 80%,并且在跟拍过程中摄 像头出现鸣笛者的时间超过跟拍总时间的 80%.

(4)对上述指标(1)中的抓拍在鸣笛开始的 0.5 秒内完成抓拍

1.5 主要创新点

(1)所有过程完全采用数字化的信号处理方式,所有通信均为数字通信, 所有处理的信号都为数字信号,相比于易受各种干扰的模拟信号系统,数字信号 处理抗干扰能力更强,通过多路信号并行处理来实现。

(2)利用了 FPGA 硬件并行的优势,打破了顺序执行的模式,在每个时钟周 期内完成更多的处理任务,超越了数字信号处理器(DSP)的运算能力。通过使 用尽可能多的麦克风通道,来提高定位的精确度。

(3)FPGA 良好的运算性能允许建立实时性良好的定位系统,可以做到追踪 高速行驶的鸣笛汽车。

(4)本项目将定位的空间由原有的二维空间拓展为三维空间,提高了追踪 定位的灵活性和准确性。

第二部分 系统组成及功能说明 / System Construction & Function Description

2.1 整体介绍

system_diagram 本系统由声源定位系统和图像抓拍系统两部分组成,其中声源定位系统 由麦克风阵列模块、PDM 解码模块、相位计算模块组成,后两个模块通过 FPGA 板实现,图像抓拍系统通过 OPENMV 实现。

声源产生声音信号,传送给麦克风阵列,编码产生 PDM 波,再通过接收 PDM 波的缓冲区,送入高阶 fir 滤波器实现对 PDM 的解码,然后将结果传入 相位计算模块,即先通过 FFT 算法进行频谱分析,再利用 CORDIC 算法计算 相位得到声源的坐标,最后通过基于 OPENMV 的图像抓拍系统显示声源位置 并抓拍。

2.2 各模块介绍

2.2.1 麦克风阵列模块

我们用到的硅麦型号为 SPW0690LM4H-1,这是一种小型、高性能、低功耗, 底部端口硅数字麦克风与单位 PDM 输出。包括一个声传感器,一个低噪声输入缓冲器和 sigma-delta 调制器。

它具有的特性:低失真/高 AOP、高信噪比、低功耗模式下低电流消耗、平 坦的频率响应、高驱动能力、射频屏蔽、支持双多路通道、极稳定的性能、全指 向性等等。在采集声音方面,在很宽的频带内增益保持一致,高保真的采集语音 信号,灵敏度高,能够检测到环境中微弱的声音信号。它的全指向性可以拾取各 方向的声音,对来自四面八方的声音同样敏感,特别适合用在本项目中。

2.2.2 处理器

本作品使用 Ego1 开发板作为处理器,型号为 Xilinx Artix-7 系列的 XC7A35T-1CSG324C FPGA。

Xilinx 7系列的FPGA芯片内部集成了两个12bit位宽、采样率为1MSPS的ADC, 拥有多达 17 个外部模拟信号输入通道,为用户的设计提供了通用的、高精度的模拟输入接口。

2.2.3 PDM 解码模块——基于高阶 fir 低通滤波器

PDM 的解码采用高阶 fir 滤波器的算法。PDM 编码虽然只有 0 和 1 两种电平, 但 PDM 编码保留了原始的未编码数据的所有频率分量,同时增加了高频噪声成 分 FIR 滤波器是数字信号处理系统中最基本的元件,它可以在保证任意幅频特征的同时具有严格的线性相频特性,其单位抽样响应是有限长的,此系统稳定。根据自顶向下的层次化、模块化的设计思想,将整个滤波器的设计划分为多个模块, 利用硬件描述语言 Verilog 进行各个模块的功能设计,并用 Matlab 软件设计 98阶滤波器各抽头系数。

对 PDM 编码进行傅里叶变换,得到的频率响应如下图:

由于声音定位系统是为了得到人耳可分辨的声音,或得到清晰的骑车鸣笛声音,并且人耳可以分辨的声音频率为 20-20000Hz,而高于 20000Hz 的声音信号是我们不需要的,所以我们的低通滤波器的通带频率设置为 0-20000Hz,截止频率设置为 48000Hz,阻带频率设置为 100000Hz。PDM 信号经过该滤波器, 不仅可以实现 PDM 信号向 PCM 信号的解码,还顺带滤除了我们不需要的高频声音信号。

该 fir 滤波器的差分方程表达式为:

将原始信号进行编码,并经过 97 阶 fir 低通滤波器的信号与原始信号的对比图如图 9、10 所示,其中绿色的为解码后的信号,蓝色的为原始信号。

由图可知,设计的滤波器较好的将编码后的信号还原为原始信号,并且原始信号所包含的频率分量受到的影响较小。

用 VIVADO 软件编写 verilog 语言实现该 97 阶的数字滤波器,由于需要大量 的串行浮点运算,所以所消耗的时间较多,但通过硬件,可用并行运算进行处理。通过计算,我们设计的 97 阶滤波器需要 97 个乘法器和 98 个加法器,具体代码见附录。

2.2.4 相位计算模块

通过 FFT 算法进行频谱分析

FFT 是离散傅氏变换(DFT)的快速算法,是有限长序列傅里叶变换的有限点 离散采样,从而实现了频域离散化,使频域采样按照数字运算的方法进行。

使用 Xilinx Vivado 内置的 Fast FourierTransform IP core 进行快速傅里叶变换, 配置使用 Radix-2 架构,使用 8 通道,每个通道一帧包含 512 个数据点。输入的数据位宽为 16 位,输出则采用 Fixed Point、Unscale,同时为顺序输出,配置如图 12。

运用 CORDIC 算法计算相位

CORDIC 算法是一个“化繁为简”的算法,将许多复杂的运算转化为一种“仅 需要移位和加法”的迭代操作。

假设在 xy 坐标系中有一个点 P1(x1,y1),将 P1 点绕原点旋转θ角后得到 点 P2(x2,y2)。

于是可以得到 P1 和 P2 的关系:

2.2.5 图像抓拍系统

在本作品中,使用分辨率为 640*480 的以数字图像传感器为核心的摄像头, 并使用具有角度不断变化并可以保持的舵机,构成图像抓拍系统。

OPENMV 通过接收 FPGA 串口发送的声源位置信息,从而控制舵机转向声源 的方向,使得我们使用的摄像头可以准确的对准声源,并下达指令给上位机(PC) 进行拍照或录像。照片将存储在上位机的内存中。

第三部分 完成情况及性能参数 / Final Design & Performance Parameters

(1)完成了在实验室对静止的鸣笛声源进行定位,并用摄像头以及舵机云 台对鸣笛者进行抓拍,抓拍成功率超过 95%,并且每次抓拍得到的鸣笛者偏离照 片中心不超过 30%,抓拍延时在 0.5 秒以内。照片效果如下图所示。

(2)完成对实验室的快速移动的持续鸣笛声源的定位,并用摄像头以及舵 机云台对鸣笛者进行实时跟拍,跟拍成功率超过 80%,并且在跟拍过程中摄像头 出现鸣笛者的时间超过跟拍总时间的 95%,跟拍效果如下图所示。

(3)上位机屏幕能够实时显示摄像头的情况,并且储存了抓拍到的鸣笛者 照片,以及持续鸣笛跟拍的视频。

第四部分 总结 / Conclusions

4.1 可扩展之处

(1)我们使用的 4 路数字麦克风阵列 PCB 板预留了额外的 28 个空焊的麦克 风接口,可以扩展至 32 路。从而可以尽可能地减小数字麦克风接收的误码率, 并且再次提高定位的精度。

(2)我们用来控制舵机云台的 OPENMV 拥有自带的摄像头,并且具有图像 识别等功能,将来可以使用 OPENMV 进行图像处理并配合声源定位系统进行综 合跟拍以及抓拍,从而提高跟拍的成功率以及抓拍的准确度。

(3)我们使用了高性能的上位机对跟拍和抓拍的图像进行实时显示,并保 存到上位机中。上位机将来可以对保存下来的照片进行二次分析,对抓拍到的车 辆进行车牌识别,并将违章记录上传到云端,并利用大数据进行监管,对一些违 章次数较多的车辆进行处罚。

(4)本项目使用到的 FPGA 芯片型号仅仅为 XILINX 的 A 系列入门级的 XC7A35T,如果更换为板载资源更多的型号,将会进一步提高声源定位运算的速 度。

END


往期精选 

 
 

【免费】FPGA工程师招聘平台

简谈FPGA设计中系统运行频率计算方法与组合逻辑的层级

SANXIN-B01开发板verilog教程V3电子版

学员笔记连载 | FPGA Zynq 千兆以太网回环

求职面试 | FPGA或IC面试题最新汇总篇

FPGA项目开发:204B实战应用-LMK04821代码详解(二)

项目合作 | 承接FPGA项目公告

资料汇总|FPGA软件安装包、书籍、源码、技术文档…(2022.05.15更新)

FPGA就业班,9月20日开班,课程内容丰富,系统性学习FPGA,高薪就业,线上线下同步!


FPGA技术江湖广发江湖帖

无广告纯净模式,给技术交流一片净土,从初学小白到行业精英业界大佬等,从军工领域到民用企业等,从通信、图像处理到人工智能等各个方向应有尽有,QQ微信双选,FPGA技术江湖打造最纯净最专业的技术交流学习平台。


FPGA技术江湖微信交流群

加群主微信,备注姓名+公司/学校+岗位/专业进群


FPGA技术江湖QQ交流群

备注姓名+公司/学校+岗位/专业进群

FPGA技术江湖 任何技术的学习就好比一个江湖,对于每一位侠客都需要不断的历练,从初入江湖的小白到归隐山林的隐世高人,需要不断的自我感悟自己修炼,让我们一起仗剑闯FPGA乃至更大的江湖。
评论
  • 2024年是很平淡的一年,能保住饭碗就是万幸了,公司业绩不好,跳槽又不敢跳,还有一个原因就是老板对我们这些员工还是很好的,碍于人情也不能在公司困难时去雪上加霜。在工作其间遇到的大问题没有,小问题还是有不少,这里就举一两个来说一下。第一个就是,先看下下面的这个封装,你能猜出它的引脚间距是多少吗?这种排线座比较常规的是0.6mm间距(即排线是0.3mm间距)的,而这个规格也是我们用得最多的,所以我们按惯性思维来看的话,就会认为这个座子就是0.6mm间距的,这样往往就不会去细看规格书了,所以这次的运气
    wuliangu 2025-01-21 00:15 23浏览
  • 电竞鼠标应用环境与客户需求电竞行业近年来发展迅速,「鼠标延迟」已成为决定游戏体验与比赛结果的关键因素。从技术角度来看,传统鼠标的延迟大约为20毫秒,入门级电竞鼠标通常为5毫秒,而高阶电竞鼠标的延迟可降低至仅2毫秒。这些差异看似微小,但在竞技激烈的游戏中,尤其在对反应和速度要求极高的场景中,每一毫秒的优化都可能带来致胜的优势。电竞比赛的普及促使玩家更加渴望降低鼠标延迟以提升竞技表现。他们希望通过精确的测试,了解不同操作系统与设定对延迟的具体影响,并寻求最佳配置方案来获得竞技优势。这样的需求推动市场
    百佳泰测试实验室 2025-01-16 15:45 285浏览
  • 现在为止,我们已经完成了Purple Pi OH主板的串口调试和部分配件的连接,接下来,让我们趁热打铁,完成剩余配件的连接!注:配件连接前请断开主板所有供电,避免敏感电路损坏!1.1 耳机接口主板有一路OTMP 标准四节耳机座J6,具备进行音频输出及录音功能,接入耳机后声音将优先从耳机输出,如下图所示:1.21.2 相机接口MIPI CSI 接口如上图所示,支持OV5648 和OV8858 摄像头模组。接入摄像头模组后,使用系统相机软件打开相机拍照和录像,如下图所示:1.3 以太网接口主板有一路
    Industio_触觉智能 2025-01-20 11:04 99浏览
  • 本文介绍瑞芯微开发板/主板Android配置APK默认开启性能模式方法,开启性能模式后,APK的CPU使用优先级会有所提高。触觉智能RK3562开发板演示,搭载4核A53处理器,主频高达2.0GHz;内置独立1Tops算力NPU,可应用于物联网网关、平板电脑、智能家居、教育电子、工业显示与控制等行业。源码修改修改源码根目录下文件device/rockchip/rk3562/package_performance.xml并添加以下内容,注意"+"号为添加内容,"com.tencent.mm"为AP
    Industio_触觉智能 2025-01-17 14:09 109浏览
  •  光伏及击穿,都可视之为 复合的逆过程,但是,复合、光伏与击穿,不单是进程的方向相反,偏置状态也不一样,复合的工况,是正偏,光伏是零偏,击穿与漂移则是反偏,光伏的能源是外来的,而击穿消耗的是结区自身和电源的能量,漂移的载流子是 客席载流子,须借外延层才能引入,客席载流子 不受反偏PN结的空乏区阻碍,能漂不能漂,只取决于反偏PN结是否处于外延层的「射程」范围,而穿通的成因,则是因耗尽层的过度扩张,致使跟 端子、外延层或其他空乏区 碰触,当耗尽层融通,耐压 (反向阻断能力) 即告彻底丧失,
    MrCU204 2025-01-17 11:30 143浏览
  • Ubuntu20.04默认情况下为root账号自动登录,本文介绍如何取消root账号自动登录,改为通过输入账号密码登录,使用触觉智能EVB3568鸿蒙开发板演示,搭载瑞芯微RK3568,四核A55处理器,主频2.0Ghz,1T算力NPU;支持OpenHarmony5.0及Linux、Android等操作系统,接口丰富,开发评估快人一步!添加新账号1、使用adduser命令来添加新用户,用户名以industio为例,系统会提示设置密码以及其他信息,您可以根据需要填写或跳过,命令如下:root@id
    Industio_触觉智能 2025-01-17 14:14 69浏览
  • 80,000人到访的国际大展上,艾迈斯欧司朗有哪些亮点?感未来,光无限。近日,在慕尼黑electronica 2024现场,ams OSRAM通过多款创新DEMO展示,以及数场前瞻洞察分享,全面展示自身融合传感器、发射器及集成电路技术,精准捕捉并呈现环境信息的卓越能力。同时,ams OSRAM通过展会期间与客户、用户等行业人士,以及媒体朋友的深度交流,向业界传达其以光电技术为笔、以创新为墨,书写智能未来的深度思考。electronica 2024electronica 2024构建了一个高度国际
    艾迈斯欧司朗 2025-01-16 20:45 177浏览
  • 随着消费者对汽车驾乘体验的要求不断攀升,汽车照明系统作为确保道路安全、提升驾驶体验以及实现车辆与环境交互的重要组成,日益受到业界的高度重视。近日,2024 DVN(上海)国际汽车照明研讨会圆满落幕。作为照明与传感创新的全球领导者,艾迈斯欧司朗受邀参与主题演讲,并现场展示了其多项前沿技术。本届研讨会汇聚来自全球各地400余名汽车、照明、光源及Tier 2供应商的专业人士及专家共聚一堂。在研讨会第一环节中,艾迈斯欧司朗系统解决方案工程副总裁 Joachim Reill以深厚的专业素养,主持该环节多位
    艾迈斯欧司朗 2025-01-16 20:51 137浏览
  • 日前,商务部等部门办公厅印发《手机、平板、智能手表(手环)购新补贴实施方案》明确,个人消费者购买手机、平板、智能手表(手环)3类数码产品(单件销售价格不超过6000元),可享受购新补贴。每人每类可补贴1件,每件补贴比例为减去生产、流通环节及移动运营商所有优惠后最终销售价格的15%,每件最高不超过500元。目前,京东已经做好了承接手机、平板等数码产品国补优惠的落地准备工作,未来随着各省市关于手机、平板等品类的国补开启,京东将第一时间率先上线,满足消费者的换新升级需求。为保障国补的真实有效发放,基于
    华尔街科技眼 2025-01-17 10:44 195浏览
  • 随着智慧科技的快速发展,智能显示器的生态圈应用变得越来越丰富多元,智能显示器不仅仅是传统的显示设备,透过结合人工智能(AI)和语音助理,它还可以成为家庭、办公室和商业环境中的核心互动接口。提供多元且个性化的服务,如智能家居控制、影音串流拨放、实时信息显示等,极大提升了使用体验。此外,智能家居系统的整合能力也不容小觑,透过智能装置之间的无缝连接,形成了强大的多元应用生态圈。企业也利用智能显示器进行会议展示和多方远程合作,大大提高效率和互动性。Smart Display Ecosystem示意图,作
    百佳泰测试实验室 2025-01-16 15:37 191浏览
  • 百佳泰特为您整理2025年1月各大Logo的最新规格信息,本月有更新信息的logo有HDMI、Wi-Fi、Bluetooth、DisplayHDR、ClearMR、Intel EVO。HDMI®▶ 2025年1月6日,HDMI Forum, Inc. 宣布即将发布HDMI规范2.2版本。新规范将支持更高的分辨率和刷新率,并提供更多高质量选项。更快的96Gbps 带宽可满足数据密集型沉浸式和虚拟应用对传输的要求,如 AR/VR/MR、空间现实和光场显示,以及各种商业应用,如大型数字标牌、医疗成像和
    百佳泰测试实验室 2025-01-16 15:41 188浏览
我要评论
1
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦