纯视觉方案的智驾在大雾天还能用吗?

52RD 2024-10-09 14:31

以下内容来自知乎,计算机视觉life整理,如有侵权联系删除https://www.zhihu.com/question/667652717


碰上大雾天气,纯视觉方案是如何识别车辆和障碍物的呢?

作者 小林

如果真的是纯纯的,特头铁的那种纯视觉方案的话。

可以简单粗暴的理解为:人眼不行的,机器也不行。


但是,现下,应该还没有如此100%纯度的纯视觉。

即便头铁如特斯拉,虽然取消的了雷达和超声波传感器。

但是在视觉传感器上疯狂做假发,而且依然保留的一定的冗余,来补上视觉的局限。

更准确的说,不应该叫纯视觉,而应该叫视觉优先。

这样,在大雾天。如果非得开,还能开一开。

优先级最大的摄像头系统,料堆得最满。

  • 前置主摄像头:

负责捕捉前方远距离的视野,识别车辆、道路标志和路况。

  • 广角摄像头:

捕捉前方的广角视野,尤其适合识别近距离的物体,比如停靠车辆和交叉路口的动态情况。

  • 侧面摄像头:

布置在车辆两侧,用于监控车道变换、盲区检测和周围车辆的动态。后视摄像头:负责监控车辆后方的状况,辅助倒车以及识别后方来车。


基本上,覆盖了所有该看的地方和角度。

然后,在某些瞬间失明或者视力下降的时候,还有一些传感能够暂时提供参考信息。

  • GPS和高精度地图(GPS & High-Precision Maps):

GPS结合高精度地图数据,车辆能够确定自己的定位,识别出所在道路的限速、地形和路线结构。

  • 惯性测量单元(IMU):

用来感知车辆的姿态、加速度和转向等信息。

这些数据帮助车辆在复杂的驾驶条件下保持平衡,并提供精确的动态反馈。

视觉优先,其实也更接近人类驾驶是的感知-规划-决策-执行的模式。

人虽然大部分的信息摄入来自于眼睛。

但是对于行动的决策判断,还有耳朵听到的,身体发肤感受到的,以及莫名其妙的第六感。

综合起来构筑起一个立体的信息。


视觉优先,今后的路应该不是走摄像头这一根独木桥。应该是如何接近

更像一个人的感知系统

把视觉之外的,哪些信息。

尽量通过不做加法的方式,给逆向仿生出来。

也许,有一天AI真的可以把驾驶这件事也给“暴力破解”了吧。

作者 小a同学

先问个问题,作为一名老司机的您,正常情况下敢在大雾天开车吗?

而纯视觉方案的智能驾驶也是一样的!

最近看到国外媒体做了一个有趣的试验:

用一辆洒水车在前面向跟在后面的车猛烈洒水,干扰其摄像头,然后突然闪开,露出车道上的模拟障碍物。而特斯拉发生了碰撞,这就证实了纯视觉系统的局限性。即确实存在看不见导致来不及反应的时候。


常规遇到这种情形,比如进入雾区或雨区,能见度变差,系统通常会先根据视觉所能观察到的距离适配行驶速度,也就是减速,并提示驾驶者接管车辆。

如果超出报警时间仍无人接管,处理方式与驾驶者长时间方向盘脱手一样————激烈报警和逐渐停车。这是在当前法规仅允许智能驾驶起辅助作用,且厂家不为辅助驾驶时发生的事故承担交通安全的主要法律责任,责任主体依然在驾驶者的情况下。

系统所做的一切操作都旨在尽量保证安全并免除厂商潜在的民事责任。


纯视觉方案,其实更接近人类驾驶是的感知-规划-决策-执行的模式。

人虽然大部分的信息摄入来自于眼睛。

但是对于行动的决策判断,还有耳朵听到的,身体发肤感受到的,以及莫名其妙的第六感。

综合起来构筑起一个立体的信息。

而纯视觉方案今后的路应该也不是走摄像头这一根独木桥。应该是如何接近,更像一个人的感知系统。


目前在纯视觉方案里面,特斯拉的体验是最好的。那么看看特斯拉是如何做的

特斯拉在智能驾驶方面遵循的是一种底线思维模式,也就是试探硬件少得不能再少的底线在哪里。

这就反过来促使研发团队在测试和软件开发上竭尽全力,让软件能力最大化地把硬件的作用发挥出来。

而一些十分特殊的场景,则可以用概率算法去压缩它发生的范围。只要不遇到极端情况,其使用体验就是好的,而且可以保证单车低成本、高利润率。

但这并没有消除“看不见”这个局限性,只是把因此而导致系统完全不能发挥作用的场景压缩到极致的、极少的场景。


对整车厂来说,智能驾驶竞争在软件,不在硬件。因为硬件都是供应商制造的,只要花钱采购都能得到。

而如何应用这些硬件,决定了竞争胜负。

比如击剑比赛,比的不是剑,而是运动员的剑术。特斯拉的策略就是把剑术练到家,方法就是用尽量少,尽量简单的硬件去修炼软件功夫。

当它达到高水平时,再升级装备就会更加显著地体现出竞争优势。而且,可尽量保持硬件上相对更低的成本。


这里要避免一个误解,就是认为特斯拉的智能驾驶就是最强的,放在哪里都最强。事实不是这样的。它在中国的体验效果就不如在美国。

自动驾驶系统非常依赖在使用当地的训练。特斯拉在美国本土的训练要比在中国相对完备得多,因此体验更好,开放使用的功能更深。

作者 周臻

能用,但是不好用。

纯视觉方案的先天不足就是在应对恶劣环境时不好用,在当下智能驾驶只是作为辅助驾驶时,这种缺陷尚且可以克服。但是随着智能驾驶技术成熟,在未来走向无人驾驶的终极目标时,纯视觉的这种先天不足将会成为难以跨越的天堑。这也是我不看好特斯拉FSD的最主要原因。

余承东曾经点评过FSD,认为其“上限很高,下限很低。”我觉得这说到了纯视觉方案的根本缺陷。美国发生的很多FSD导致人员伤亡的案例,也证明了其安全性能不足的问题很严重。


就拿大雾天来说,这是很正常的一种气象,早晚时段都可能起雾。人类在大雾中可以谨慎缓慢行驶来克服,智能驾驶遇到大雾天气,采用谨慎缓行的策略也可以通行,其表现并不会比人类司机更好。人类驾驶员在这种大雾天气容易出现交通事故,纯视觉方案也容易出现交通事故,这就是纯视觉方案下限很低的重要原因。


而加上了激光雷达和毫米波雷达的智能驾驶可以更好地了解周边道路环境,可以看得更远,看得更清楚,即使在大雾中也可以挥洒自如,而且安全性能好得多,其高下优劣一眼可辨。这就是激光雷达方案的智能驾驶下限很高的主要原因。


更何况,智能驾驶要面对的恶劣环境还有很多,暴雨,暴雪,雾霍,烟雾,沙尘暴等恶劣天气都是纯视觉方案难以克服的缺陷,纯视觉方案很难真正摆脱人类驾驶员做到无人驾驶,注定是没有出路的。

作者 车轮上的智慧殿堂

大雾天开车,简直是雾里看花,花里胡哨,让人心里没底。不过,随着技术的发展,特别是自动驾驶技术的进步,即便是在这样的天气条件下,我们的车辆也能做到眼观六路,耳听八方,这背后靠的就是一些高科技的视觉方案。今天咱们就聊聊,这些纯视觉方案是怎么在大雾天识别车辆和障碍物的。

说到底,现在的自动驾驶汽车,特别是那些号称纯视觉方案的家伙,它们就像是拥有了“火眼金晴的孙悟空,即使是在雾气蒙蒙的情况下,也能准确地识别出前方的车辆和其他障碍物。这得归功于一系列先进的算法和技术,比如深度学习、图像处理以及多传感器融合等,它们就像是一套组合拳,让车辆能在复杂环境中稳操胜券。

拿图像去雾算法来说吧,这玩意儿就像是给相机装上了吸尘器,能把图像里的“灰尘”一也就是那些因雾气造成的模糊感,清除得干干净净。这样一来,即使是在大雾弥漫的路上,摄像头捕捉到的画面也会清晰许多,使得后续的目标检测变得更加容易。

当然,图像去雾只是第一步,接下来就是让这些处理过的图像派上用场了。这时候,就得说到YOLO这样的目标检测算法了。YOLO,全名You Only Look Once,听着就像是在说:“看一眼就够了!”这种算法能够一次性处理整张图片,而不是像传统方法那样,先选出可能含有目标的区域再逐一检查。这样不仅速度快,而且在处理动态变化的环境时也更加灵活。举个例子,当一辆车在雾中快速驶来,YOLO能够迅速识别出它的位置,并及时做出反应,确保安全。

不过,话说回来,虽然YOLO等算法在正常天气下已经相当厉害了,但在恶劣天气中,比如大雾,它们也会遇到挑战。这时候,就轮到多模式传感器融合登场了。简单来说,就是把不同类型的传感器,比如激光雷达(LiDAR)和雷达(RADAR),以及摄像头的信息结合起来,相当于给车辆配备了一套全方位的“感官系统”。激光雷达在短距离内能够提供非常精确的三维信息,而雷达则在远距离探测方面表现出色,尤其是穿透力强,不易受天气影响。这样一来,即便是在大雾中,车辆也能通过这些传感器获取到周围环境的详细信息,再结合视觉数据,使得检测更加准确可靠。

当然,除了硬件设备外,软件算法也在不断进化。比如说,有些团队就在尝试通过深度学习的方法,让车辆学会在不同天气条件下调整自己的"视力”。这就像是给我们的眼睛加上了智能调光功能,无论是在晴天还是雾天,都能自动调节到最佳状态。这样一来,即便是突然遭遇浓雾,车辆也能迅速调整策略,确保行驶安全。

还有一些挺创新的技术,就比如说VESY传感器。它把雾天图像帧的显著性映射和目标检测算法YOLO 的输出融合到了一起,给实时应用提供了一种可行的办法。这种做法就好像是给车辆装上了“夜视仪”似的,就算是在能见度特别低的情况下,也能看清前方的障碍物。

在大雾天气下,纯视觉方案并不是孤立作战,而是通过一系列的算法优化、多传感器信息融合以及硬件升级等多种手段,共同保障了车辆的安全行驶。这就好比是一支乐队,只有各个乐器协调一致,才能演奏出美妙的音乐。同样,只有各项技术紧密配合,才能在复杂环境中确保车辆平稳前行。当然了,尽管技术越来越先进,但毕竟人命关天,在恶劣天气条件下,我们还是要保持警惕,毕竟技术再好,也不能完全替代人的判断力和应急反应能力!

下次遇到大雾天开车,虽然咱们心里可能还是会有些志忑,但至少知道背后有一整套强大的技术支持,让我们的出行更加安心。当然了,安全第一,任何时候都不能放松警惕,毕竟技术虽好,但最终还是人为本。

END.



往期推荐



中国ADAS市场领跑全球,厂商竞相布局

荣耀副董事长万飚离职

曝奇瑞控股子公司拟赴港上市

索尼发布车载摄像头ISX038图像传感器

消息称惠普计划在中国台湾地区裁员,首次大规模针对研发团队开刀

传苹果取消开发智能戒指


*免责声明:本文由作者原创,52RD转载是为分享该信息或观点,不能代表对观点的支持,如果有任何异议,欢迎联系我们。

评论
  • 铁氧体芯片是一种基于铁氧体磁性材料制成的芯片,在通信、传感器、储能等领域有着广泛的应用。铁氧体磁性材料能够通过外加磁场调控其导电性质和反射性质,因此在信号处理和传感器技术方面有着独特的优势。以下是对半导体划片机在铁氧体划切领域应用的详细阐述: 一、半导体划片机的工作原理与特点半导体划片机是一种使用刀片或通过激光等方式高精度切割被加工物的装置,是半导体后道封测中晶圆切割和WLP切割环节的关键设备。它结合了水气电、空气静压高速主轴、精密机械传动、传感器及自动化控制等先进技术,具有高精度、高
    博捷芯划片机 2024-12-12 09:16 82浏览
  • 一、SAE J1939协议概述SAE J1939协议是由美国汽车工程师协会(SAE,Society of Automotive Engineers)定义的一种用于重型车辆和工业设备中的通信协议,主要应用于车辆和设备之间的实时数据交换。J1939基于CAN(Controller Area Network)总线技术,使用29bit的扩展标识符和扩展数据帧,CAN通信速率为250Kbps,用于车载电子控制单元(ECU)之间的通信和控制。小北同学在之前也对J1939协议做过扫盲科普【科普系列】SAE J
    北汇信息 2024-12-11 15:45 110浏览
  • 全球智能电视时代来临这年头若是消费者想随意地从各个通路中选购电视时,不难发现目前市场上的产品都已是具有智能联网功能的智能电视了,可以宣告智能电视的普及时代已到临!Google从2021年开始大力推广Google TV(即原Android TV的升级版),其他各大品牌商也都跟进推出搭载Google TV操作系统的机种,除了Google TV外,LG、Samsung、Panasonic等大厂牌也开发出自家的智能电视平台,可以看出各家业者都一致地看好这块大饼。智能电视的Wi-Fi连线怎么消失了?智能电
    百佳泰测试实验室 2024-12-12 17:33 45浏览
  • 近日,搭载紫光展锐W517芯片平台的INMO GO2由影目科技正式推出。作为全球首款专为商务场景设计的智能翻译眼镜,INMO GO2 以“快、准、稳”三大核心优势,突破传统翻译产品局限,为全球商务人士带来高效、自然、稳定的跨语言交流体验。 INMO GO2内置的W517芯片,是紫光展锐4G旗舰级智能穿戴平台,采用四核处理器,具有高性能、低功耗的优势,内置超微高集成技术,采用先进工艺,计算能力相比同档位竞品提升4倍,强大的性能提供更加多样化的应用场景。【视频见P盘链接】 依托“
    紫光展锐 2024-12-11 11:50 69浏览
  • 习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习笔记&记录学习习笔记&记学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记
    youyeye 2024-12-12 10:13 31浏览
  • RK3506 是瑞芯微推出的MPU产品,芯片制程为22nm,定位于轻量级、低成本解决方案。该MPU具有低功耗、外设接口丰富、实时性高的特点,适合用多种工商业场景。本文将基于RK3506的设计特点,为大家分析其应用场景。RK3506核心板主要分为三个型号,各型号间的区别如下图:​图 1  RK3506核心板处理器型号场景1:显示HMIRK3506核心板显示接口支持RGB、MIPI、QSPI输出,且支持2D图形加速,轻松运行QT、LVGL等GUI,最快3S内开
    万象奥科 2024-12-11 15:42 86浏览
  • 我的一台很多年前人家不要了的九十年代SONY台式组合音响,接手时只有CD功能不行了,因为不需要,也就没修,只使用收音机、磁带机和外接信号功能就够了。最近五年在外地,就断电闲置,没使用了。今年9月回到家里,就一个劲儿地忙着收拾家当,忙了一个多月,太多事啦!修了电气,清理了闲置不用了的电器和电子,就是一个劲儿地扔扔扔!几十年的“工匠式”收留收藏,只能断舍离,拆解不过来的了。一天,忽然感觉室内有股臭味,用鼻子的嗅觉功能朝着臭味重的方向寻找,觉得应该就是这台组合音响?怎么会呢?这无机物的东西不会腐臭吧?
    自做自受 2024-12-10 16:34 170浏览
  • 在智能化技术快速发展当下,图像数据的采集与处理逐渐成为自动驾驶、工业等领域的一项关键技术。高质量的图像数据采集与算法集成测试都是确保系统性能和可靠性的关键。随着技术的不断进步,对于图像数据的采集、处理和分析的需求日益增长,这不仅要求我们拥有高性能的相机硬件,还要求我们能够高效地集成和测试各种算法。我们探索了一种多源相机数据采集与算法集成测试方案,能够满足不同应用场景下对图像采集和算法测试的多样化需求,确保数据的准确性和算法的有效性。一、相机组成相机一般由镜头(Lens),图像传感器(Image
    康谋 2024-12-12 09:45 74浏览
  • 首先在gitee上打个广告:ad5d2f3b647444a88b6f7f9555fd681f.mp4 · 丙丁先生/香河英茂工作室中国 - Gitee.com丙丁先生 (mr-bingding) - Gitee.com2024年对我来说是充满挑战和机遇的一年。在这一年里,我不仅进行了多个开发板的测评,还尝试了多种不同的项目和技术。今天,我想分享一下这一年的故事,希望能给大家带来一些启发和乐趣。 年初的时候,我开始对各种开发板进行测评。从STM32WBA55CG到瑞萨、平头哥和平海的开发板,我都
    丙丁先生 2024-12-11 20:14 68浏览
  • 习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习笔记&记录学习习笔记&记学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记
    youyeye 2024-12-11 17:58 83浏览
  • 本文介绍瑞芯微RK3588主板/开发板Android12系统下,APK签名文件生成方法。触觉智能EVB3588开发板演示,搭载了瑞芯微RK3588芯片,该开发板是核心板加底板设计,音视频接口、通信接口等各类接口一应俱全,可帮助企业提高产品开发效率,缩短上市时间,降低成本和设计风险。工具准备下载Keytool-ImportKeyPair工具在源码:build/target/product/security/系统初始签名文件目录中,将以下三个文件拷贝出来:platform.pem;platform.
    Industio_触觉智能 2024-12-12 10:27 37浏览
  • 时源芯微——RE超标整机定位与解决详细流程一、 初步测量与问题确认使用专业的电磁辐射测量设备,对整机的辐射发射进行精确测量。确认是否存在RE超标问题,并记录超标频段和幅度。二、电缆检查与处理若存在信号电缆:步骤一:拔掉所有信号电缆,仅保留电源线,再次测量整机的辐射发射。若测量合格:判定问题出在信号电缆上,可能是电缆的共模电流导致。逐一连接信号电缆,每次连接后测量,定位具体哪根电缆或接口导致超标。对问题电缆进行处理,如加共模扼流圈、滤波器,或优化电缆布局和屏蔽。重新连接所有电缆,再次测量
    时源芯微 2024-12-11 17:11 109浏览
  • 天问Block和Mixly是两个不同的编程工具,分别在单片机开发和教育编程领域有各自的应用。以下是对它们的详细比较: 基本定义 天问Block:天问Block是一个基于区块链技术的数字身份验证和数据交换平台。它的目标是为用户提供一个安全、去中心化、可信任的数字身份验证和数据交换解决方案。 Mixly:Mixly是一款由北京师范大学教育学部创客教育实验室开发的图形化编程软件,旨在为初学者提供一个易于学习和使用的Arduino编程环境。 主要功能 天问Block:支持STC全系列8位单片机,32位
    丙丁先生 2024-12-11 13:15 63浏览
  • 全球知名半导体制造商ROHM Co., Ltd.(以下简称“罗姆”)宣布与Taiwan Semiconductor Manufacturing Company Limited(以下简称“台积公司”)就车载氮化镓功率器件的开发和量产事宜建立战略合作伙伴关系。通过该合作关系,双方将致力于将罗姆的氮化镓器件开发技术与台积公司业界先进的GaN-on-Silicon工艺技术优势结合起来,满足市场对高耐压和高频特性优异的功率元器件日益增长的需求。氮化镓功率器件目前主要被用于AC适配器和服务器电源等消费电子和
    电子资讯报 2024-12-10 17:09 98浏览
  • 应用环境与极具挑战性的测试需求在服务器制造领域里,系统整合测试(System Integration Test;SIT)是确保产品质量和性能的关键步骤。随着服务器系统的复杂性不断提升,包括:多种硬件组件、操作系统、虚拟化平台以及各种应用程序和服务的整合,服务器制造商面临着更有挑战性的测试需求。这些挑战主要体现在以下五个方面:1. 硬件和软件的高度整合:现代服务器通常包括多个处理器、内存模块、储存设备和网络接口。这些硬件组件必须与操作系统及应用软件无缝整合。SIT测试可以帮助制造商确保这些不同组件
    百佳泰测试实验室 2024-12-12 17:45 39浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦