作为智能驾驶感知的主力传感器，视觉（摄像头）仍然在不断突破性能天花板。如果把SLAM算法（单一摄像头的时间序列）+深度学习作为感知的1.0，那么基于多摄像头、甚至是不同传感器的BEV（Birds-Eye-View）模型则是进入感知2.0时代。
此外，相比于对象识别，行为预测和规划通常是在一个自上而下的视图（也称为鸟瞰视图）中完成的，因为高度信息已经不那么重要。这种BEV空间模型也可以称为3D空间，相应的对象检测通常被称为3D定位。
而传统的计算机视觉任务，如目标检测和语义分割，需要在与输入图像相同的坐标系中进行估计。因此，传统的感知堆栈通常需要在与车载摄像头图像相同的空间进行。
同时，下一步的预测和规划则是通过多传感器融合进行，通常依靠毫米波雷达或激光雷达等主动传感器的帮助下，将2D提升到3D定位。而BEV模型，则同样有助于感知融合的性能提升。
这意味着，在统一的模型下，可以实现从纯视觉感知到多传感融合方案的逻辑一致性，可以大幅减少不必要的额外开发成本。
比如，在国内市场，魏牌的城市NOH系统（毫末智行研发）在感知层面，就依靠独创的“双流”感知模型，可以提前监测到红绿灯并识别；通过Transformer模型，自研BEV Transfomer用于解决城市路况的各种挑战。
此外，理想L9首发搭载的理想AD Max智能驾驶系统同样也使用了BEV模型，利用“纯视觉”进行运动感知预测（同时扔掉了分辨率低的角雷达，保留了前雷达并增加了激光雷达），同时多传感融合和高精地图的信息输入作为辅助，落地了BEV融合算法。
同时，理想的这套系统还增加了视觉安全模块和激光雷达安全模块，与BEV框架模型互为冗余，能在极限环境下为安全提供多一层保障。目前，这套全栈自研的智能驾驶算法，也已经在国际上斩获多个权威奖项。
从目前市面上的智能驾驶系统的感知组合来看，多摄像头，首先是必选项。相对来说，不管是4D毫米波雷达、激光雷达还是以辅助感知和冗余决策为主。
而更多的摄像头，意味着即便其他感知系统失效，多摄像头的预测结果也可以转换到三维空间，这也是规划和决策系统的基础。特斯拉称这种三维空间为“矢量空间”，车辆及其所在空间的信息，如车辆的位置、速度、车道、标志、信号灯、周围物体等，都被数字化，然后在该空间中进行可视化。
从行业趋势看来，BEV模型及应用有可能会成为主流趋势。这意味着，从芯片开始，到传感器芯片、摄像头以及软件算法都需要进行相应的快速适配，以帮助Tier1以及OEM快速实现方案落地。
在近日举办的2022年度（第四届）高工智能汽车市场峰会上，地平线副总裁张宏志就提出了关于产品Road Map要实现产业链上下游「对齐」的概念，比如，不同类型的传感器、芯片等等，在硬件层面的收敛有助于上层的系统开发商更快速的匹配技术的变化。
在过去，市面上有不同的感知组合方案，同时，Tier1、硬件以及软件厂商要根据不同的方案选择进行定制开发，使用不同类型的模型来进行融合感知和决策，实际上这背后有巨大的隐性开发成本的产生。
比如，基于自研芯片，地平线打造了SuperDrive全场景智能驾驶方案，可支持高速、城区、泊车全场景自动驾驶，其背后也有基于感知融合的BEV技术、基于软件2.0开发范式的4D标注和预测。
而在智驾科技MAXIEYE创始人兼CEO周圣砚看来，上帝视角（BEV）是深度学习之后的又一个新台阶，解决了过去多传感器的变化和异构带来的各种各样的融合感知算法的开发问题。
比如，1R1V（毫米波和摄像头融合）成熟后，行业内又在开发毫米波和激光雷达的融合，算法工程师接下来还要开发激光雷达/4D毫米波雷达的深度学习算法，还要做很多的数据后处理。相对来说，BEV技术解决了输入和输出的结果不一致性的难题。
从原理上来说，BEV对比传统的感知算法，输入是一样的，是多路的传感器信息，最终在3D空间中直接输出规划控制需要用的输出形态。而类似地平线的工具链，把神经网络从训练、量化、部署整个的流程能比较顺利的在一个链条里面打通，通过这种方式让BEV方案快速的演进、迭代，扩展到各种各样的任务上。
“随着L2+、L3以上，传感器大家用得越来越多，为了更周全的探测周围的环境，我们也在思考是不是可以通过更高的分辨率，能够把传感器做融合，从系统方案上对硬件做简化，但是算法和其他的可以做得越来越复杂。”思特威汽车芯片部副总裁邵科表示。
这其中，以BEV绕不开的环视/侧视摄像头为例，提出了对摄像头的分辨率与暗光成像等性能更高的要求。比如，传统的360环视更多只是解决人机交互的问题，图像的现实和拼接仅仅是辅助驾驶员的感知和决策。
比如，此前思特威推出了基于SmartClarity®-2技术平台的图像传感器——SC220AT，搭载SFCPixel®专利技术及PixGain等多项升级技术，不仅片上集成了升级的自研ISP算法，实现更加优异的图像质量，还兼具动态行交叠HDR与PixGain HDR®两种HDR模式，满足各类速度运动应用场景下的多元化HDR性能需求。
这款2.5MP车规级图像传感器，能够帮助实现360°环视应用的性能升级，比如，匹配高阶智能驾驶系统的全景周身感知的需求，而感光度相比同类型产品大幅提升了28%。
在这一点上，大疆车载的量产方案，同样是考虑了传统鱼眼相机（用于全景环视和融合泊车）的硬件复用，将算法和硬件做了解绑，既可以用在泊车，也可以用在车道目标检测。
此前，法雷奥推出了WoodScape数据集，这是由在欧洲搭载的车队基于环视鱼眼相机拍摄的超过10,000幅图像，并提供了各种任务所需的标注，包括语义分割、深度估计、2D物体检测、视觉测距、运动分割以及端到端方案开发。
法雷奥舒适和驾驶辅助业务负责人Marc Vrecko表示，“通过WoodScape，我们希望鼓励研究团体开发针对高速和低速车辆自动化场景的鱼眼摄像头的计算机视觉算法。”因为，和其他类型传感器一样，鱼眼摄像头能够实现360°感知，也是自动驾驶的关键。
比如华为此前推出的800万像素超级鱼眼摄像头，采用自主视觉算法+玻璃模压非均匀镜头，相比市面上200万像素摄像头，检测距离翻倍、分辨率更高。
同时，4个超级鱼眼摄像头，可以替代传统4个侧视+4个环视的高阶360度感知方案，支持大FOV视角以及80米的环视检测距离。而类似这样的方案设计，在后续行泊一体市场可以最大化帮助提升传感器的复用能力，并降低系统的整体成本。
而在特斯拉的BEV模型中，另一个特点就是将传统ISP作为神经网络的一层，而不是在摄像头端对数据进行预处理。这意味着，可以让神经网络根据后端任务要求来决定ISP的参数调整，最大程度保证原始数据的有效性。
实际上，正如马斯克对于传统ISP处理的“否定”，独立ISP和视觉处理SoC的传统组合应该重新评估。ISP的功能可以直接在NNA上实现，也可以训练成在NNA上执行的CNN。“这种重新设计的架构，最终的系统级成本都比传统架构要低得多。”
在高工智能汽车研究院看来，在当下智能驾驶进入前装规模化升级的关键周期，系统性成本仍然是关键要素，如何实现在低成本感知硬件的基础上，通过场景适配性更强的算法模型可以实现高中低配硬件的全覆盖，至关重要。
