前言
自动驾驶涉及技术方方面面。一个成熟的自动驾驶系统主要分为软硬两部分，硬件包括但不限于计算单元、传输网口、传感器本身、网络设备，软件包括但不限于进行任务调度的基础软件、"灵魂所在"的算法模块以及"基础设施"高精度地图。当前公众意义认为的自动驾驶主要指：车上安装的传感器 + 自动驾驶算法。
算法模块可以分为大感知(包括融合与预测)、定位、规划与决策、控制几个模块。
本文对于以上几个模块总结了一些问题，并给出一些思考。
感知
感知模块占据了算法模块接近70%的代码，是自动驾驶系统中基本的、重要的、庞大的模块。感知的好坏对后端的决策层影响较大。
感知对应于人的眼睛与耳朵，主要使用Lidar、camera、Radar等传感器。
实现功能包括但不限于：
对内：人脸识别、疲劳监测。
对外：红绿灯识别、交通标志识别、车道线识别、可行驶区域识别、障碍物检测
通用的知识主要包括：
目标检测、语义分割、多目标跟踪。
下面将分别讨论各个传感器与感知整体
一、camera
存在问题：
当前量产的相机与镜头不具有匹配的通用性：长焦镜头会抖动；广角镜头成像不清；变焦镜头不稳定容易造成重定位不精准；
图像等时传输和快门速度之间如何调和。如果为了时间对齐而进行强制曝光可能会造成过曝或欠曝；
彩色镜头会受环境光的影响比较大，存在曝光失败或色彩失真情况；
双目摄像头受分辨率影响。比如超分辨率现象；三维成像的精度随着距离的增大而减小并伴随着大量噪声；生成点云出现不均匀与密度低的情况。
未来发展：
多光补摄像头(当前应用于航天领域、军事遥感、机器人、测绘领域)相机成本如果降低，可以应用在乘用车上。这会提升材质的识别和边缘提取。
摄像头需要满足低照度、高动态、高分辨率、精准的变焦。这会让图像的色彩、稳定性得到显著提升，可以解决像素表达一致性的问题，就有希望在曝光质量和时间上达到一种平衡，以实现等时传输，从而实现多摄像头多传感器的同时采集，这样就可以达到和惯导、radar、lidar进行同时采集，使得物理硬件时间戳达到一致性的目标。
二、lidar现阶段
存在问题：
成像不均匀，点云之间的空洞、夹缝会比较多，点云密度也比较低、缺乏色彩的信息，仅能描述目标的轮廓和尺寸信息，无法获知纹理信息。
Lidar环境适应性不好，无法通过车规级测试。
雨雾沙尘颠簸路以及剧烈运动的场景表现不好。
成本比较高。高线数没有自动流水化产品，一批次的不同lidar会有不同的表现，还要进行一次联合标定。
未来发展：
当前三维目标检测与跟踪、语义分割不是很理想，主要是点云成像不太理想，特别是远距离成像。比如一个人，可能就扫到一排或两排激光线， 这有可能是个人也可能是一棵树。
成像周期，现在一般是10HZ-20HZ，对于高速公路或细的目标的识别与避障不太够，业界认为如果能做到100HZ后去跟惯导融合效果会更好。
固态激光雷达不错，但是现在大多数厂商都是半固态的。
需要激光雷达可以高分辨率、点云均匀分布、高速度、车规级的固态激光雷达最好还是低成本。
三、Radar
存在问题：
无法三维成像。
对目标的识别尺寸位置以及跟踪的精度相比Lidar要低一些。
容易受到温度、湿度、大功率用电设备的影响。
未来发展：
低成本的孔雷达、SAR雷达。
可以成像的雷达。
四、感知算法模块
存在问题：
训练样本数量偏少；高的标注成本；不平衡的训练数据；不完整的场景覆盖；这四点导致2D图像语义分割、3D目标检测、3D语义分割的精度下降。
缺乏对深度学习模型拟合的有效理论指导，会出现模型不可解释、需要大量的数据、训练过程不可控、鲁棒性不够这些情况。
多传感器融合的耦合性较高，真正异构的多传感器融合比较少。
没有全天候，全场景的覆盖研究：雨天、雪天、雾天、山路、乡村路、冰雪路。
对高动态的场景缺少在线验证的方法，无法评估他的正确性与稳定性。
未来发展：
深度学习是要比机器学习和手工设计规则的方法要好一些，所以关注模型的可解释性、小样本学习、无监督学习、弱监督学习、模型压缩、标定都是未来的方向。
融合应该偏向于异构。融合可提高精度与鲁棒性，异构方便于扩展。
对场景的理解。需对各种场景进行语义层面的理解。高质量的场景理解对于提升行驶舒适性、扩展行驶能力十分重要。
仿真的在线认证。当前都是离线数据+虚拟引擎去构建仿真系统，这种方法一般帮助是有限的，那如何在接近真实的场景中去验证高动态的环境感知问题，能捕捉环境感知的瞬间就对评估是十分重要的。
建图与定位
存在问题：
长时间的卫星遮挡会造成惯导失效；SLAM与测距仪的方式会造成空洞变形、重影与错位；传统方法是用轮速计进行补偿，但是越野路与沙地会打滑，这就不行。
当前多线激光雷达和三维大尺度地图构建是有瓶颈，在小场景slam建图还不错，30km以上slam会出现明显的累积误差与非线性漂移。
未来发展：
针对车轮打滑进行补偿，可以引入车辆动力学。
对IMU进行升级，航空方面的高精度IMU如果降成本的话。
如何构建场景之间的关系，比如划分车道与道路之间关系 道路与路口与关系，此外目标的管理表达和存储是处于讨论的阶段。
规划与决策
存在问题：
当前环境感知系统不太准确，导致预测模块(意图与轨迹)结果不准确，导致自车与目标博弈算法失败，使得决策系统更倾向于保守的规则(停车)。比如评估当前场景变化莫测，系统很难避障，系统就会选择停车，而如果与后车间距又太小，就会一直等着，直到前方可通行。
对驾驶场景的描述。根据划分力度的不同，会造成场景的数量不断的增加。几百万到几千万量级都是有可能的，无法去评估。
超低速情况也是planning的一个主要挑战。因为车辆设计都会有一个待速的要求，如果低于这个速度了可能会熄火，尤其是内燃机这种车。而在待速情况下很难走出预先设定的轨迹，不够细腻，造成避障与会车的失败。人由于在驾驶可以含着刹车，并且开车处于不断试探的过程，可以不断博弈，而自动驾驶就无法很好的cover。
决策的伦理性和责任认定还不成熟。
未来发展：
深度强化学习去做场景的决策，一遍cover大量的规则，但模型的设计与训练过程还是需要进一步发展。
控制和运动平台
存在问题：
1.乘用车控制系统还不太成熟，当前还用的L2的adas用的控制器提供的控制，刹车系统与转向系统的表现不是很线性，一顿一顿的。低速场景(闹市区)相比人控制的不行
2.车载网络无法达到千兆万兆级别的传输、很难等时传输 。计算器算力也不够。控制器无法达到精准的控制。
未来发展：
车辆从为人设计而向从向人工智能去设计？随便说说
版权声明：本文为博主「Minne」的原创文章，已获作者许可转载。
阅读原文，关注作者知乎
推荐阅读
关于汽车人转型，“正能量”故事看腻了，今天来一篇“负能量”的
特斯拉Autopilot系统安全研究|附dbc下载
