你有没有发现一个细节，为啥 自动驾驶行业 里讲端到端，就是端到端，而理想在讲端到端的时候讲的是「端到端 + VLM」。
那问题来了，到底你的端到端是端到端，还是理想的「端到端+VLM」是端到端呢？
坦率来讲，这个问题非常复杂，别说我们一期视频，甚至我们在用几期也很难解释清楚这个复杂的工程问题。
但我们依然希望用一些简单的方式，表述清楚这个复杂的逻辑。
那在讲端到端之前，我们来回顾一下「规则」框架下的系统逻辑。
自动驾驶一般分为感知、预测、规划和控制四大基础模块，各个模块各司其职、分工明确，并且这几个模块之间的信息是递进关系，看了这个图可能更好理解一些。
首先是利用传感器感知到信息，在融合了地图信息之后，会生成一个结果，给到规划模块，然后规划模块按照感知给的结果，生成一个可通行路径给到「控制」，然后工程师利用控制算法输出车辆的驾驶指令。
到这一步，其实还比较好理解，这是个系统运行的逻辑，当然，这里我们不用去展开每个模块具体的算法结构，我们需要知道另一个问题。
这种技术框架为什么会有局限性，甚至到现在要用端到端去改变呢？
这里面我们可以看到的是，系统的每个模块相互独立，又相互递进，这就产生了一个问题，每个模块所传递到下一个模块的信息会有损。
如果你看综艺节目的话，肯定看过一个叫「传声筒」的游戏，一般游戏是多个人组成，第一个人看到一组词，比如是「我开车去了动物园」第一个人通过比划给第二个人，第二个人再比划给第三个人，以此类推最后第 10 个人猜出的答案可能和题目是天差地别的，比如「我养了七只猴」。
你可以简单吧这个游戏的信息传递理解成规则算法下信息的传递，事实上到了最后信息的损失是比较多的，那你就很难基于一个不准确、不完整的信息，然后给出一个正确的答案。
所谓的规则，其实是基于少量自动化算法下，大量依靠工程师手动编码给出规则指令的技术框架。
缺点是需要大量的人力去编码，成本高 以及 在面对新情况的时候，需要人工添加新的规则来应对新变化，它的灵活性较差。
可能有小伙伴要问了，如果说前面各个模块比较复杂，那么把它们都去掉不就好了嘛？
哎，端到端就是这么做的。
端到端技术框架，就是把中间复杂的模块用一个「大模型」架构去融合，由传感器把信息送到模型里，再由模型直接给出答案，而这个答案可以直接被使用。
其实你就这么理解，还是「传声筒」游戏，只不过现在变成了，「我开车去动物园」这几个字被前 9 个人各自知道了一个字或两个字，现在让这 9 个人去了一个小黑屋，他们讨论了半个小时后出来，派了一个代表把这个比划给了第 10 个人。
那你想，最后这个人的得到的信息是不是最接近真实的。
这就是 端到端 技术框架的逻辑，优点是简化了人为规则后，泛化更强了，同时由于感知信息的无损传递，系统得到的答案更加接近真实答案，所以系统的控制执行也更加细腻丝滑，这就是大家经常讲的「像人」一样开车。
但你有没有发现理想的端到端，哎，它不一样，多出一个「VLM」。
前面我们说了 端到端 的优点，现在就要说一下端到端的缺点了，端到端是一个逻辑描述，技术上正确描述应该是：大语言模型在自动驾驶上的应用，这就回归到了正统人工智能界。
我们知道端到端是直接把传感器的信息丢到模型里，然后模型给出结果。
可是在人工智能界，现在的难点是 大家并不知道这些信息在模型里究竟是怎么工作的。
这就好比前面那 9 个人进到小黑屋商量，可是我们完全不知道这几个人怎么商量的，互相说了什么。
所以到了自动驾驶系统里也是一样，我们知道端到端输出的轨迹、障碍物等都更加准确了，但就是不知道它怎么做到的，所以为了驾驶安全、合理，系统需要更加精准的理解场景内的各种信息。
我们需要帮助系统更好的做场景理解，所以理想的架构才有了 VLM 这个模块。
VLM 中文名称为：视觉语言大模型。
这并不是一个新的算法技术，但在自动驾驶上的应用却很新。
虽然它叫视觉语言大模型，但它可以输入其他模态的数据进行模型训练，也就是不管是 视频、文本、图片、或者鬼画符 之类的信息都可以丢到模型内供模型训练。
所以我们看框架图可以理解，理想的传感器感知到的信息不仅直接给到端到端模型，也会给到 VLM 模型，而且 VLM 模型里就是用问答的方式，让模型描述出看到图像里有什么？
比如这张图里，有没有车道线、有几个水马、有几个装桶等，同时 VLM 也可以基于互联网海量的图像、文本数据来训练这个模型。
反正就是 一顿操作猛如虎 之后，VLM 也有一个答案会给到端到端模型，而且端到端模型就相当于融合了本来传感器的信息，又有了很多互联网图像、文本信息，最终经过各种比对、自行比划得出了一个最接近正确答案的结果。
这也是理想快慢双系统的基本逻辑，好处非常简单，就是可以增加系统对场景的理解，同时理想模型的迭代也会变快。
显然，技术不会像我们描述的这样简单，这里面各个复杂的工程问题其实都没有具体展开，因为对于大部分用户而言，我们需要的是这台系统 好用、安全。
