吉利：如何应用大模型技术？

在2024年的全球技术大会(GTC)上，吉利汽车的陈勇博士分享了吉利在智能化变革方面的最新进展。这份材料强调了大模型技术在推动汽车行业向数据算法驱动体验转变中的关键作用。

本文将根据这份材料，来探讨吉利如何利用大模型技术，以及这一技术如何塑造智能驾驶的未来。

大模型技术，或称为基础模型（Foundation Model），是一种集成了人工智能算法、大数据平台和强大计算力的技术。它通过不断迭代的AI算法和数据闭环，为智能驾驶提供了强大的支持。

智能驾驶的三大关键要素：

● 安全: 安全是自动驾驶的首要任务，因为它涵盖了车辆在运行过程中不会伤害乘员、其他道路使用者和行人的能力。这包括传感器可靠性、决策算法和故障安全机制等方面。

● 体验: 自动驾驶的用户体验应该无缝、舒适和愉快。这涉及诸如平稳的加减速、直观的导航以及处理意外情况的能力等因素。

● 成本: 自动驾驶技术需要具有可承受的成本才能得到广泛采用。这包括传感器、计算硬件、软件开发和测试的成本等。

数据量不足是数据驱动解决方案面临的主要挑战之一。这影响了算法和模型的有效性。此外，数据采集和标注的高成本进一步加剧了这一问题。传统的数据采集和标注方法往往在经济上不可行。

为了解决这些挑战并创造价值，需要创新的方法。

● 其中一种方法是利用数据合成技术。这项技术使得可以生成合成数据来补充真实数据，从而扩大数据集并提高模型性能。可以采用AIGC风格迁移等技术来增强数据质量和多样性。

● 另一个创造价值的途径在于虚拟资产开发。通过利用虚拟环境和资产，公司可以模拟各种场景并更有效地收集数据。这不仅降低了成本，还为分析提供了更广泛的数据范围。采用语义分割和视频理解等先进技术可以增强数据理解和利用。

这些方法使得对数据进行更加细致的分析，从而提高决策和问题解决的质量。

为了解决安全性和可解释性等问题，可以应用自动标注和E2E大模型技术。自动标注减少了标注数据所需的手动工作，而E2E大模型技术则确保了端到端的学习。

吉利汽车正通过以下几个方面实现智能化变革：

● 技术驱动创新：吉利汽车将粗犷的硬件驱动体验转变为数据算法驱动体验，强调用户体验在技术价值创造中的核心地位。

● 系统集成化：通过整合不同的技术组件，吉利汽车提高了系统的效率和性能。

● AI算法迭代：不断更新和优化AI算法，以适应不断变化的驾驶环境和用户需求。

● 数据闭环：通过收集和分析用户数据，吉利汽车能够持续改进其产品和服务。

吉利汽车的大模型技术在多个方面得到应用：

● 智能驾驶大模型：通过AI-DRIVE智能驾驶大模型，吉利汽车能够处理复杂的驾驶场景，提高驾驶安全性和体验。

● 数据合成技术：解决了数据量不足和高成本数据采集的问题，通过AIGC风格迁移和虚拟资产开发，提高了数据的质量和数量。

● 数字孪生技术：在虚拟空间中建立物理世界模型，还原真实世界道路场景，为自动驾驶算法提供了高效的数据训练平台。

● Sim2Real风格迁移：通过将虚拟数据迁移到真实场景，提高了自动驾驶模型的性能。

吉利汽车建立了全球车企首个“云-数-智”一体化超级云计算平台——吉利星睿智算中心。这个平台基于英伟达的计算工具，提供了强大的算力支持，使吉利汽车在大模型研发上处于行业领先地位。

● 预标注大模型技术框架：

预标注大模型技术框架采用了图文多模态模型作为骨干，这极大地增强了模型的理解和泛化能力。通过结合多方数据源和数据强化策略，使得模型更好地适应不同的业务场景。

同时，引入了最先进的多尺度特征、去噪训练等策略，使得Transformer架构性能更加优越。框架能够同时处理语义分割、物体检测等2D图像感知任务，实现了标注数据的互通。

这意味着模型可以在不同的任务和数据集之间无缝切换，从而提高了标注效率和模型的可用性。

吉利汽车通过大模型技术的应用，不仅提升了智能驾驶的性能，也为整个汽车行业的智能化转型提供了新的思路。随着技术的不断进步，我们可以期待未来驾驶体验将更加安全、高效和个性化。

陈勇博士在GTC上的分享强调了大模型技术在未来智能驾驶中的重要性，当前大模型的能力不应被高估，但其未来的潜力同样不容小觑。