CodeWisdom 08月16日
用软件系统驾驭AI“直觉”:智能时代如何实现具有韧性的自动驾驶?
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

本文探讨了自动驾驶系统如何从单一的神经网络模型转向神经网络与软件系统的深度融合,以实现真正的韧性。文章指出,尽管端到端神经网络在感知和决策方面表现出色,但其“黑盒”特性、对罕见场景的脆弱性以及价值对齐的挑战,使得仅依赖神经网络难以保证安全。通过引入运行时验证、后备策略等软件系统模块,可以有效提升单车智能的安全性。在多车智能场景下,局部最优的神经网络决策可能导致全局失效,如交通死锁。文章提出,通过车联网和路侧单元等软件系统进行全局协调和调度,是解决多车协同问题的关键。最终,文章强调,神经网络的“直觉”需要软件系统来驾驭,两者深度融合才能构建出可靠、可信赖的自动驾驶系统。

💡 神经网络的局限性与韧性挑战:端到端自动驾驶模型虽然在感知和决策上表现优异,但其“黑盒”特性、对训练数据依赖以及难以处理“未知之未知”的场景,带来安全隐患。精心设计的干扰可能导致失效,且无法用完美目标函数定义复杂人类价值观。因此,仅依赖神经网络不足以保证自动驾驶系统的安全和韧性。

🛡️ 软件系统是提升单车智能韧性的关键:为应对神经网络的局限性,需要引入软件系统层面的保障。运行时验证模块能实时监控并修正神经网络输出的轨迹,将其限制在安全范围内。后备策略则能在神经网络遭遇极端情况时,通过可解释、可验证的轨迹规划引导车辆脱离危险,显著提升系统的安全性和鲁棒性。

🚗 多车智能的系统性挑战与软件解决方案:在多车协同场景下,即使各车辆的神经网络独立决策看似合理,也可能因缺乏系统级协调而导致全局失效,如交通死锁。这是AI“直觉”无法解决的。通过车联网(V2X)技术,如部署路侧单元(RSU)充当交通协调者,对车流进行全局调度和仲裁,可以有效缓解此类问题,提升多车自动驾驶的韧性。

🤝 神经网络与软件系统的深度融合是未来趋势:文章认为,过分强调神经网络取代传统软件的观点是误解。真正可靠的自动驾驶系统,应是神经网络强大感知能力与软件系统提供的确定性、可验证性保障的深度融合。软件工程师的角色也需从代码编写者转变为系统架构师,将智能化部件安全地嵌入到稳健的软件框架中。

2025-08-07 14:41 上海

CodeWisdom团队最新分享:真正可靠的自动驾驶系统,应源于神经网络与软件系统的深度融合。


用软件系统驾驭AI“直觉”:

智能时代如何实现具有韧性的自动驾驶?

王定基、鲁游

研究背景


近年来,端到端自动驾驶模型的卓越的环境感知和决策能力吸引了学术界和工业界的大量关注。与传统的模块化模型不同,端到端自动驾驶模型以不依赖高清地图或手工规则来处理多种驾驶场景作为优势。Tesla FSD v12在官方更新说明中指出“使用单一端到端神经网络替换了30万行显式C++规则代码”[1]。通过设计模型网络架构,准备和标注大量数据,然后利用庞大计算资源进行训练,从而得到一个能够理解交通规则和人类驾驶体验需求的模型。此外,一些V2V模型接收周边车辆信息(如邻近车辆的感知和决策)作为额外的输入,送入其自身的神经网络以获得更广的感知范围和更优的决策,使得单车智能研究迈向多车智能研究。然而,我们可以信任端到端自动驾驶模型的决策吗?多个真实案例表明,即使在与训练数据集高度相似的场景中,端到端自动驾驶模型仍然可能发生违规行为,从而降低系统性能、危害道路安全。


图1 人们常常忽略ADS下层模块在稳定性方面的重大作用

对于自动驾驶系统,大部分人往往只关注到上层端到端模型或者其模块化实现在复杂道路场景下的效果,而忽略了下层的控制器运行时验证安全监测后备安全策略等模块的作用。用Tesla FSD v12的案例宣称“神经网络取代传统软件”,恰恰忽略了自动驾驶系统这座冰山水面下的巨大体量。在面对复杂多变的道路场景时,我们必须在“神经网络无所不能”的惊叹中深思如何工程化地构建一个具有韧性的自动驾驶系统。韧性关注的是自动应对并从意外事件中恢复的能力。无论是单车智能还是多车智能,提升自动驾驶系统韧性需要构建能够主动缓解驾驶风险、快速恢复、并在复杂条件下持续有效运行的系统,而这往往需要发挥自动驾驶系统这座冰山水面下模块的作用。

单车智能:危险场景下的安全保障


神经网络本质上是具有“直觉”的概率模型,其“黑盒”特性导致难以进行严格的形式化验证来保证永不犯错,引入了不稳定的安全隐患。例如,一张精心设计的贴纸便可能诱导自动驾驶车辆撞墙,这种失败模式在逻辑清晰的传统软件中几乎是不可想象的。其次,神经网络的能力受限于数据。端到端自动驾驶模型善于从海量历史样本中学习模式,但在突发少见的驾驶场景下难以应对风险。最后,也是最深层的挑战,是价值对齐的鸿沟。我们无法用一个完美的目标函数来定义复杂、多变的人类价值观。因此,寄希望于一个概率模型能够领悟安全、公平等驾驶原则是不太实际的。

例如,在一个典型的视野盲区场景中,一名行人从停放的车辆后方突然出现并进入自动驾驶车辆视野中。然而,自动驾驶模型未能及时地生成安全驾驶轨迹并调整车辆速度,最终与行人相撞。在这种情况下,一个具有运行时验证或者后备策略的自动驾驶系统,将更加有效地应对该风险场景。

●  运行时验证:学术界已经提出了多种运行时验证策略来增强自动驾驶系统的韧性。Interfuser通过安全控制器将动作限制在安全集合内,从而降低碰撞风险;UniAD利用基于牛顿法的优化在占用网格上生成无碰撞轨迹;VAD引入实例级规划约束以提高规划可靠性。这些策略作为一个独立的软件模块,实时监控端到端自动驾驶模型输出的每一条轨迹,一旦发现有违反规则的风险,就会主动修复轨迹以确保车辆行为的安全性。

●  后备策略:神经网络的“直觉”遭遇其训练数据中从未见过的“未知之未知”(Unknown unknowns)时,一个应对风险的后备策略将有效提升系统韧性。在上层自动驾驶模型和下层后备保障模块的配合下,对每一条模型输出轨迹进行异步监控以发现潜在的风险,依靠严格的形式化验证判断什么时候需要有后备保障模块接管车辆,并基于可解释、可验证的轨迹规划(如基于IDM的航路点重规划)引导车辆脱离危险状态。我们的实践证明,这一策略可以在多个闭环仿真测试(如Bench2Drive)中显著提升自动驾驶系统的韧性(平均违规率下降超60%),并且可以无缝兼容主流自动驾驶模型。

神经网络虽强,但唯有与软件系统协同,才能构建真正可靠的自动驾驶系统。通过结合神经网络与软件系统来构造具有韧性的自动驾驶系统,才能真正把AI“直觉”变成可上路的安全承诺。

多车智能:局部合理但全局失效下的风险缓解


当我们将视野从单一车辆扩展到由多辆自动驾驶汽车组成的交通流时,会发现一系列全新的、更为复杂的系统性问题。

例如,在一个没有交通信号灯的十字路口,四辆自动驾驶汽车从不同方向同时到达,每一辆都依据“礼让右侧来车”的保守策略决定等待,但由于所有车辆都在等待其他车辆先行,结果所有车辆都陷入了无限的等待,整个路口交通瘫痪。除此以外,还有多种自动驾驶车流整体失效的场景。当多个以自我为中心、缺乏系统级协调的自动驾驶汽车在共享资源(如交叉路口)上交互时,即使它们遵循着各自看似合理的局部规则,也可能导致系统性的灾难后果,比如车流死锁或者车辆碰撞。

图2  摘自InterDrive 数据集[2]

这种局部合理但全局失效的例子暴露出单个神经网络缺乏系统级协调能力。这并非一个简单的AI问题,即使将再多V2V数据输送到神经网络,也不能确保多车间行为的有序性。协同不是简单的感知增强问题,而是超越个体视角的、非局部的分布式决策和系统级冲突解决,这正是软件系统擅长解决的范畴。车联网(V2X)技术使得车辆之间、车辆与基础设施之间能够交换信息,为协同驾驶提供了可能。我们设想一个未来交通系统,其中路口部署了路侧单元(RSU)充当交通协调者。每辆车为自己规划路径,但在靠近路口时,会将当前状态(位置、速度、意图)通过V2X通信上报给RSU,由RSU负责车流的整体调度与协调。这样一个复杂的车路云系统可以有效缓解上文提到的失效场景,增强多车自动驾驶的韧性。

结语


通过单车与多车自动驾驶场景下的案例研究,我们可以发现:AI的“直觉”需要由软件系统来驾驭。无论是为单个神经网络模型的轨迹规划提供运行时验证与后备策略系统,还是为多车协同中的死锁困境提供仲裁的分布式调度系统,其核心都是软件工程的系统性思维

过分强调端到端自动驾驶模型将彻底取代传统软件的激进观点,是对技术本质和工程实践的误解。在可预见的未来,神经网络既无法也不应单独取代传统软件。真正可靠的自动驾驶系统,应源于神经网络与软件系统的深度融合:神经网络提供强大的感知能力与直觉判断,软件系统则通过软件工程方法为系统提供确定性和可验证性保障。在这一融合过程中,软件工程师的角色也在转变——不再只是代码的编写者,而是成为系统架构师,运用系统性思维将神经网络这一强大的智能化部件安全地嵌入到可靠的软件框架中,构建出真正可信的自动驾驶系统。

[1] FSD v12 版本 2024.15.15 https://zh.stats.tessie.com/versions/2024.15.15

[2] Liu C, Liu G, Wang Z, et al. CoLMDriver: LLM-based Negotiation Benefits Cooperative Autonomous Driving[J]. arXiv preprint arXiv:2503.08683, 2025.



作者:王定基、鲁游

阅读原文

跳转微信打开

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

自动驾驶 神经网络 软件系统 韧性 车联网
相关文章