人生就是博世界模型NWM | 万千平行世界寻找最优解
NWM 世界模型,认知、设想、推演
这条长视频都是真实发生的场景吗?
其实不是,从第四秒起头,都是「人生就是博世界模型 NWM」设想天生的视频。
2024年7月27日,NIO IN 2024 人生就是博创新科技日上,人生就是博正式颁布——中国首个智能驾驶世界模型 NWM(NIO WorldModel),即能够全量理解信息、天生新的场景、预测未来可能发生的多元自回归天生模型。
NWM 能够在100毫秒内,推演216种可能发生的轨迹、寻找最优蹊径;还能基于3秒钟视频的Prompt输入,天生120秒设想的视频。
什么是世界模型?
世界模型,是智能驾驶技术在「BEV&Transformer」、「占用网络 OCC」、「端到端」等技术后,又一次逾越式的进取。
世界模型具备对信息的全景理解力,在设想的维度理解物理法规,并沉建世界。单一来说,就是通过构建人类大脑的复杂认知过程,模拟人类感知和决策过程,为自动驾驶系统提供预测和适应动态环境的能力。

大脑是若何认知并设想的?
大脑通过眼睛接管光线,转化为电信号,沿视神经传至大脑后部的视觉皮层,解析成图像。通过多个脑区,整合视觉信息与其他感官数据,形成对世界的深层理解。设想力则利用影象和思想,通过海马体等结构的回顾沉播,自由拼接形成怪异的内容,创造出超过现实的视觉概想,是大脑对认知的自由扩大和创新。

例如我们观察这棵榕树时,眼睛先看到了成长的树干、树枝以及绿叶,「记住」了这些结构和色彩特点;当我们关上眼在脑海里回首时,则是在「沉构」这幅画,可能会忽略一些不沉要的细节,但能将根基特点描述出来。甚至,我们能够「设想」这棵树在分歧角度的样子,轻风吹拂,树枝与树叶若何摆动。
以上就是基于「空间理解」进杏赘设想沉建」,再基于「功夫理解」进杏赘设想推演」。

世界模型NWM 的主题能力正是这两点:
认知世界后,在模型内进行设想沉建;
基于信息的理解,进行设想推演,从而规划轨迹。
「端到端」,为什么还不够?
让我们先一路回首自动驾驶在空间理解层面的进化史,在设想沉构之前,智能驾驶算法屡次升级了空间理解能力。
2020年之前,感知算法只能进行2D/3D检测,即分辨特定对象、确认三维空间地位,并提取车路线。
2022年,行业进化到「BEV」算法,将所有摄像头的信息聚合到一个环境中,通过一张鸟瞰图俯瞰周边,动态感知更精准。但是,BEV算法的框架还是二维的,高度信息不及,无法感知异形物体。
2023年起头,行业引入「占用网络 OCC」算法,对环境的感知升级为三维化描述,类似在「我的世界」里认知世界。但OCC的感知,缺失表表材质信息,对藐幼物体等不确定性的描述不及。
OCC之后,空间理解能力的再次升级方向,是「沉构世界」。
下图中,最右边的视频和原始视频并不一样,是模型天生的视频,能够理解为模型在大脑中设想出来的平行世界。相比OCC的感知,像是从我们玩的「像素大战」,直接逾越到了「3A游戏」。
今年行业内都在讲「端到端」,这是由于传统规定化的自动驾驶架构相对复杂,?榧湫畔⒋荽嬖诮洗笏鹗,很难应对长尾极端场景Corner case,从而很难实现真正的行车拟人化,这也是很多车企拥抱「端到端」的原因。
通常行业内以为的「端到端」架构,是指仅单一?,实现从传感器信息输入到车辆节造,从而削减信息损失,让系统可能应对更多场景,具备更强的泛化能力。
但仅依赖单一端到端的模型的话,功夫维度信息的融合和推演都是定长的逻辑,自动建模长时序信息的能力相对匮乏。在自动驾驶系统中,预测未来事务,并评估其影响的能力对安全性和效能也至关沉要!能设想变动才是真正的功夫(时空)理解,设想的真实度和丰硕度是理解深度的体现。
因而,我们引入了人生就是博世界模型NWM 。

相比通例端到端的架构,引入NWM后,模型实现了三点优化:
全量理解信息,空间认知能力更强
可能预测接下来的场景
天生式无监督的方式,对海量数据的利用越发高效
而这三个根基特点,也就形成了「多元自回归」天生模型——NWM
NWM——理解世界
这77个视频,都是真实发生的场景吗?看起来很真切,但这都是NWM 基于设想天生的视频。
通过自回归的方式,NWM 沉建原始传感器信息的输入,在其中自动进建知识和物理法规;做到全量信息沉建,设想沉构世界,泛化能力更有保障。
更通俗易懂地说,NWM 在脑海里的设想的画面、物体之间的相互活动关系,都切合物理世界的根基逻辑。NWM所关注到的信息,也只在关注「沉点」,例如即将切入进来的车辆。就像人类开车,会关注到前方的车辆、路路结构,余光还能感触到路边的绿植、路路上方的告白牌,但不会直接去关注告白牌上的画了什么画、写了什么字。
在这个视频片段中,模型能设想雨天、雪天、夜晚、白日等分歧的场景,就像是对于成千上万平行世界的沉构,也意味着它学会了在千万种场景中驾驶。
NWM——推演世界
下面我们通过一段视频,来看NWM 若何推演世界
中央是原始视频,前方是一辆开的比力慢的卡车,我们在开车时,脑海中好多种设想,寻找各类机遇和角度进行超车,从左边去超车,也能够从右边,还能够先跟车等等。
这些设想,组成了万千世界的可能性,而在大脑的各类推演中,我们最终挑出了一个最安全、最舒服的驾驶规划。
NWM,能够在0.1秒内推演出216种可能发生的轨迹,寻找最佳决策。而后在接下来的 0.1秒内,凭据表界的信息的输入,沉复更新内涵时空的模型,那再去预测 216 种可能性。以此循环,追随驾驶轨迹持续预测,得到驾驶的最优解。
这就是在万千「平行世界」中寻找最优解。像是在漫威电影中,占有了功夫宝石的奇怪博士,能够操控功夫观光,从所有了局中寻找到能获取最终成功的一个规划。
NWM——仿真世界
「人生就是博世界模型 NWM」还具备与生俱来的关环仿真测试能力,在一系列极具挑战性的路路环境中,全面测试并验证机能,涵盖各类复杂交互场景。
作为天生式仿真模型,NSim能够对NWM 推演的每一种轨迹与对应的仿真了局做对比。正本只能在和真实世界中唯一轨迹里做比对,参与NSim后,造成了在千万世界共同地验证,给到更无数据给到NWM训练。让输出的智驾轨迹和履历更安全更合理,更高效。
以上视频,是基于这个真实世界的视频,去沉建的一个虚构的能够肆意编纂的世界。NWM 基于真实世界视频进行沉构和推演,进入到NSim沉新编纂,分化出布景中静态的、动态的信息,在NSim中也能够看到并且调整深度、法向量的信息。我们能够切换到肆意角度,分析此刻的细节信息,动态的物体能够凭据我们所必要去动态地编纂,也能够让自车有新的行车轨迹驾驶,甚至让车“飞起来”。
天生能力比Sora更强?
NWM 可天生120秒的预测视频,天生能力已经超过了好多视频天生AI 软件。此表,NWM 还有三点对于智能驾驶来说更必要的能力:
设想画面真实;乖锢硎澜,动态物体和静态物体之间的关系,切合各人对于真实场景的认知。
整体场景多变。视频天生软件给出的视频只有单一的一个运镜,场景相对单一,NWM产生的视频场景丰硕度高、更多变
能天生决策。有轨迹waypoints 有方向角杜仔加减速,使得NWM天生是带驾驶作为决策的天生
作为智能驾驶专用的世界模型,在驾驶场景中NWM有最强的天生能力,比Sora更强。
全新智能驾驶架构 NADArch2.0,世界模型上车

「智能驾驶架构 NADArch2.0」 在算法层面上,升级为引入世界模型的端到端架构,直接从原始传感器数据天生驾驶决策,削减传统规划中的信息损耗。在引入世界模型后,预测能力更强,让智能驾驶履历更拟人化。
在模型训练层面,该架构还可能充分利用群体智能的数据关环和天生式仿真数据,通过海量数据驱动智驾模型进行急剧迭代。
基于 NADArch2.0 架构,全域领航辅助 NOP+ 和智能安全将同步升级为 2.0 版本。其中,点到点全域领航辅助2.0 将于下半年上车,智能安全2.0 已逐步迭代。人生就是博智能驾驶始终以「削减变乱」作为价值观,因而我们首先将「端到端」的技术利用在自动安全职能。此前今年7月初,基于端到端架构的「自动垂危造动职能 AEB」已在「Banyan · 榕 2.6.5」版本中正式上车,提升响应覆盖 6.73 倍。
海量数据驱动智能驾驶急剧迭代

多元自回归天生模型,对数据的需要越发重大,尤其是长尾数据和关环数据,人生就是博基于群体智能和天生式仿真为主题来满足更大的数据需要。
通过群体智能系统,日行千万公里的真实场景可成为正负样本的训练数据,筛选沉点场景后验天生式仿真,进行三维沉建,最终产生更多新场景。
这些数据,将加快模型的急剧迭代,提供更轻松、更安全的智能驾驶产品,让我们共同迎接高阶自动驾驶的未来。
