连系配景：为什么自动驾驶汽车需要更颖悟的"想象力"

想象你坐在一辆自动驾驶汽车里🦄九游下载中心_九游游戏中心官网，它需要在行驶前展望前哨会发生什么。这不仅需要看清爽当今的说念路情况，还要简略"想象"接下来可能出现的各式场景——其他车辆会若何迁徙，行东说念主会从那里出现，说念路的体式是什么样的。这就像一个东说念主类驾驶员不仅要看到目下的状态，还要在脑海中预演接下来的情况。

这项由香港科技大学和商汤科技的连系团队完成的使命，即是为了让自动驾驶系统治有这样的智商。这篇论文发表于2025年10月，论文编号为arXiv:2510.07944v2。连系团队包括张天瑞、刘一晨、郭子林、郭宇鑫、倪景城、丁晨静、徐丹、卢乐威和吴泽欢等科研东说念主员，他们来自商汤连系院和香港科技大学诡计机科学与工程学院。

当今的问题是，现时的自动驾驶寰宇模子诚然能生成看起来传神的视频，但它们有一个致命的错误：它们不成准确地告诉咱们场景中物体的真确距离和深度信息。这就好比你看一张相片能知说念内部有什么东西，但不知说念这些东西离你有多远。对于自动驾驶来说，这是一个严重的问题，因为准确的距离信息对于安全有谋略至关困难。

一、问题的关键：现存风物为什么不够好

现时的视频生成技艺靠近一个真谛的矛盾。一方面，基于扩散模子的视频生成技艺还是简略生成看起来非常传神的多视角驾驶场景视频。这些模子就像一个会画画的艺术家，简略阐发你的描摹（比如"生成一个十字街头的场景"）画出非常紧密的图像。但另一方面，这些艺术家只关注画面的好意思不雅性，不关注画面中物体之间的几何相干是否真确。

举个例子，一个现存的模子可能会生成一个看起来很真确的街说念场景，但如果你仔细看，会发现一辆远方的汽车和近处的汽车之间的大小比例不合，或者建筑物的深度感不真确。这对于自动驾驶系统来说是个大问题，因为它需要阐发这些视频来作念出真确的驾驶有谋略。

更糟的是，一些连系团队诚然尝试在生成视频的同期推测深度信息，但他们使用的风物有一个根人道的局限：他们生成的深度图只是"相对深度"，就像在阴沉顶用手电筒照亮的相对位置，而不是真确寰宇中的齐备距离。这就像告诉驾驶系统"这个物体比阿谁物体近"，但不告诉它"这个物体距离你有10米"，这显着不够用。

有些连系者尝试了另一个想路：先生成视频，再用3D高斯点云（一种示意3D场景的风物）来重建场景。但这种风物有个问题，就像先画一幅画，然后再试图从画中索要3D信息一样，效果时时不睬想，因为生成的图像自身就不够精准。

二、冲破性的想法：让VAE学会看懂3D寰宇

连系团队的创新想路是这样的：与其让视频生成模子我方去剖释3D结构，不如先教一个中间层的模子（叫作念VAE，即变分自编码器）学会剖释3D结构和深度信息，然后再用这个更颖悟的中间层来匡助视频生成模子。

这就像在一个工场里，与其让终末的拼装工东说念主我方去剖释每个零件的体式，不如先让质检员学会识别零件的真确体式和尺寸，然后拼装工东说念主就能更准确地拼装居品。

他们创造了一个叫作念STORM-VAE的新模子。STORM是一个之前的连系恶果，它简略通过不雅看多个视角的图像和激光雷达数据（自动驾驶汽车上的传感器），来重建动态的3D场景。连系团队的创新在于，他们把STORM的智商交融到VAE这个中间层模子中。

具体来说，他们让STORM-VAE作念两件事情。第一件事是它的本员使命：把图像压缩成一个紧凑的数字示意（这叫作念"潜在示意"），然后再从这个示意中规复出原始的图像。第二件事是新增多的任务：从这个压缩的示意中平直生成3D高斯点云，这些点云简略通过渲染来重建原始场景。

这个双任务的假想非常机要。当STORM-VAE学习同期完成这两个任务时，它被动学会在压缩示意中编码对于3D结构和物体剖释的信息。这就像一个学生同期学习绘图和雕琢，最终他对物体的三维剖释会比只学绘图的学生更潜入。

实际STORM-VAE的形势是这样的：连系团队给它展示来自自动驾驶数据集的多视角图像和激光雷达数据。模子需要学会从这些输入中索要枢纽信息，然后既能重建出原始的RGB图像，也能重建出3D场景。为了监督这个进程，他们使用了两种亏本函数（这是机器学习顶用来预计模子空幻进度的主意）。一个是图像重建亏本，确保养建的图像看起来像原始图像；另一个是3D场景重建亏本，确保养建的3D场景在几何上是准确的。

三、视频生成的升级：用更颖悟的中间层

有了STORM-VAE之后，连系团队用它来替换之前视频生成模子中使用的措施VAE。他们的视频生成模子叫作念CVD-STORM，基于一个叫作念UniMLVG的现存框架，这个框架自身就能生成多视角的长视频。

CVD-STORM的架构就像一个悉心假想的活水线。起初，输入的多视角视频序列被STORM-VAE压缩成紧凑的数字示意。然后，这些示意被送入一个基于扩散模子的生成器。这个生成器包含三种不同的综合力机制（这是深度学习中的一种技艺，让模子简略关注输入中的困难部分）。

第一种是多模态扩散变换器块，它在单个图像的空间维度上使命，就像一个画家在一张画布上进行细节处理。第二种是时候块，它在视频序列的时候维度上使命，确保相邻的帧之间看起来连贯，就像查验电影的每一帧是否能畅通地过渡到下一帧。第三种是跨视角块，它在不同录像头视角之间使命，确保从不同角度看清除个场景时，物体的位置和体式是一致的，就像确保一个房间从不同窗户看起来齐是合理的。

这三种机制的团结，加上STORM-VAE提供的更智能的中间示意，使得生成的视频既在视觉上传神，又在几何上准确。

四、实际战略：分两步走的颖悟风物

连系团队选拔了一个两阶段的实际战略，这反应了他们对问题的潜入剖释。

第一阶段是实际STORM-VAE。在这个阶段，模子被展示来自多个自动驾驶数据集的图像和激光雷达数据。这些数据来自nuScenes、Waymo和Argoverse2等闻明的自动驾驶数据集。模子学会了如何同期完成图像重建和3D场景重建这两个任务。为了处理不同数据集之间的互异（比如有些数据集有激光雷达数据，有些莫得），连系团队选拔了一些机要的手段，比如对不同的数据源使用不同的亏本函数权重。

第二阶段是实际CVD-STORM视频生成模子。在这个阶段，STORM-VAE的编码器（压缩部分）被冻结，不再变嫌。这意味着模子还是学会了如何索要枢纽信息，当今要学的是如何阐发各式条目（比如翰墨描摹、物体的范围框、高清舆图）来生成新的视频。

这个两阶段的风物有点像教一个东说念主先学会不雅察和分析，然后再学会创意写稿。起初要学会正确地剖释寰宇，然后才调生成新的、传神的场景。

真谛的是，连系团队在第二阶段选拔了单阶段实际，这与一些之前的风物不同。之前的风物会分多个阶段安稳提高模子的智商，但这个团队发现，由于STORM-VAE还是提供了高质料的中间示意，他们不错平直在一个阶段内同期实际空间、时候和跨视角的生成智商，这样既简化了实际进程，又镌汰了诡计资本。

五、条目抵制：让AI听你的指引

CVD-STORM不仅能生成传神的视频，还能阐发多种条目来抵制生成的内容。这就像一个导演，你不错告诉他你想要什么样的场景，他就能为你创造出来。

起初是翰墨描摹。你不错用当然言语描摹你想要的场景，比如"一个好天的十字街头，有几辆汽车和行东说念主"。模子会剖释这些描摹，并生成相应的视频。

其次是物体的范围框。在自动驾驶中，咱们平凡用矩形框来标注物体的位置。你不错指定在视频中的某个位置应该出现一辆汽车，在另一个位置应该出现一个行东说念主。模子会尊重这些敛迹条目。

再次是高清舆图。自动驾驶汽车平凡配备高精度的舆图，知道说念路的体式、车说念的位置等信息。CVD-STORM不错阐发这些舆图来生成合适真确说念路布局的视频。

终末是参考帧。如果你提供一个或多个真确的视频帧手脚起先，模子不错从这些帧脱手，展望接下来会发生什么。这就像给一个故事论述者一个起原，让他陆续讲下去。

六、评估：数字背后的真确跨越

连系团队用多种主意来评估他们的风物是否果真更好。

起初是图像质料主意，叫作念FID（Fréchet Inception Distance）。这个主意预计生成的图像与真确图像的相似进度。分数越低越好。CVD-STORM的FID分数是3.8，而之前最佳的风物UniMLVG的分数是5.8。这意味着CVD-STORM生成的图像质料提高了简约34%。

其次是视频质料主意，叫作念FVD（Fréchet Video Distance）。这个主意不仅接洽单个图像的质料，还接洽视频的时候连贯性。CVD-STORM的FVD分数是14.0，而UniMLVG是36.1。这意味着生成的视频不仅看起来更传神，况且帧与帧之间的过渡更当然，时候连贯性提高了61%。

但评估不单是是看生成的视频有多漂亮。连系团队还评估了生成的视频对于自动驾驶任务的实用性。他们用两个感知任务来测试：3D物体检测和俯视图分割。

3D物体检测即是让一个预实际的模子看生成的视频，然后尝试识别视频中的汽车、行东说念主等物体，并准确地定位它们的位置。CVD-STORM在这个任务上的弘扬（mAP为25.21）超越了扫数之前的风物。

俯视图分割是指从上往下看，识别哪些区域是说念路，哪些区域是其他东西。CVD-STORM在说念路识别上的弘扬（mIoU为66.11）略低于UniMLVG的70.81，但这是不错接管的量度，因为它在其他方面的上风更大。

七、深度推测：从"看起来对"到"果真对"

也许CVD-STORM最令东说念主印象潜入的方位是它简略生成真确的深度信息。当模子生成一个视频时，它的GS解码器（高斯点云解码器）不错同期输出每个像素的深度值。这不是通过某个格外的模子猜度出来的，而是平直从3D场景重建中得出的。

这就像一个影相师不仅拍出了一张漂亮的相片，还同期纪录了相片中每个物体的真确距离。这对于自动驾驶来说是立异性的，因为它意味着生成的视频不仅不错用来实际视觉识别模子，还不错用来实际深度推测模子。

连系团队展示了生成视频中的深度图，不错看到动态和静态物体的深度信息齐被准确地捕捉了。这种智商来自于STORM-VAE在实际时学到的3D剖释。

八、消融连系：每个部分齐很困难

为了评释他们假想中的每个部分齐是必要的，连系团队进行了一系列的消融连系，这就像在一个复杂的机器中一一移除零件，望望哪个零件最困难。

起初，他们测试了使用不同数目参考帧的效果。当模子莫得任何参考帧时（贞洁的视频生成），FID分数是8.7，FVD分数是39.0。当提供1个参考帧时，FID下落到3.6，FVD下落到17.2。当提供3个参考帧时，FID进一步下落到3.8，FVD下落到14.0。这标明参考帧如实匡助模子生成更连贯的视频。

其次，他们比较了使用STORM-VAE和使用措施VAE的效果。使用措施VAE时，FID是9.36，FVD是52.85。使用STORM-VAE时，FID下落到7.92，FVD下落到34.37。这评释了STORM-VAE如实提供了更好的中间示意，匡助视频生成模子更快地学习和生成更高质料的视频。

九、骨子道理：为什么这很困难

当今让咱们回到领先的问题：为什么这项连系很困难？

对于自动驾驶行业来说，这项连系提供了一个新的标的。曩昔，生成传神的驾驶场景视频和准确推测深度信息被视为两个零丁的问题。这项连系标明，通过让一个中间层的模子同期学习这两个任务，不错赢得比分辨惩办这两个问题更好的末端。

这意味着自动驾驶公司不错使用CVD-STORM来生成多数的实际数据，这些数据不仅在视觉上传神，况且在几何上准确。这不错用来实际更好的感知模子、谋略模子，以致不错用于闭环仿真，即在虚构环境中测试自动驾驶算法的安全性。

对于AI连系来说，这项连系展示了示意学习的力量。通过在VAE的实际中加入格外的任务（3D重建），模子学到的示意变得愈加有效，这进而提高了卑劣任务（视频生成）的性能。这个想路可能会启发其他规模的连系者，在他们的模子中加入扶植任务来革新示意学习。

十、技艺细节的深入剖释

对于那些想更深入剖释技艺细节的读者，咱们不错再进一步商榷一些竣事上的细节。

STORM-VAE的实际使用了一个加权的亏本函数。图像重建的亏本包括三个部分：MSE亏本（预计像素级别的互异）、LPIPS亏本（预计感知级别的互异，这更接近东说念主眼的感受）和KL散度亏本（确保潜在示意免除某种漫衍）。3D重建的亏本主如若RGB渲染损成仇深度监督亏本。这两个亏本函数的权重比例被设备为1:0.5，这意味着模子在学习图像重建时插足的元气心灵是学习3D重建的两倍。

在CVD-STORM的实际中，连系团队使用了一个叫作念整流流（Rectified Flow）的技艺来替代传统的扩散进程。这是一个相对较新的技艺，它简略更高效地进行去噪进程，从而加速生成速率。

数据处理上，连系团队为了处理不同数据集之间的互异，选拔了一些措施化技艺。他们将所迥殊据集的视角数措施化为6个，使用综合力掩码来幸免对冗尾数据的交融。对于独一单视角的数据集（如OpenDV-Youtube），他们在实际时跳过跨视角块。

十一、局限性和翌日标的

诚然CVD-STORM取得了权贵的跨越，但连系团队也坦诚地指出了一些局限性。起初，诚然模子简略生成长达20秒的视频，但对于某些极点的驾驶场景（如极点天气、夜间驾驶）的泛化智商可能还需要进一步提高。其次，深度推测诚然是齐备深度，但评估风物仍然依赖于伪标签（使用Depth Anything V2生成的标签），这可能不是完全准确的。

翌日的连系标的可能包括：进一步革新模子在极点条目下的弘扬，设备更好的深度推测评估风物，探索如何将这个框架延迟到其他类型的场景生成任务，以及连系如安在骨子的自动驾驶系统中欺诈这些生成的视频和深度信息。

十二、与其他风物的比较

为了更好地剖释CVD-STORM的上风，咱们不错望望它与其他风物的具体比较。

MagicDriveV2是一个之前的纷乱基线，它也能生成多视角的驾驶视频。但它的FID分数是19.1，FVD分数是218.1，远不如CVD-STORM。这个互异很猛进度上来自于STORM-VAE提供的更好的示意。

UniMLVG是CVD-STORM的平直前身，它的FID分数是5.8，FVD分数是36.1。诚然这还是是很好的末端，但CVD-STORM通过引入STORM-VAE，进一步将FID革新到3.8，FVD革新到14.0。这简约是30-60%的性能晋升，这在深度学习规模是一个相当权贵的革新。

其他风物如DreamForge、Glad、DriveScape等，诚然各有脾气，但在FID和FVD主意上齐不如CVD-STORM。这标明CVD-STORM如实代表了现时的最先进水平。

十三、实验细节和可重叠性

连系团队在论文中提供了详备的实验设备，这对于其他连系者想要复现或革新这项使命很困难。

他们使用了多个数据集的组合：OpenDV-Youtube用于单视角数据，nuScenes、Waymo和Argoverse2用于多视角数据。序列长度设备为19帧，这是一个相对较短的序列，但足以让模子学习时候连贯性。他们还使用了三种不同的图像分辨率（144×256、176×304和256×448），以增多数据的千般性和模子的泛化智商。

实际使用了H100 GPU，批大小为32。这是相当大的诡计资源，反应了这个模子的复杂性。学习率使用了余弦转念器，启动学习率为6×10??，最小学习率为1×10??。优化器使用了AdamW，这是当代深度学习中的措施弃取。

推理时使用了50个扩散要领，这是一个相对较少的要领数，标明STORM-VAE的革新使得模子简略更快地生成高质料的末端。

十四、对自动驾驶翌日的启示

这项连系对自动驾驶的翌日有几个困难的启示。

起初，它标明生成模子在自动驾驶中的欺诈远不啻于生成传神的视频。通过机要塞假想模子架构和实际战略，咱们不错让生成模子同期完成多个任务，从而赢得更好的末端。

其次，它强调了示意学习的困难性。一个好的中间示意不错权贵提上卑劣任务的性能。这对于假想自动驾驶系统的其他组件也有启发道理。

第三，它展示了多模态学习的力量。通过团结图像、激光雷达和其他传感器数据，模子简略学到更丰富、更准确的寰宇剖释。

终末，它教唆咱们，在追求生成质料的同期，不应该苛刻生成内容的几何准确性。对于自动驾驶这样的安全枢纽欺诈，准确性和传神性相似困难。

Q&A

Q1：CVD-STORM是什么，它和之前的视频生成模子有什么区别？

A：CVD-STORM是由香港科技大学和商汤科技设备的一个AI视频生成模子，挑升为自动驾驶场景假想。它的专有之处在于引入了STORM-VAE，一个简略同期剖释图像和3D场景结构的中间层模子。这使得CVD-STORM不仅能生成传神的多视角驾驶视频，还能同期提供准确的深度信息，而之前的模子只可作念其中之一。

Q2：为什么STORM-VAE对视频生成的质料晋升这样大？

A：STORM-VAE通过同期学习图像重建和3D场景重建两个任务，被动在其压缩示意中编码对于3D结构和物体剖释的信息。这个更智能的中间示意为后续的视频生成模子提供了更好的基础，使得模子简略更快地学习并生成更高质料的视频。实验标明，使用STORM-VAE比较措施VAE，FID分数晋升了约15%，FVD分数晋升了约35%。

Q3：CVD-STORM生成的深度信息能用来作念什么？

A：CVD-STORM生成的是真确的齐备深度信息，而不是相对深度。这意味着不错用来实际深度推测模子、进行3D场景剖释、考据自动驾驶算法的安全性🦄九游下载中心_九游游戏中心官网，以及在闭环仿真中测试自动驾驶系统。这是一个要紧冲破，因为之前的风物生成的深度信息时时不准确或不是齐备的。