LiDAR*新思路 | LidarDM：助力4D世界生成，*杀器~

---

原标题：lidardm: generative lidar simulation in a generated world

论文链接：https://arxiv.org/pdf/2404.02903.pdf

代码链接：https://github.com/vzyrianov/lidardm

作者单位：伊利诺伊大学 麻省理工学院

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

论文思路：

本文介绍了LidarDM，这是一种新颖的激光雷达生成模型，能够产生逼真、布局感知、物理可信以及时间上连贯的激光雷达视频。LidarDM在激光雷达生成建模方面具有两个前所未有的能力：（一）由驾驶场景引导的激光雷达生成，为自动驾驶模拟提供了重大激励；（二）4D激光雷达点云生成，使得创建逼真且时间上连贯的激光雷达序列成为可能。本文模型的核心是一个新颖的综合4D世界生成框架。具体来说，本文采用隐性扩散模型（latent diffusion models）来生成3D场景，将其与动态参与者（dynamic actors）结合，形成底层的4D世界，然后在这个虚拟环境中产生逼真的激光感知数据。本文的实验表明，本文的方法在逼真度、时间连贯性和布局一致性方面优于竞争算法。本文还展示了LidarDM可作为生成世界模拟器，用于训练和测试感知模型。

网络设计：

制定出的生成模型在处理数据分布和内容创作方面已经越来越引起人们的关注，例如在图像和视频生成[10, 33, 52-55]、3D物体生成[10,19,38,52]、压缩[5,29,68]以及编辑[37,47]等领域。生成模型对于模拟[6, 11, 18, 34, 46, 60, 64, 66, 76, 82]也表现出出色的潜力，能够创建逼真的场景及其相关的感知数据，用于训练和评估安全关键的智能能力，如机器人和自动驾驶车辆，无需昂贵的手工建模现实世界。这些能力对于依赖广泛的环境训练或场景测试的应用至关重要。

在条件图像和视频生成方面的进展非常显著，但自动驾驶应用生成功能特定场景下逼真的激光雷达点云序列的具体任务仍未得到充分探索。目前的激光雷达生成方法主要分为两大类，每一类都面临着特定的挑战。

1. 当前的激光雷达生成建模方法[8, 72, 79, 83]仅限于单帧生成，并且没有提供语义可控性和时间一致性的手段。
2. 激光雷达重模拟(resimulation)[14, 17, 46, 65, 67, 74]严重依赖用户创建或现实世界收集的资产。这增加了高昂的操作成本，限制了多样性，并限制了更广泛的应用性。

为了应对这些挑战，本文提出了 LidarDM（激光雷达扩散模型），它能够创造出逼真的、布局感知的、物理上可信的、以及时间上连贯的激光雷达视频。本文探索了两种以前未曾涉及的新颖能力：（i）由驾驶场景引导的激光雷达合成，这对自动驾驶*具有巨大潜力，以及（ii）旨在产生逼真的、有标注的激光雷达点云序列的 4D 激光雷达点云合成。本文实现了这些目标的关键洞察在于首先生成和组合底层的 4D 世界，然后在这个虚拟环境中创造逼真的感知观察。为了实现这一点，本文整合了现有的 3D 物体生成方法来创造动态交通参与者（dynamic actors），并开发了一种基于潜扩散模型（latent diffusion models）的大规模 3D 场景生成的新方法。这种方法能够从粒子的语义布局中产生逼真多样化的 3D 驾驶场景，据本文所知，这是首次尝试。本文应用轨迹生成 3D 世界，并执行随机光线投射模拟（stochastic raycasting simulation）以生成最终的 4D 激光雷达序列。如图1所示，本文生成的结果多样化，与布局条件对齐，既逼真又时间上连贯。

本文的实验结果表明，由 LidarDM 生成的单帧图像展现出逼真性和多样性，其性能与最先进的无条纹单帧激光达点云生成技术相当。此外，本文展示了 LidarDM 能够产生保持时间连贯性的激光达点云视频，超越了稳健的 stable diffusion 传感器生成基线。据本文所知，这是第一个具备此能力的激光达点云生成方法。本文进一步通过展示生成的激光达点云与真实激光达点云在匹配地图条目下的良好吻合，来证明 LidarDM 的条目生成能力。最后，本文说明了使用 LidarDM 生成的数据在用真实数据训练的感知模块测试时展现出最小的域差距，并且还可以用来扩展训练数据，显著提升 3D 检测器的性能。这为使用生成的激光达点云模型创建逼真且可控的*环境以训练和测试驾驶模型提供了前提。

图 1：本文展示了 LidarDM，这是一个新颖的 4D 激光雷达生成模型。本文生成的激光雷达视频同时具有逼真性、布局条件性、物理可信性、多样性和时间连贯性的优势。

图 2：LidarDM 的应用：(a) 在没有 3D 捕捉或建模的情况下生成与地图紧密对齐的激光雷达（彩色框突出显示激光雷达与地图之间的一致性）；(b) 为现有的交通模拟器（Waymax [20]）提供传感器数据，使其能够仅从纯传感器数据评估安全关键场景；(c) 生成具有可控障碍物位置的大量激光雷达数据（被视为免费获得的真实标签），以通过无需昂贵数据捕捉和标注的预训练改进感知模型。

Machine Translation

聚合多个来源的AI翻译

49 查看详情

图 3：LidarDM 概览：给定时间 t = 0 时的交通布局输入，LidarDM 首先生成交通参与者(actors)和静态场景。然后，本文生成交通参与者(actors)和自车的运动，并构建底层的 4D 世界。最后，使用基于生成和物理的*来创建逼真的 4D 传感器数据。

图 4：本文的 3D 场景生成流程。首先，累积的点云被用于重建每个真实网格样本。接下来，训练一个变分自编码器（VAE）将网格压缩成隐式编码。最后，训练一个以地图为条件的扩散模型，在 VAE 的隐空间内进行采样，产生新的样本。

图 5：用于感知噪声模拟的随机光线丢弃(raydrop)网络，进一步增强了真实感。本文在上方的掩码距离图和掩码激光雷达图像中用红色突出显示了光线丢弃的(raydropped)点。

实验结果：

图 6：真实的 KITTI-360 样本与来自竞争方法的无条件样本对比。UltraLiDAR 样本可视化直接从它们的论文中获取。与之前的方法相比，LidarDM 生成的样本具有更多数量、更详细的显著物体（例如，汽车、行人）、更清晰的 3D 结构（例如，直墙）以及更逼真的道路布局。

图 7：在 2 Waymax [20] 地图序列上进行的以地图为条件的序列生成的定性结果。本文还展示了相应的累积点云，以突出 LidarDM 的时序一致性。

总结：

本文提出了 LidarDM，这是一个新颖的基于布局条件的隐扩散模型(latent diffusion models) ，用于生成逼真的激光雷达点云。本文的方法将问题框定为一个联合的 4D 世界创建和感知数据生成任务，并开发了一个新颖的隐扩散模型(latent diffusion models) 来创建 3D 场景。由此产生的点云视频是真实的、连贯的，并且具有布局感知(layout-aware)能力。

以上就是LiDAR*新思路 | LidarDM：助力4D世界生成，*杀器~的详细内容，更多请关注其它相关文章！

# 提出了  # 衢州seo 关键词  # 兴山品牌智能营销推广中心  # 柳州外包营销推广  # 卡西欧的营销推广策划  # 小酒馆怎么营销推广  # SEO与谷歌竞价的区别  # 短剧视频网站可推广吗  # 正规的问答营销推广公司  # 抖音网站推广服务电话  # 排名优化SEO教程推广网站  # 伊利诺伊  # 这是一个  # 扩散模型  # 腾讯  # 展示了  # 在这个  # 万元  # 这是  # 中国科学院  # 开源  # stable diffusion  # 模拟器  # git  # 雷达 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： 中兴通讯无人机高空基站助力北京门头沟受灾乡镇保障应急通信  1000万张照片训练AI模型 科学家找到水下定位新方法  特斯拉门店可能启动机器人卖车？也许不是你想的那样  用AI升级会议体验！思必驰多款会议产品亮相全球智博会！  人工智能在项目管理中的作用  如何用AI重塑你的工作流（一）  昆仑万维与全球领先的元宇宙公司Meta达成商务合作，共同认可昆仑万维在XR领域的技术实力  国内首家，360智脑通过中国信通院可信AIGC大语言模型功能评估  乐天派AI桌面机器人提供的正能量情绪价值直接拉满，妥妥的治愈系  埃森哲俞毅：AI时代我们需要新的“摩尔定律”  借力AI！PCB全球巨头，有爆发潜质吗？  对Hugging Face开源模型精准投毒！LLM切脑后变身PoisonGPT，用虚假事实洗脑60亿人  中美陷入囚徒困境，人工智能变得不可控？可参考核不扩散条约规范  厂商陆续公布AI进展 完美世界游戏展示复合应用AI in GamePlay  图灵奖得主Hinton：我已经老了，如何控制比人类更聪明的AI交给你们了  AI拉动PCB发展|行业发现  机智云AI离线语音识别模组，让家电变得更加智能便捷  280万条多模态指令-响应对，八种语言通用，首个涵盖视频内容的指令数据集MIMIC-IT来了  探索人工智能在物联网领域的影响与改变  上海发布“元宇宙关键技术攻关行动方案”，加快 AIGC 等突破  北京公司实施AI技术，推行4.5天工作制，抵制996文化，提升员工工作幸福感  山东机器人编程：Scratch编程基础，认识舞台！~济南机器人编程  从GOXR到PartyOn，XRSPACE致力打造多元共赢的元宇宙世界  AI+音乐如何“生成”动听旋律？一起揭秘世界人工智能大会开场曲  RoboNeo操作教程  【首发】首款“消化内镜手术机器人”进入临床尾声，ROBO医疗获数千万元A轮融资  J*a与人工智能结合：构建智能云服务  机构：边缘AI或是当前预期差最大的AI方向  阿里达摩院向公众免费开放100项AI专利许可  腾讯TRS之元学习与跨域推荐的工业实战  Bing Chat 和 Bing Search 正式引入深色模式  如何成功实施人工智能？  改动一行代码，PyTorch训练三倍提速，这些「高级技术」是关键  AI 模型 Stable Diffusion 升级：正常生成五指、图像更逼真  AYANEO 安卓掌机 Pocket AIR 配置公布：天玑 1200 + 5.5 英寸屏  郭帆导演成功利用AI技术制作的《流浪地球3》预告片在央视热播，引发巨大反响  微软新出热乎论文：Transformer扩展到10亿token  构建人机交互创新模式，微美全息研究AIGC智能交互界面生成技术  学而思推出AI第一课：基于自研大模型的AIGC课程  令人震惊的特斯拉机器人  超级智能到底是什么？  工业机器人及非标自动化设备集成服务提供商  微软向美国政府提供GPT的大模型，安全性如何保证？  速途网络成立“人工智能专家委员会”5位中美博士加盟  朝鲜出现国产大型察打一体无人机，实力世界第二，太意外了  Moka发布AI原生HR SaaS产品“Moka Eva”，布局AGI时代  Intel酷睿Ultra发布会官宣！迈向全新的AI时代  尼康尼克尔Z 180-600mm f/5.6-6.3 VR镜头发布：12499元 拍鸟神器  IBM CEO克里希纳：人工智能潜在创新无法被监管  赋能选题探索：AI助手在经济学专业中的应用指南 

 2024-04-12