理想汽车提出3DRealCar：首个大规模3D真实汽车数据集!

人工智能机械臂

本文经AIGC Studio公众号授权转载，转载请联系出处。
理想提出3DRealCar，这是第一个大规模 3D 实车数据集，包含 2500 辆在真实场景中拍摄的汽车。3DRealCar的目标是可以成为促进汽车相关任务的宝贵资源。3DRealcar包含各种颜色、汽车类型、品牌的详细注释，甚至汽车解析图。特别是，数据集包含三种汽车表面的照明条件，并对现有方法提出了挑战。

3D汽车常用于自动驾驶系统、虚拟/增强现实和游戏。然而，现有的3D汽车数据集要么是合成的，要么质量较差，与高质量的真实世界3D汽车数据集存在很大差距，限制了它们在实际场景中的应用。
3DRealCar是第一个大规模 3D 实车数据集，它具有三个独特功能。（1）高容量：2,500 辆汽车经过 3D 扫描仪的精心扫描，获得具有真实世界尺寸的汽车图像和点云；（2）高质量：每辆汽车平均在 200 个密集的高分辨率 360 度 RGB-D 视图中捕获，从而实现高保真 3D 重建；（3）高多样性：该数据集包含来自 100 多个品牌的各种汽车，在三种不同的照明条件下收集，包括反光、标准和黑暗。此外，为每个实例提供详细的汽车解析图，以促进汽车解析任务的研究。
相关链接

论文地址：https://arxiv.org/abs/2406.04875
项目主页：xiaobiaodu.github.io/3drealcar
分布

我们的数据集主要包含六种不同的车型。我们还统计了汽车在各种光照条件下的表现。标准条件意味着汽车光照充足，没有强烈的镜面高光。反射条件意味着汽车有镜面高光。光泽材料给最近的 3D 重建方法带来了巨大的挑战。黑暗条件意味着汽车是在地下停车场拍摄的，光照不太好。每辆车拍摄的图像数量平均为 200 张。视图数量从 50 到 400 不等。我们的数据集包含二十多种颜色，但白色和黑色仍然占据了数据集的大部分。此外，我们还展示了汽车尺寸的分布，包括长度、宽度和高度。

支持的任务

由于我们的数据集提供了 RGB-D 图像、点云、汽车解析地图和详细注释，我们可以在其中执行各种 2D 和 3D 任务。具体来说，我们提供汽车解析地图，表明我们的数据集可用于汽车检测、分割和解析任务。此外，我们捕获的 RGB-D 图像支持深度估计任务。由于我们收集了外观各异的各种车型，研究人员可以使用我们的数据集进行不同车型的领域迁移学习。对于 3D 任务，我们捕获的密集视图和点云可用于 3D 重建、3D 生成、新颖视图合成、车辆点云完成和车辆点云解析。利用重建的 3D 汽车，我们可以使用它们来模拟极端情况，以训练强大的自动驾驶感知系统。

3DRealCar数据集的分布。我们展示了汽车类型的分布，照明条件、捕获的视图、汽车颜色和汽车大小。我们尽力捕捉各种各样的汽车颜色和类型的多样性，我们的数据集。
3D 汽车解析

我们的数据集是第一个提供 3D 汽车解析注释的数据集，用于解析 3D 空间中的汽车组件。由于我们为 3DRealCar 数据集中的每个实例提供了 2D 汽车解析图，我们可以将 2D 解析图提升到 3D，并将每个组件分割为点云和网格。这些 3D 汽车解析图的主要目的是实现对车辆结构的精确和全面分析，这对于自动驾驶、车辆设计、车辆编辑和虚拟现实模拟等应用至关重要。通过使用这些详细的 3D 解析图，开发人员和研究人员可以改进对象识别算法并增强碰撞检测系统。此外，该数据集有助于训练机器学习模型，以更好地理解汽车部件的空间关系和物理属性，从而实现更先进、更可靠的汽车技术。

论文阅读

3DRealCar:一个野外RGB-D汽车数据集360度视图
摘要

3D 汽车通常用于自动驾驶系统、虚拟/增强现实和游戏。然而，现有的 3D 汽车数据集要么是合成的，要么是低质量的，与高质量的真实世界 3D 汽车数据集存在很大差距，限制了它们在实际场景中的应用。在本文中，我们提出了第一个大规模 3D 真实汽车数据集，称为 3DRealCar，它具有三个独特的特点。

• 高容量：2,500 辆汽车经过 3D 扫描仪的精心扫描，获得具有真实世界尺寸的汽车图像和点云；
  
• 高质量：每辆汽车平均在 200 个密集的高分辨率 360 度 RGB-D 视图中捕获，从而实现高保真 3D 重建；
  
• 高多样性：数据集包含来自 100 多个品牌的各种汽车，在三种不同的光照条件下收集，包括反光、标准和黑暗。
  

此外，我们为每个实例提供了详细的汽车解析图，以促进汽车解析任务的研究。此外，我们删除背景点云并将汽车方向标准化为统一轴，仅在没有背景和可控渲染的汽车上进行重建。我们在 3DRealCar 中的每个照明条件下使用最先进的方法对 3D 重建结果进行基准测试。大量实验表明，3DRealCar 的标准照明条件部分可用于生成大量高质量的 3D 汽车，从而改进与汽车相关的各种 2D 和 3D 任务。值得注意的是，我们的数据集让我们了解到，最近的 3D 重建方法在反射和暗光条件下重建高质量 3D 汽车时面临挑战。我们的数据集可在此处获得。
方法

数据收集和预处理。我们先绕一辆车转三圈 同时用3D扫描仪扫描汽车以获得RGB-D图像及其点云。然后我们使用Colmap和SAM获取姿态并去除背景点云。最后，我们使用经过处理数据训练的3DGS来获得3D汽车模型。

我们精心策划的高质量3DRealCar数据集的特征。3 drealcar包含 各种颜色、汽车类型、品牌的详细注释，甚至汽车解析图。特别是，我们的 数据集包含三种汽车表面的照明条件，对现有方法提出了挑战
效果展示

定性比较

近年来先进图像分割方法的定性比较。我们 从我们的图像测试集中选择输入，并评估汽车部件的容量对每种方法的理解。
可视化

新视图合成(左)和图像到3d生成(右)的可视化。我们比较最近最先进的方法的结果，Zero123-XL，Dreamcraft3D，和他们通过在我们的数据集上训练而得到的改进。
重建结果

我们利用最新最先进的 3D 重建方法 3DGS（高斯溅射）在我们的数据集中展示可视化效果。在标准照明条件下，3DGS 能够从我们的数据集中重建相对高质量的 3D 汽车。请注意，这种级别的重建质量足以用于下游任务并进行渲染。然而，在反光和黑暗条件下的结果并不理想。因此，我们的 3DRealCar 的这两个部分给最近的 3D 方法带来了两个挑战。

第一个挑战是镜面高光的重建，由于汽车的特殊性，汽车表面的材质一般都是有光泽的，也就是说汽车在阳光或者强光照射下会产生大量的镜面高光。

第二个挑战是黑暗环境下的重建。在黑暗环境下拍摄的训练图像丢失了大量重建细节。因此，如何在这两种极端光照条件下实现高质量的重建结果是对近期方法的挑战。

我们希望这些结果能够鼓励后续在恶劣条件下进行3D重建的研究。
结论

在本文中，我们提出了第一个大规模高质量 3D 实车数据集，名为3DRealCar。收集到的每辆汽车的密集高分辨率 360 度视图可用于重建高质量的3D汽车。大量实验证明了我们的3DRealCar在3D重建方面的有效性和挑战。得益于从我们的数据集和汽车零件级注释中重建的高质量3D汽车，我们的数据集可用于支持与汽车相关的各种任务。此外，基准测试结果可以作为未来研究的基线。虽然3DRealCar目前只有汽车外部视图，但我们打算在未来提供外部和内部视图，以进一步促进更完整的3D汽车的重建。