Open Driving World Models

Open Driving World Models（OpenDWM）简介

Open Driving World Models（OpenDWM）是一个开源项目，旨在生成自动驾驶视频。该项目致力于提供一个高质量、可控的工具，使用户能够根据文本和道路环境布局条件生成多视角的自动驾驶场景图像或视频。用户可以根据需要调整环境、天气、汽车类型和驾驶路径等元素。

OpenDWM的主要特点包括：

1. 环境多样性的显著提升：通过使用多个数据集，模型的泛化能力得到了前所未有的增强，使得生成复杂场景（如雪天城市街道或湖边高速公路）成为可能。
2. 生成质量的大幅提高：支持流行的模型架构（如SD 2.1、3.0、3.5），使得用户可以更方便地利用先进的预训练生成能力，结合多任务和自我监督等训练技术，更有效地利用自动驾驶视频数据中的信息。
3. 方便的评估机制：评估采用流行的torchmetrics框架，易于配置、开发和集成，并提供了公共配置以便于与其他研究工作的对齐。

OpenDWM的代码模块被设计得高度可重用，便于在其他项目中的应用。

使用场景

OpenDWM适用于多个场景，包括但不限于：

• 自动驾驶系统的开发与测试：可以生成多样的驾驶场景视频，帮助开发和优化自动驾驶算法。
• 虚拟现实（VR）和增强现实（AR）应用：为VR和AR环境中提供真实感更强的自动驾驶场景。
• 自动驾驶安全研究：生成不同环境和天气条件下的驾驶场景，帮助分析和改进安全性能。
• 学术研究与教育：作为研究工具，支持学术界在自动驾驶领域的各类实验与教程开发。

通过可控制的场景生成能力，OpenDWM为研究人员和开发者提供了灵活的工具来加强自动驾驶技术的发展与应用。