MoGe

MoGe（单目几何估计模型）是一种用于从单幅开放域图像中准确恢复三维几何结构的强大模型。该模型结合了视觉变换器（ViT）编码器和卷积解码器，能够直接预测仿射不变的点图和排除几何未定义区域（如天空）的掩膜。基于这些信息，MoGe可以进一步推导出相机位移、焦距和深度图。

核心特点

• 准确性：能从单幅图片中估计出三维几何信息，以点图或网格格式呈现。
• 多样性：支持不同的图像分辨率和宽高比，范围从2:1到1:2。
• 广泛深度范围：深度范围从最近到最远可达1000倍。
• 快速推断：在A100或RTX 3090 GPU上，单幅图像的推断时间通常约为0.2秒。

使用场景

• 计算机视觉：用于场景重建、物体识别和视觉SLAM等应用。
• 增强现实和虚拟现实：为虚拟环境提供精确的三维信息，提升交互体验。
• 机器人导航：帮助机器人理解和导航其所处环境。
• 图像处理：在图像编辑工具中，提供深度信息以支持复杂的图像操作。
• 游戏开发：在游戏场景中生成高质量的三维模型和环境。

开始使用

用户可以通过克隆MoGe的代码库和安装相关依赖来快速上手。该模型已在Hugging Face平台发布，可以方便地进行加载和推断。此外，提供了Web演示和多种推断脚本，以便用户在不同的场景下使用MoGe进行深度图和三维几何估计。