Omni-VideoAssistant

Omni-VideoAssistant简介

Omni-VideoAssistant 是一个功能强大的多模态人工智能模型，专注于从视频和图像中提取信息并进行语言描述。简单地说，它可以看图、看视频，然后通过文字告诉你它看到的内容。

主要功能

1. 视频理解：Omni-VideoAssistant可以观看视频并描述其中的活动。例如，告诉你视频中有人在打网球还是在跳舞。
2. 图像理解：它还能分析图片，描述图片中的各种元素和场景。例如，解释一张照片里面有哪些东西，什么不寻常等等。
3. CLI 和 web UI 推理：支持通过命令行（CLI）和Gradio的网页用户界面进行推理操作。无论是开发者还是普通用户，都可以选择适合自己的交互模式。

使用案例

1. 视频内容制作与编辑：在视频编辑过程中，自动生成视频内容描述，提高工作效率。
2. 自动标注和分类：可以用于图像和视频的自动标注，方便大规模数据管理和分类。
3. 辅助设备：帮助视障人士通过描述了解视频和照片内容，提高生活质量。

如何使用

1. 准备环境：首先需要克隆项目并配置好Python环境。

   git clone https://github.com/wanghao-cst/Omni-VideoAssistant
   cd Omni-VideoAssistant
   conda create -n omni python=3.10 -y
   conda activate omni
   pip install --upgrade pip
   pip install -e .
   

2. 下载预览模型：如果选择CLI推理模式，需要先下载模型。 Omni Preview Model 6.1
3. 运行推理
   • Gradio Web UI:

     CUDA_VISIBLE_DEVICES=0 python -m  llava.serve.gradio_demo
     

     打开后可以直接上传图片或视频进行分析。
   • CLI:

     CUDA_VISIBLE_DEVICES=0 python -m llava.eval.run_omni --model-path "path to omni checkpoints" --image-file "llava/serve/examples/extreme_ironing.jpg" --query "What is unusual about this image?"
     CUDA_VISIBLE_DEVICES=0 python -m llava.eval.run_omni --model-path "path to omni checkpoints" --video-file "llava/serve/examples/0A8CF.mp4" --query "Describe the activity in the video"
     

对比结果

Omni-VideoAssistant展示了它在图像和视频理解上的优秀能力，具备非常高的准确性和智能水平。

无论是图像还是视频内容的解析，Omni-VideoAssistant都能提供非常详细和准确的描述，帮助用户更好地理解和管理多媒体数据。