XR Animator

XR Animator是一个基于视频/网络摄像头的人工智能（AI）运动捕捉应用程序，主要设计用于虚拟YouTube (VTubing) 和元宇宙时代。它采用了MediaPipe和TensorFlow.js来自机器学习（ML）方案，从实时的网络摄像头视频中检测出3D姿势，然后用这些3D姿势来驱动3D虚拟形象（MMD/VRM模型），就好像是用你的身体来控制这个虚拟形象一样。XR Animator可以用于VTubing和各种XR/3D场景。

XR Animator的使用场景

1. VTubing中的全身运动跟踪： 你可以在直播或录制视频时，使用XR Animator来捕捉你的全身动作并实时映射到一个3D虚拟形象上，使其动作同步于你。

2. 增强现实（AR）体验： XR Animator支持在移动电话上体验增强现实模式，将3D模型渲染成好像真实存在于你周围环境中的样子。

3. 3D角色动作录制与导出： 如果你是一个3D动画创作者，可以使用XR Animator录制动作，然后将这些动作导出为BVH或VMD动作格式。

4. 远端虚拟角色动作控制： 通过VMC-协议，XR Animator能够实现在其他VMC支持的应用程序中对3D模型进行远程动作控制，如VSeeFace、Unity和Unreal Engine。

XR Animator的特点

• 全身AI运动跟踪： 使用单个摄像头或媒体文件(图像/视频)支持全身AI运动跟踪。

• 完美同步/ARKit兼容52混合形态： 支持实现真实的面部跟踪。

• 支持MMD/VRM格式的3D虚拟形象： 你可以选择任何MMD/VRM模型作为你的3D虚拟形象。

• 记录运动捕捉动作并导出： XR Animator允许用户将捕捉到的动作导出为BVH或VMD格式。

• 自定义背景和3D场景： 用户可以通过2D图片/视频、3D全景和3D对象（.x/.glb格式）来自定义背景和3D场景。

• 适用于各种设备： 由于系统要求相对较低，XR Animator适用于各种设备，包括笔记本电脑甚至智能手机。

使用情况示例

• 虚拟直播主要求增强互动体验： 直播者使用XR Animator来控制3D虚拟形象进行直播，增加观众的互动体验。

• 3D动画创作者需要捕捉复杂动作： 3D动画创作者通过XR Animator捕捉复杂动作，为他们的创作增加真实性。

• AR体验开发者： 开发者可以利用XR Animator创建在手机上运行的AR体验，将虚拟形象置于真实世界场景中。

XR Animator是一个功能强大的AI运动捕捉工具，适用于需要将人体动作实时映射到虚拟形象上的各种应用场景，特别是在VTubing、3D动画制作和增强现实开发中具有广泛的应用价值。