JoyHallo

JoyHallo是一个针对普通话的视频生成数字人模型，旨在解决在音频驱动的视频生成过程中，特别是普通话视频生成中面临的一系列挑战。这些挑战包括收集全面的普通话数据集的困难，以及普通话的复杂口型动作使模型训练变得更加复杂。JoyHallo的开发团队通过从京东健康国际有限公司的员工收集29小时的普通话语音视频，建立了jdh-Hallo数据集，该数据集涵盖了多种年龄段和讲话风格，包含日常对话和专业医学话题。

为了适应普通话，JoyHallo模型采用了中文版的wav2vec2音频特征嵌入，并提出了一种半解耦结构，用以捕捉口型、面部表情和姿势特征之间的关系。这种集成不仅提高了信息利用效率，还将推理速度提升了14.3%。值得注意的是，JoyHallo在生成英语视频方面也保持了强大的能力，展现出了优秀的跨语言生成能力。

使用场景

1. 教育与培训：可以生成普通话教育视频，例如汉语学习课程、医学培训等。
2. 内容创作：适用于视频博主或内容创作者，能够快速生成与语音内容相一致的视频，提高内容制作效率。
3. 虚拟助手：作为虚拟助手，能够通过视频形式与用户进行交互，提升用户体验。
4. 广告与宣传：可以创建生动的广告视频，展示产品或服务，吸引目标客户。
5. 游戏与互动娱乐：在游戏中生成角色视频，为玩家提供更加沉浸式的体验。

JoyHallo的强大功能和灵活的使用场景使其成为近年来视频生成技术的重要突破，特别是在非英语语种的视频生成领域。