PianoMotion10M

PianoMotion10M是一个大规模钢琴手部动作数据集和基准，用于钢琴演奏中的手部动作生成研究。由浙江大学和杭州电子科技大学的研究人员共同创建，该数据集包含116小时的钢琴演奏视频，从俯视角度拍摄，包含1000万个标注的手姿势。该数据集的主要目的是辅助钢琴教学，特别是在指导手部运动和指法方面。

主要特点：

• 大量数据：包含116小时视频，1000万个手部姿势标注。
• 手部动作生成模型：提供一个强大的基线模型，通过一个位置预测器和位置指导的动作生成器，从音频生成手部动作。
• 评价指标：设计了一系列评价指标来评估模型性能，包括动作相似性、平滑度、左右手的定位精度，以及整体运动分布的逼真度。

适用场景：

1. 钢琴教学：用于生成详细的手部动作指导，帮助学生更好地学习正确的指法和手部运动。
2. 自动化钢琴表演生成：基于音频生成逼真的手部动作，可以用于虚拟钢琴表演。
3. 音乐教育研究：为音乐教育相关的人工智能研究提供数据支持，推动智能教学工具的开发。

通过PianoMotion10M，研究者和教育工作者可以更好地理解和模拟钢琴演奏的复杂手部动作，有助于提高音乐教育的智能化水平。