Prompt2Sign

Prompt2Sign 简介

Prompt2Sign 是一个全面的多语言手语数据集，旨在通过工具自动获取和处理网络上的手语视频。该数据集具有高效、轻量的特点，旨在减少先前手语数据集的不足之处。该数据集目前包含美国手语（ASL）、德国手语（GSL/DGS）、瑞士德语手语（DSGS）、瑞士法语手语（LSF-CH）、瑞士意大利手语（LIS-CH）、阿根廷手语（LSA）、韩国手语（KSL）和土耳其手语（TSL）。详细数据集信息可访问Prompt2Sign官网。

数据集概览

Prompt2Sign在以下方面提供了详细信息：

• 词汇量
• 时长（小时）
• 表演者数量
• 多视角摄像
• 转录
• 手语词汇标注
• 姿态数据
• 深度信息
• 语音数据
• 提示语
• 数据压缩

例如，Prompt2Sign数据集包含了40,000词汇，总时长200小时，由40位表演者录制，并包含多视角摄像、转录、手语词汇标注、姿态、深度和语音等信息。

使用场景

1. 手语生成研究：Prompt2Sign 数据集适用于使用大语言模型进行手语生成的研究，例如论文中提到的SignLLM模型。

2. 手语识别和翻译：数据集的转录和手语词汇标注可以帮助研究人员开发手语识别和翻译系统。

3. 多模态学习：结合视频、姿态、深度和语音信息，这些多模态数据可以用于训练更加准确和鲁棒的手语模型。

4. 计算机视觉和自然语言处理：提供的数据集可以用于改进计算机视觉和自然语言处理技术在手语领域的应用。

Prompt2Sign为手语生成和识别的研究提供了丰富的数据资源，是推动手语领域研究和应用的重要工具。用于研究时请引用以下论著：