fish

Fish简介

Fish是一个基于变换器（Transformer）的混合多模态模型，专注于音乐信息检索领域，能够生成歌曲的和弦、节拍、歌词、旋律和谱表。它结合了不同的变换器模型，以解决与音乐相关的各种问题，并且这些模型之间相互影响，形成信息依赖关系。

该项目是一个AI驱动的多模态音乐项目，旨在为任何歌曲生成对应的信息，包括和弦、节奏、歌词、旋律等。用户可以通过网站直接体验这些功能。

Fish的使用场景

1. 和弦检测：自动识别并生成音乐和弦，包括大调、小调、七和弦、六和弦等，确定歌曲的调性。

2. 节拍跟踪：检测音乐的节奏和下拍，并跟踪每分钟节拍（BPM）。

3. 音高追踪：跟踪人声轨道中的旋律音高。

4. 音乐结构识别：标识音乐段落的边界和标签，如引子、段落、合唱、桥段等。

5. 歌词识别：自动识别音乐歌词并与音频对齐，支持多种语言，使用自动语音识别技术（ASR）。

6. AI谱表生成：生成可演奏的乐谱，包括和弦图和六线谱，具备和弦、节拍、歌词等信息的编辑功能。

7. 音频处理：提供音频源分离、速度调整、音高变换等功能。

此外，Fish还具有其他更多AI驱动的功能，通过网站可以进一步体验其强大的音乐处理能力。