FunAudioLLM

FunAudioLLM 是阿里巴巴集团Tongyi SpeechTeam推出的用于增强人类与大语言模型（LLM）自然语音交互的框架。该框架的核心包括两个创新的模型：SenseVoice和CosyVoice。

1. SenseVoice：这是一个多功能语音理解模型，具备高精度的多语言语音识别、情感识别和音频事件检测能力。其支持超过50种语言，延迟极低。

2. CosyVoice：这是一个自然语音生成模型，具备多语言、音色和情感控制能力。其在多语言生成、零样本生成、跨语言语音克隆和指令跟随能力方面表现出色。

FunAudioLLM整合SenseVoice和CosyVoice，实现了语音翻译、情感语音聊天、互动播客和富有表现力的有声书叙述等应用。这些模型已在Modelscope和Huggingface开源，并在GitHub上发布了相关的训练、推理和微调代码，推进了语音交互技术的发展。

具体应用包括：

• 语音翻译：通过SenseVoice、LLM和CosyVoice的结合，实现高效的语音-语音翻译，支持多种语言之间的互译。
• 情感语音聊天：利用SenseVoice和CosyVoice，可以开发情感语音聊天应用，生成情感丰富的对话内容。
• 互动播客：结合SenseVoice和基于LLM的多智能体系统，可以创作实时互动的播客内容。
• 表现力有声书：通过LLM对书中情感的分析和CosyVoice的语音合成，生成富有表现力的有声书。

此外，SenseVoice 提供了多语言语音识别、语音情感识别和音频事件检测能力，大幅度提升了语音理解的准确性和效率。整合这些功能，FunAudioLLM致力于突破语音交互技术的界限，提供更自然、准确和情感丰富的语音交流体验。