voicechat2

Voicechat2 介绍

Voicechat2 是一个快速、完全本地化的AI语音聊天系统，采用WebSockets技术。它运行在高性能硬件上，例如7900级的AMD RDNA3显卡或4090显卡，可以实现低至1秒甚至300毫秒的语音到语音延迟。它使用了多个先进的AI模型和工具，包括Whisper、Llama和Coqui TTS。

使用场景

Voicechat2 适用于各种需要低延迟语音交流的场景，包括但不限于：

1. 人机对话：实现与AI助手的实时语音互动，如智能客服、AI陪聊等。
2. 教育培训：实时语音指导和解答问题，为学生提供即时反馈。
3. 远程工作和会议：提高线上沟通效率，减少语音延迟，保证会议的流畅进行。
4. 游戏：在多人联机游戏中进行实时语音交流，提升游戏体验。

安装步骤

在Ubuntu LTS系统上安装Voicechat2的步骤如下：

1. 系统准备：

   sudo apt update
   sudo apt install byobu curl wget espeak-ng ffmpeg libopus0 libopus-dev
   

2. 创建虚拟环境并获取代码：

   mamba create -y -n voicechat2 python=3.11
   mamba activate voicechat2
   git clone https://github.com/lhl/voicechat2
   cd voicechat2
   pip install -r requirements.txt
   

3. 安装Whisper.cpp：

   git clone https://github.com/ggerganov/whisper.cpp
   cd whisper.cpp
   GGML_HIPBLAS=1 make -j  # AMD
   # 或
   GGML_CUDA=1 make -j  # Nvidia
   bash ./models/download-ggml-model.sh large-v2
   cd ..
   

4. 安装Llama.cpp：

   git clone https://github.com/ggerganov/llama.cpp
   cd llama.cpp
   make GGML_HIPBLAS=1 -j  # AMD
   # 或
   make GGML_CUDA=1 -j  # Nvidia
   wget https://huggingface.co/bartowski/Meta-Llama-3-8B-Instruct-GGUF/resolve/main/Meta-Llama-3-8B-Instruct-Q4_K_M.gguf
   cd ..
   

5. 安装TTS：

   mamba activate voicechat2
   pip install TTS
   

6. 安装StyleTTS2：

   git clone https://github.com/yl4579/StyleTTS2.git
   cd StyleTTS2
   pip install -r requirements.txt
   pip install phonemizer
   pip install huggingface_hub
   huggingface-cli download --local-dir . yl4579/StyleTTS2-LJSpeech
   

总结

Voicechat2 是一个功能强大的本地AI语音聊天系统，适用于各类需要实时语音交流的场景。通过合理的硬件配置和系统搭建，可以实现低延迟的语音通信，提升用户体验。