AI Device Template

AI Device Template 简介

AI Device Template 是一个由人工智能驱动的语音助手项目，使用多种AI模型和服务来提供智能响应。它支持语音输入、转录、文本转语音、图像处理和功能调用，并具有条件渲染的UI组件。这个项目的灵感来源于最近的AI设备趋势，比如Humane AI Pin和Rabbit R1。

功能特性

• 语音输入和转录：使用Groq或OpenAI的Whisper模型
• 文本转语音输出：使用OpenAI的TTS模型
• 图像处理：使用OpenAI的GPT-4 Vision或Fal.ai的Llava-Next模型
• 功能调用和条件渲染UI组件：使用OpenAI的GPT-3.5-Turbo模型
• 可定制的UI设置：包括响应时间、设置开关、文本转语音开关、互联网结果开关和照片上传开关
• （可选）速率限制：使用Upstash
• （可选）跟踪：使用Langchain的LangSmith进行功能执行跟踪

使用场景

1. 智能语音助手：可以用作家庭或办公环境中的智能语音助手，处理语音命令并提供回复。
2. 图像处理任务：利用图像处理功能，可应用于需要自动化图像分析的领域。
3. 文本转语音应用：适用于需要将文本内容转换为语音播放的场景，比如盲人辅助工具。
4. 互联网搜索和结果展示：可以进行在线搜索并展示结果，适用于信息检索类应用。
5. 开发学习与研究：适合开发者学习和研究AI模型在实际应用中的实现和优化。

设置与安装指南

1. 克隆仓库

   git clone https://github.com/developersdigest/ai-devices.git
   

2. 安装依赖

   npm install 
   # 或者
   bun install
   

3. 添加API密钥 提供必要的API密钥，以使用选定的AI模型和服务：

   • Groq API Key：用于Llama + Whisper
   • OpenAI API Key：用于TTS和Vision + Whisper
   • Serper API Key：用于互联网结果

   其他可选API密钥：

   • Langchain Tracing（功能执行跟踪）
   • Upstash Redis（基于IP的速率限制）
   • Spotify API
   • Fal.AI（Llava图像模型）

4. 启动开发服务器

   npm run dev
   # 或者
   bun dev
   

5. 部署 可通过Vercel轻松部署：

配置文件

可编辑 app/config.tsx 以调整设置和配置：

export const config = {
    inferenceModelProvider: 'groq', // 'groq' 或 'openai'
    inferenceModel: 'llama3-8b-8192',
    whisperModelProvider: 'openai',
    whisperModel: 'whisper-1',
    ttsModelProvider: 'openai',
    ttsModel: 'tts-1',
    ttsvoice: 'alloy',
    visionModelProvider: 'google',
    visionModel: 'gemini-1.5-flash-latest',
    functionCallingModelProvider: 'openai',
    functionCallingModel: 'gpt-3.5-turbo',
    enableResponseTimes: false,
    enableSettingsUIToggle: true,
    enableTextToSpeechUIToggle: true,
    enableInternetResultsUIToggle: true,
    enableUsePhotUIToggle: true,
    enabledRabbitMode: true,
    enabledLudicrousMode: true,
    useAttributionComponent: true,
    useRateLimiting: false,
    useLangSmith: true,
};

贡献

欢迎任何形式的贡献！如发现问题或有改进建议，请提交问题或拉取请求。

支持开发者

如果你觉得这个项目对你有帮助，可以通过以下方式支持开发者：

• Patreon: patreon.com/DevelopersDigest
• Buy Me A Coffee: buymeacoffee.com/developersdigest
• Website: developersdigest.tech
• Github: github.com/developersdigest
• Twitter: twitter.com/dev__digest