Secret Llama

Secret Llama是一个完全在浏览器中运行的私密大型语言模型(LLM)聊天机器人，它支持Llama 3、Mistral等开源模型。借助于webllm提供的推理引擎，Secret Llama可以在不需要服务器和安装的情况下提供与ChatGPT相媲美的用户体验，并且还能够离线使用。最大的卖点是其绝对的隐私性 —— 任何对话数据都不会离开你的电脑。

Secret Llama的功能和特点：

• 完全私有：所有对话数据仅存储在用户的计算机中，不会被上传或共享。
• 浏览器内运行：无需服务器支持，也无需安装任何软件，便于快速开始使用。
• 离线可用：无需网络连接也能够运行，适合网络不便的环境。
• 用户界面友好：提供与ChatGPT类似的用户体验，但支持开源的LLMs。
• 支持多种模型：兼容多种大小的模型，从600MB的TinyLlama到4.3GB的Llama-3等。
• 容易尝试：用户可以直接通过网址访问或下载源代码自行编译尝试。

使用场景：

1. 隐私敏感的场合：当用户不想让其输入的数据和对话内容离开自己的设备时，Secret Llama提供了一个完全私密的对话环境。
2. 没有网络连接的环境：Secret Llama支持离线使用，适合那些暂时或长期无法连接网络的用户。
3. 开发者和技术爱好者：对于那些想要探索、修改或扩展聊天机器人功能的开发者和技术爱好者，Secret Llama提供了开源代码，支持社区贡献。
4. 实验和学习：对LLM感兴趣的个人可以通过Secret Llama深入了解和实验不同的语言模型及其能力。

系统需求：

• 需要支持WebGPU的现代浏览器，如Google Chrome或Microsoft Edge。Firefox和Safari也支持，但需要用户手动启用。
• 根据选择的模型，可能对RAM有特定的要求。

如何尝试：

用户可以直接访问Secret Llama的网站体验，或者下载源码后自行编译和运行。网站还提供了一个Discord社区链接，方便用户加入讨论和获取支持。

简而言之，Secret Llama是一个面向隐私保护、便捷性和开源爱好者的大型语言模型聊天机器人解决方案，适用于各种希望在保证数据隐私的前提下使用或探索LLM的场景。