gpt4all,一个不需要显卡,就可以运行的本地GPT模型
作者: 人工智能技术与时代人物风云 来源: 人工智能技术与时代人物风云
越来越多的人开始关注AI了。不过除了要翻墙的ChatGPT,以及国内一众需要申请的GPT大模型,不少动手能力强的,也开始琢磨起了自己部署模型。
虽然有ChatGlm-6b [ https://github.com/THUDM/ChatGLM-6B ] 这样轻量化的模型,以及斯坦福开源的羊驼 [ https://github.com/tatsu-lab/stanford_alpaca ] ,质量都不错,但无奈,运行起来的都不低,哪怕是最低进度int4,也需要至少6G的显卡。
不少人的电脑,还是处于2G显卡甚至无独立显卡,这里推荐大家体验一下gpt4all,这个模型最开始打出的口号就是NO GPU。
话不多说,开启安装步骤吧。
附上地址:https://github.com/nomic-ai/gpt4all
GPT4ALL的安装很简单,你甚至可以不需要clone github的代码,它已经集成到python的环境里,你只需要执行一下的代码,就可以轻松运行起来。
pip install gpt4all
pip会自动帮你安装需要的依赖。然后新建一个py文件就可以开启测试。
from gpt4all import GPT4All
gptj = GPT4All("ggml-gpt4all-j-v1.3-groovy")
messages = [{"role": "user", "content": "Name 3 colors"}]
gptj.chat_completion(messages)
其中ggml-gpt4all-j-v1.3-groovy 就是它的模型,目前它支持多种模型,不过大多数对英文支持很好,中文的话,只能勉强进行回答。
这是官网支持的模型图,相比斯坦福、fb的模型,它还有一个好处是,它有可商用的模型。
尽管当下它不仅如意,不过它有一个好处是,我们消费级的电脑就可以跑起来,提供了无限的想象空间。
更多AI工具,参考Github-AiBard123,国内AiBard123