AI 文摘

gpt4all,一个不需要显卡,就可以运行的本地GPT模型





作者: 人工智能技术与时代人物风云 来源: 人工智能技术与时代人物风云

越来越多的人开始关注AI了。不过除了要翻墙的ChatGPT,以及国内一众需要申请的GPT大模型,不少动手能力强的,也开始琢磨起了自己部署模型。

虽然有ChatGlm-6b [ https://github.com/THUDM/ChatGLM-6B ] 这样轻量化的模型,以及斯坦福开源的羊驼 [ https://github.com/tatsu-lab/stanford_alpaca ] ,质量都不错,但无奈,运行起来的都不低,哪怕是最低进度int4,也需要至少6G的显卡。

不少人的电脑,还是处于2G显卡甚至无独立显卡,这里推荐大家体验一下gpt4all,这个模型最开始打出的口号就是NO GPU。

话不多说,开启安装步骤吧。

附上地址:https://github.com/nomic-ai/gpt4all

GPT4ALL的安装很简单,你甚至可以不需要clone github的代码,它已经集成到python的环境里,你只需要执行一下的代码,就可以轻松运行起来。

pip install gpt4all

pip会自动帮你安装需要的依赖。然后新建一个py文件就可以开启测试。


from gpt4all import GPT4All
gptj = GPT4All("ggml-gpt4all-j-v1.3-groovy")
messages = [{"role": "user", "content": "Name 3 colors"}]
gptj.chat_completion(messages)

其中ggml-gpt4all-j-v1.3-groovy 就是它的模型,目前它支持多种模型,不过大多数对英文支持很好,中文的话,只能勉强进行回答。

这是官网支持的模型图,相比斯坦福、fb的模型,它还有一个好处是,它有可商用的模型。

尽管当下它不仅如意,不过它有一个好处是,我们消费级的电脑就可以跑起来,提供了无限的想象空间。

更多AI工具,参考Github-AiBard123国内AiBard123

可关注我们的公众号:每天AI新工具