作者： 人工智能技术与时代人物风云 来源： 人工智能技术与时代人物风云

基于上一篇文章，在MacOs电脑上部署和测试了ChatGLM2-6B模型，本篇文章将介绍下如何在MacOs上部署和测试LangChain-Chatchat。

1、环境说明

本地电脑环境说明：

• 操作系统：macOS Sonoma 版本 14.1.2

• python版本：Python 3.10

• 内存：16 GB

• 芯片：Apple M1 Pro

2、文件下载

基础的安装步骤可看：https://github.com/chatchat-space/Langchain-Chatchat 在本篇文章重点介绍下mac部署中遇到的问题或官方文档中介绍不够详细的地方。

2.1、源码文件下载

git clone [email protected]:chatchat-space/Langchain-Chatchat.git  

2.2、模型文件下载

 git clone [email protected]:THUDM/chatglm3-6b  
 git clone [email protected]:BAAI/bge-large-zh  

2.3、代码中修改

执行完python copy_config_example.py 后需要修改本地模型的配置，此时需要修改两个地方：

2.3.1、model_config.py修改

model_config.py文件主要用于管理模型相关的配置，在这里要将模型相关的配置配对，主要的修改有以下几个地方

2.3.2、server_config.py修改

由于是使用MacOs进行测试，这里需要将server_config.py中的模型对应的device配置正确

3、错误解决

3.2、Apple版本torch版本替换

报错内容为

AssertionError: Torch not compiled with CUDA enabled  

错误原因，由于本地安装的torch不匹配M1芯片； 可以查看torch版本：

此时可以通过苹果官方的建议进行安装匹配的torch： https://developer.apple.com/metal/pytorch/

安装命令如下：

 # 卸载错误的torch版本  
 pip3 uninstall torch torchvision torchaudio  
 # 安装正确的torch版本  
 pip3 install --pre torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/nightly/cpu  

安装完后查看安装的torch，此时才是正确的torch：

4、演示

根据上述的配置，此时就能正常的启动和访问了，但是单纯的CPU进行推理还是会很慢，建议有条件的还是通过GPU进行部署推理；

此时虽然能正常启动和访问，但是与LLM模型交流太慢，建议还是通过GPU进行部署推理访问；后续我将通过autodl部署和训练ChatGLM3大模型，感兴趣的可以关注后续文章

更多AI工具，参考Github-AiBard123，国内AiBard123