简单两步实现离线部署ChatGPT，ChatGPT平替版，无需GPU离线搭建ChatGPT_chatgpt离线部署

作者：不正经 | 2024-04-08 14:28:41

踩

chatgpt离线部署

文末附主程序安装包和大模型参数文件~
演示效果如下图所示：

在这里插入图片描述

一、使用方法

软件主要分为两个部分：GPT4ALL软件主体（主程序）+模型参数（离线模型），如果使用API Key的话则不需要下载模型参数。

可以从官网下载主程序安装包或者直接使用小编准备好安装包进行主程序安装（软件官网也在最后的链接中）。

以Windows为例，双击安装程序正常执行主程序安装即可，大概需要200MB左右的磁盘空间。

在这里插入图片描述
安装完成后，第一次进入主程序界面会出现两个隐私选项，为了保证个人隐私的安全，建议都选择【No】。

在这里插入图片描述

选择完隐私选项后，大概率会自动弹出一个窗口，让我们选择一个模型进行下载，其中有红色字体的的模型表示不推荐下载，大概率是因为内存不满足模型运行的最低要求。这里最小的模型为GPT4ALL Falcon，该模型包含70亿参数，只需要8GB的可支配运行内存即可。

【注】：可支配内存为8G往往需要电脑的实际内存大于8G，总内存为8G的电脑可支配内存通常不足8G（维持操作系统运行要用掉一部分）。

在这里插入图片描述

别着急点击下载，据小编测试，使用国内网络大概率不能下载成功，并且直接在软件内部下载会有极大可能下载几MB后卡住不动，所以小编推荐在官网下载模型参数（官网地址见链接中文本文件），然后手动导入（GPT4ALL Falcon模型小编已经下载好放在最后的链接里了，大家下载后直接导入即可）。

官网下载模型方法：在官网下拉找到【Model Explorer】，从下拉框找到需要下载的模型然后点击右下角的下载按钮即可下载，推荐使用迅雷等下载软件下载，否则很可能下载到一半因链接中断需要重新下载。

在这里插入图片描述

模型文件的后缀名为【.bin】，将模型文件下载下来后，我们在主程序中点击【设置】按钮。

在这里插入图片描述

进入设置界面后，点击【Application】，在【Download path】按钮旁边有一个【Browse】按钮，用于选择模型默认下载路径，点击该按钮，然后选择模型文件所在的路径作为默认下载路径。

在这里插入图片描述

一般来说经过上述设置，主程序就可以自动识别模型，需要注意的是，尽量不要在模型存放路径中出现中文，否则很可能会在加载模型时出现类似下面这样的错误提示。

在这里插入图片描述

建议直接在D盘根目录创建一个名为【Model】的文件夹作为模型默认下载路径，然后直接将模型文件放在这个文件夹即可。

如此一来，就可以使用这款本地GPT为你完成一些简单的工作啦，经过小编测试，该离线版GPT响应速度还可以（和CPU性能有关，设置中可以调整线程数，线程数越多，使用的CPU资源越多，模型响应速度越快），并且具备编写代码的功能，可惜仅支持英文沟通，当你用中文描述问题时，模型会表示无法理解你的问题。

在这里插入图片描述

见评论区

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/不正经/article/detail/386124