Linux Win 10 Windows CPU上安装Ollama部署大模型qwen2 7b/15b llama3 配置启动 LangChain-ChatChat 0.2.7进行对话_windows部署langchain+qwen2 7b

Win 10 Window Linux安装Ollama部署qwen2 7b 15b LangChain-ChatChat对话

环境说明

Win 10
Python 3.11.9
LangChain-ChatChat 0.20
Ollama 0.2.7
Qwen2 1.5b/7b

Windows 安装Ollama

下载并安装Windows版Ollama

https://ollama.com/download#/

Releases · ollama/ollama · GitHub

下载大模型qwen2:1.5b或者qwen2:7b

在命令行里执行如下命令：

ollama pull qwen2:1.5b

运行大模型

ollama run qwen2:1.5b

查看已下载的大模型

注：1、默认的大模型下载在windows的用户目录下（比如这里是Administrator）：

C:\Users\Administrator\.ollama\models

2、如需要更改可以通过大模型的下载命令，可在命令行里执行如下命令：

setx OLLAMA_MODELS="D:\ollamamodles"

重启会话，重启ollama服务。

Linux下安装Ollama

Step1：执行官网的安装命令，如果较快，仅执行该命令即可（Step2以下可选）。

curl -fsSL https://ollama.com/install.sh | sh

Step2：如果通过上述命令安装较慢，可以通过下载工具先下载安装文件，链接见上述shell文件的第67行。

curl --fail --show-error --location --progress-bar -o $TEMP_DIR/ollama "https://ollama.com/download/ollama-linux-${ARCH}${VER_PARAM}"

即为：https://ollama.com/download/ollama-linux-amd64，下载后将文件名重命名为ollama。

Step3：从/tmp目录下找到叫ollama的文件所在的目录名，上传step2里下载的文件到该目录。

Step4：修改install.sh里

#TEMP_DIR=$(mktemp -d) install.sh 11行处代码
#修改为Step3里找到的目录名，以下是示例。
TEMP_DIR='weweximx12344'
 
#注释67行，即原本需要curl下载安装文件处代码
#curl --fail --show-error --location --progress-bar -o $TEMP_DIR/ollama "https://ollama.com/download/ollama-linux-${ARCH}${VER_PARAM}"

Step5：再次执行Step1的命令。

搭建LangChain-ChatChat

下载Embedding模型

当前Embedding模型用的是bge-large-zh-v1.5

https://www.modelscope.cn/models/AI-ModelScope/bge-large-zh-v1.5/fileshttps://www.modelscope.cn/models/AI-ModelScope/bge-large-zh-v1.5/files

 下载LangChain-ChatChat源码

GitHub - chatchat-space/Langchain-Chatchat at 0.2.finalGitHub - chatchat-space/Langchain-Chatchat at 0.2.finalLangchain-Chatchat（原Langchain-ChatGLM, Qwen 与 Llama 等）基于 Langchain 与 ChatGLM 等语言模型的 RAG 与 Agent 应用 | Langchain-Chatchat (formerly langchain-ChatGLM), local knowledge based LLM (like ChatGLM, Qwen and Llama) RAG and Agent app with langchain - GitHub - chatchat-space/Langchain-Chatchat at 0.2.finalhttps://github.com/chatchat-space/Langchain-Chatchat/tree/0.2.final

创建LangChain-ChatChat虚拟环境

conda create -n langchat python=3.11
conda activate langchat

安装LangChain-ChatChat依赖包

cd /d C:\langchat\langchain-chatchat-0.2.final
pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/ 
pip install -r requirements_api.txt -i  https://mirrors.aliyun.com/pypi/simple/
pip install -r requirements_webui.txt -i https://mirrors.aliyun.com/pypi/simple/

生成LangChain-ChatChat配置文件

#通过如下命令生产配置文件，这些文件会生成在config目录下
python copy_config_example.py

配置LangChain-ChatChat

修改config目录下的model_config.py，具体修改见下：

1、修改Ollama相关的大模型参数

2、修改Embedding模型的路径地址

 初始化知识库

可先备份knowledge_base目录下的samples文件夹下内容，然后情况该文件夹下内容。

然后拷贝自定义文本或文件到该目录下并执行初始化命令

python init_database.py --recreate-vs

启动LangChain-ChatChat

python startup.py -a

访问LangChain-ChatChat  FastAPI Docs

http://127.0.0.1:7861/docs#/

访问LangChain-ChatChat

1、访问大模型

 2 知识库问答