【AI基础】第六步：纯天然保姆喂饭级-安装并运行qwen2-7b_qwen2-7b-instruct 下载

整体步骤类似于 【AI基础】第五步：纯天然保姆喂饭级-安装并运行chatglm3-6b-CSDN博客。

此系列文章列表：

【AI基础】概览

【AI基础】第一步：安装python开发环境-windows篇_下载安装ai环境python

【AI基础】第一步：安装python开发环境-conda篇_minicode怎么换虚拟环境

【AI基础】第二步：安装AI运行环境

【AI基础】第三步：纯天然保姆喂饭级-安装并运行chatglm2-6b

【AI基础】第四步：保姆喂饭级-langchain+chatglm2-6b

【AI基础】第五步：纯天然保姆喂饭级-安装并运行chatglm3-6b

【AI基础】第六步：纯天然保姆喂饭级-安装并运行qwen2-7b

一、安装miniconda

参考 【AI基础】第一步：安装python开发环境-conda篇_minicode怎么换虚拟环境-CSDN博客

二、安装CUDA、cuDNN和pyTorch

参考 【AI基础】第二步：安装AI运行环境-CSDN博客

> pip install protobuf transformers==4.40.0 cpm_kernels torch>=2.3.0 sentencepiece accelerate

三、安装部署qwen2-7b

3.1 创建环境

> conda create --name qwen2 python=3.11
> conda activate qwen2
> git clone https://github.com/QwenLM/Qwen2
> cd qwen2

3.2 安装依赖

安装gradio模块，会在后续web示例中用到：

> pip install gradio -i https://pypi.tuna.tsinghua.edu.cn/simple/

• -i https://pypi.tuna.tsinghua.edu.cn/simple/，使用清华源，避免从官方下载造成速度慢。

3.3 下载大模型文件

3.3.1 HuggingFace下载

下载地址：https://huggingface.co/Qwen/Qwen2-7B

3.3.2 国内下载

综合镜像站：

• 魔搭modelscope：​​​​​​​Qwen2-7B 模型库-魔搭社区
• AI快站：​​​​​​​Qwen2-7B - AI快站 - HuggingFace模型免费加速下载 
• HuggingFace镜像站：​​​​​​​Qwen/Qwen2-7B - HuggingFace镜像站

3.3.3 下载完成

下载到本地的默认下载地址，文件结构如图（图中文件，一个都不能少）：

3.4 运行代码

examples文件夹下有多个示例，这里运行web示例。

先指定大模型所在路径为 DEFAULT_CKPT_PATH='c:\\ai\\llms\\qwen2-7b'，并且移除仅CPU运行参数（如上图），最后运行命令：

> python .\examples\demo\web_demo.py

运行完成后，打开浏览器访问 http://127.0.0.1:8000：

运行成功。