LMDeploy 量化部署 LLM-VLM 实践(InternLM 实战营第五次作业)

 1、创建conda环境

InternStudio开发机创建conda环境，由于环境依赖项存在torch，下载过程可能比较缓慢。InternStudio上提供了快速创建conda环境的方法。打开命令行终端，创建一个名为lmdeploy的环境，环境创建成功后，提示如下：

2、安装LMDeploy

激活刚刚创建的虚拟环境，安装0.3.0版本的lmdeploy。

3、下载InternLM2-Chat-1.8B模型

首先进入一个你想要存放模型的目录，本教程统一放置在Home目录。执行如下指令：

cd ~

然后执行如下指令由开发机的共享目录软链接或拷贝模型：

ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b /root/
# cp -r /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b /root/

执行完如上指令后，可以运行“ls”命令。可以看到，当前目录下已经多了一个internlm2-chat-1_8b文件夹，即下载好的预训练模型。

ls

4、使用Transformer库运行模型

Transformer库是Huggingface社区推出的用于运行HF模型的官方库。

在3中，我们已经下载好了InternLM2-Chat-1.8B的HF模型。下面我们先用Transformer来直接运行InternLM2-Chat-1.8B模型，后面对比一下LMDeploy的使用感受。

5、 使用LMDeploy与模型对话

InternLM2-Chat-1.8B大模型对话。比如输入“请给我讲一个小故事吧”，然后按两下回车键。