【书生·浦语大模型实战营第2课】轻松玩转书生·浦语大模型趣味Demo

1.大模型及InternLM模型介绍

• 大模型是指在人工智能领域中网络参数数量巨大、拥有庞大的计算能力和参数规模的模型。

通常得到一个大模型我们需要收集海量的数据进行训练，得到拥有数十亿甚至数千亿参数的网络模型，大模型在迈向通用人工智能中具有不错的表现。

• InternLM是一个开源的轻量级训练框架，旨在支持大模型训练而无需大量的依赖。

基于InternLM训练框架，上海人工智能实验室目前已经开源了两个预训练模型，分别是InternLM-7B（轻量级）和InternLM-20B（中量级）。

2. InternLM-Chat-7B智能对话Demo

InternLM-7B包含一个拥有70亿参数的基础模型和一个为实际场景量身定制的对话模型。该模型具有以下特点：

1）利用数万亿的高质量token进行训练，建立了一个强大的知识库。

2）支持8k token的上下文窗口长度，使得输入序列更长并增强了推理能力。

3. Lagent介绍

Lagent是一个轻量级、开源的基于大语言模型的智能体框架，用户可以快速地将一个大语言模型转变为多种类型的智能体，并提供了一些典型工具为大语言模型赋能。整体架构如下图所示：

4. 浦语·灵笔图文创作理解Demo

浦语·灵笔是基于书生浦语大语言模型研发的视觉-语言大模型，提供出色的图文理解和创作能力，具又以下优势：

1）可以为用户打造图文并茂的专属文章。

2）设计了更加啊高效的训练策略，为模型注入了海量的多模态概念和知识数据，赋予了其强大的图文理解和对话能力。

5. 通用环境配置

1）pip换源

python -m pip install --upgrade pip
pip config set global.index-url https://mirrors.cernet.edu.cn/pypi/web/simple
1
2

2）conda换源

cat <<'EOF'> ~/.condarc
channels:
  -defaults
show_channel_urls:true
default channels:
  -https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  -https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
  -https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
  conda-forge:https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch:https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
EOF
1
2
3
4
5
6
7
8
9
10
11
12

3）模型下载

• Hugging Face下载使用Hugging Face官方提供的huggingface-cli命令行工具。

pip install -U huggingface_hub
huggingface-cli download --resume-download internlm/internlm-chat-7b --local-dir your_path
1
2

• ModelScope中的snapshot_download函数下载模型

# 安装依赖
pip install modelscope
pip install transformers

# 新建Python文件，填入以下代码运行
import torch
from modelscope import snapshot download,AutoModel,AutoTokenizer
import os
model_dir snapshot_download('Shanghai_AI_Laboratory/internlm-chat-7b',cache_dir='your path',revision='master')
1
2
3
4
5
6
7
8
9