下载大模型权重的几个方法_llama3权重下载

      下载开源的预训练模型权重是做相关学习研究经常要用的一项操作，一般有三种方式下载，这里以开源的llama3为例。

官方下载

      一般模型开源都会在github开源地址提供官方下载方式或脚本。llama3的项目目录下的download.sh就是下载脚本，获取到url后，运行脚本按提示操作即可获取。国内的网络遇到forbitten错误，可能需要挂代理才能下。

huggingface下载

直接用hf提供的命令行下载工具下载：

huggingface-cli download meta-llama/Meta-Llama-3-8B-Instruct --include "original/*" --local-dir meta-llama/Meta-Llama-3-8B-Instruct

这种方法也需要代理，且llama3的下载需要验证。

魔塔社区下载（推荐）

一般开原模型魔塔社区都会同步上线，切不需外网环境，速度很快。

import torch
from modelscope import snapshot_download, AutoModel, AutoTokenizer
import os
 
model_dir = snapshot_download('LLM-Research/Meta-Llama-3-8B-Instruct', cache_dir='/root/autodl-tmp', revision='master')