AI人工智能讲师大模型AIGC讲师叶梓老师之如何快速下载大模型？_aigc模型下载

不知道大家最近有没有这种痛苦，大模型下载太困难了。（不涉及国外的朋友们）

主要由于huggingface必须要科学上网才能访问，而7B规模的模型一般在14G大小左右，13B规模的模型一般在28G左右，这还是模型按照ft16或bf16存贮，如果是float32存储还需要翻一倍，流量是真的吃不消。（有不限量的另说！毕竟我只有100G，下载几个就GG了...）

如何能解决上面的问题呢，具体有两个方法：

正好有群友搭了一个huggingface镜像网站，特此宣传一波，反正我现在使用时速度飞起（可能用的人还不是很多）。

图片

Huggingface镜像网站：

https://hf-mirror.com

图片

对于很多人来说，在网页上点击下载是一个办法，但一个一个点会有些麻烦，因此，这里这里也介绍一下通过代码下载大模型的整体方法。

其中，repo_id为huggingface模型仓库ID，repo_type仓库类型，包含model和data两种，local_dir本地保存路径，如果没有会下载到/root/.cache/huggingface目录下，resume_download为是否断点续传。

由于snapshot_download函数中默认的下载路径为"https://huggingface.co"，只需将镜像网站地址设置为"https://hf-mirror.com"即可。

linux中执行

再使用下面代码进行模型下载即可。

PS：附上群友的Github，纯纯为爱发电。

图片

图片

需要按照modelscope包。

PS：其实huggingface不能访问的这一阵子，魔搭真的吃了不少流量，只希望模型可以越来越多，希望国产社区越做越好。