huggingface 中模型下载及部署演示_hugging face模型的下载以及使用

huggingface 可以理解为对于AI开发者的GitHub，提供了模型、数据集、类库（比如transformers|peft|accelerate）、教程等。官方地址: http://www.huggingface.co

• huggingface官网中提供了Models，Datasets的下载以及博客和文档等相关资料。
• 涉及的领域包括: CV、NLP、多模态、音频 等几乎所有的AI领域
• 支持60多万种预训练模型，以及大量的公开数据集下载（截止2024.4）

1. huggingface 中模型和数据下载

1.1 下载方式

huggingface 上的模型及数据的下载，一般都需要科学上网才能访问，如果可以科学上网则优先在huggingface进行下载。现总结了如下4种方式进行下载：

• (1) huggingface 官网上进行下载： 需要科学上网

• (2) 通过modelscope(魔搭社区)

  • 国内下载比较友好，速度快
  • 模型比较少，只有4千多个，而huggingface上有60多万个，很多模型可能魔搭社区上并没有

  

• (3) 通过hf-mirror进行下载

  • hf-mirrior 为huggingface的国内镜像，可以在没有科学上网的前提下，下载Huggingface上的资源
  • 对于无法科学上网，优先推荐通过hf-mirror进行下载
  • 支持的资源和huggingface官网是一样的

  

1.2 通过脚本下载

• 一般我们通过点击上图中的下载图标一个个进行下载，也可以右键保存下载链接通过迅雷下载
• 通过脚本方式下载：大模型一般都在服务器端微调，本地下载还需要上传服务器会比较慢，因此推荐使用脚本方式下载

1.2.1 下载脚本并安装

• (1): 脚本下载

git clone https://github.com/LetheSec/HuggingFace-Download-Accelerator
1

代码比较简单，其实就一个脚本: hf_download.py

• (2) 安装包

pip install -U hf-transfer
1

1.2.2 模型及数据下载

(1) 模型下载

我们可以下载任意感兴趣的模型，在hf-mirror, 随便下载一个感兴趣的模型，比如whisper-small，如下图所示：