当前位置:   article > 正文

抱抱脸(hugging face)教程-中文翻译-分享一个模型_huggingface_hub

huggingface_hub

分享一个模型

最后两个教程展示了如何使用 PyTorch、 Keras 和 Accelerate 优化分布式设置的模型。下一步就是把你的模型公之于众!我们相信公开分享知识和资源,使人工智能大众化。我们鼓励你考虑与社区分享你的模式,以帮助其他人节省时间和资源。

在本教程中,您将学习在 Model Hub 上共享经过训练或调优的模型的两种方法:

  • 以编程方式将文件推送到Hub。
  • 通过 web 界面将文件拖放到 Hub。

要与社区共享一个模型,您需要在 huggingface.co 上注册一个帐户。您还可以加入现有的组织或创建一个新的组织。

知识库特性

Model Hub 上的每个存储库都像一个典型的 GitHub 存储库一样运行。我们的存储库提供版本控制、提交历史以及可视化差异的能力。

Model Hub 的内置版本控制基于 git 和 git-lfs。换句话说,您可以将一个模型视为一个存储库,从而实现更大的访问控制和可伸缩性。版本控制允许修订,这是一种用提交哈希、标签或分支来固定模型的特定版本的方法。

因此,你可以用 revision 参数加载一个特定的模型版本:

model = AutoModel.from_pretrained(
    "julien-c/EsperBERTo-small", revision="v2.0.1"  # tag name, or branch name, or commit hash
)
  • 1
  • 2
  • 3

文件在存储库中也很容易编辑,你可以查看提交历史以及它们之间的区别:

在这里插入图片描述

设置

在向中心共享模型之前,您需要Hugging Face凭证。如果可以访问终端,请在安装Transformers的虚拟环境中运行以下命令。他会将您的访问令牌存储在您的Hugging Face缓存文件夹(~/.cache/默认情况):

huggingface-cli login
  • 1

如果你正在使用像 Jupyter 或 Colaboratory 这样的笔记本,确保你已经安装了 huggingface hub 库。此库允许您以编程方式与Hub交互。

pip install huggingface_hub
  • 1

然后使用 notebook_login 登录到 Hub,并按照这里的链接生成一个令牌来登录:

from huggingface_hub import notebook_login

notebook_login()
  • 1
  • 2
  • 3

转换所有框架的模型

为了确保您的模型可以被使用不同框架的人使用,我们建议您使用 PyTorch 和 TensorFlow 检查点转换和上传您的模型。如果跳过这个步骤,用户仍然可以从不同的框架加载模型,但是Transformers需要在运行时转换检查点,所以速度会变慢。

将检查点转换为另一个框架很容易。确保您已经安装了 PyTorch 和 TensorFlow (请参阅这里的安装说明) ,然后在其他框架中找到任务的特定模型。

Pytorch

指定 from_tf = True 将检查点从 TensorFlow 转换为 PyTorch:

pt_model = DistilBertForSequenceClassification.from_pretrained("path/to/awesome-name-you-picked", from_tf=True)
pt_model.save_pretrained("path/to/awesome-name-you-picked")
  • 1
  • 2

TensorFlow

指定从_pt = True 将检查点从 PyTorch 转换为 TensorFlow:

tf_model = TFDistilBertForSequenceClassification.from_pretrained("path/to/awesome-name-you-picked", from_pt=True)
  • 1

然后你可以用新的检查点保存你的新的 TensorFlow 模型:

tf_model.save_pretrained("path/to/awesome-name-you-picked")
  • 1

JAX

如果 Flax 中有一个模型,你也可以将一个检查点从 PyTorch 转换成 Flax:

flax_model = FlaxDistilBertForSequenceClassification.from_pretrained(
    "path/to/awesome-name-you-picked", from_pt=True
)
  • 1
  • 2
  • 3

训练过程中推送模型

Pytorch

将模型共享到 Hub 非常简单,只需添加一个额外的参数或回调。记住,在微调教程中,TrainingArguments 类是指定超参数和其他训练选项的地方。其中一个训练选项包括将模型直接推送到 Hub 的能力。在你的训练中设置 push_to_hub=True 参数:

training_args = TrainingArguments(output_dir="my-awesome-model", push_to_hub=True)
  • 1

像往常一样把你的训练参数传递给训练者:

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=small_train_dataset,
    eval_dataset=small_eval_dataset,
    compute_metrics=compute_metrics,
)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

在微调模型之后,调用 Trainer 上的 push_to_Hub () ,将训练好的模型推送到 Hub。Transformers甚至会自动添加训练超参数,训练结果和框架版本到您的模型卡!

trainer.push_to_hub()
  • 1

TensorFlow

用 PushToHubCallback 共享一个模型到 Hub,在 PushToHubCallback 函数中添加:

  • 模型的输出目录。
  • 一个标记器
  • hub_model_id Hub 用户名和模型名。
from transformers.keras.callbacks import PushToHubCallback

push_to_hub_callback = PushToHubCallback(
    output_dir="./your_model_save_path", tokenizer=tokenizer, hub_model_id="your-username/my-awesome-model"
)
  • 1
  • 2
  • 3
  • 4
  • 5

添加适合的回调,Transformers将把训练好的模型推送到 Hub:

model.fit(tf_train_dataset, validation_data=tf_validation_dataset, epochs=3, callbacks=push_to_hub_callback)
  • 1

使用 push_to_hub 函数

您还可以直接在模型上调用 push_to_Hub 以将其上传到 Hub。

在 push_to_hub 中指定您的模型名:

pt_model.push_to_hub("my-awesome-model")
  • 1

这将在您的用户名下创建一个模型名为 my-awesome-model 的存储库。用户现在可以使用 from_pretrained 函数加载模型:

from transformers import AutoModel

model = AutoModel.from_pretrained("your_username/my-awesome-model")
  • 1
  • 2
  • 3

如果您属于某个组织,并希望将您的模型放在组织名称下,请添加组织参数:

pt_model.push_to_hub("my-awesome-model", organization="my-awesome-org")
  • 1

Push_to_hub 函数还可以用于向模型存储库添加其他文件。例如,在模型库中添加一个 tokenizer:

tokenizer.push_to_hub("my-awesome-model")
  • 1

或者你也可以添加微调 PyTorch 模型的 TensorFlow 版本:

tf_model.push_to_hub("my-awesome-model")
  • 1

现在,当你导航到Hugging Face配置文件时,你应该看到你新创建的模型库。单击“文件”选项卡将显示已上传到存储库的所有文件。

有关如何创建和上传文件到存储库的更多详细信息,请参阅此处的 Hub 文档。

v通过网页界面上传

喜欢无代码方法的用户可以通过 Hub 的 web 界面上传模型。访问 google huggingface.co/new 创建一个新的知识库:

在这里插入图片描述

从这里,添加一些关于你的模型的信息:

  • 选择存储库的所有者。这可以是您自己或您所属的任何组织。
  • 为您的模型选择一个名称,它也将是存储库名称。
  • 选择您的模型是公共的还是私有的。
  • 指定模型的许可证用法。

现在单击“文件”选项卡,然后单击“添加文件”按钮,将新文件上传到存储库。然后拖放一个文件来上传和添加提交消息。

在这里插入图片描述

添加一个模型卡片

为了确保用户了解您的模型的能力、局限性、潜在的偏见和道德考虑,请在存储库中添加一个示范卡片。模型卡片在 README.md 文件中定义。你可以通过以下方式添加一个模型卡片:

  • 手动创建并上传 README.md 文件。
  • 单击模型库中的 Edit model card 按钮。

看一下 DistilBert 模型卡片,它是一个模型卡片应该包含的信息类型的好例子。有关其他选项的详细信息,可以在 README.md 文件中进行控制,比如模型的碳足印或小部件示例,请参阅这里的文档。

本文是抱抱脸(Hugging Face)教程中文翻译,仅学习使用

[原文链接]https://huggingface.co/docs/transformers/main/en/model_sharing)

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/很楠不爱3/article/detail/99003
推荐阅读
  

闽ICP备14008679号