【Hugging Face】管理 huggingface_hub 缓存系统

摘要

这篇文档介绍了Hugging Face Hub的缓存系统。该系统旨在提供一个中央缓存，以便不同版本的文件可以被下载和缓存。缓存系统将文件组织成模型、数据集和空间等不同的目录，每个目录包含特定类型的文件。系统确保如果文件已经下载并更新，除非明确要求，否则不会再次下载。

这篇文档还提到了一些关于缓存系统的具体信息，例如缓存目录的结构、文件夹中包含的文件类型以及如何检查和删除缓存。此外，文档还介绍了如何使用Hugging Face CLI工具来扫描和删除部分缓存。

从这篇文档中，你可以得到以下要点：

• Hugging Face Hub的缓存系统旨在提供一个中央缓存，以便不同版本的文件可以被下载和缓存。
• 缓存系统将文件组织成模型、数据集和空间等不同的目录，每个目录包含特定类型的文件。
• 缓存系统使用符号链接来共享相同的文件，以节省磁盘空间。
• 可以使用Hugging Face CLI工具来扫描和删除部分缓存，以释放磁盘空间。
• 可以自定义缓存目录，并可以通过环境变量或参数来指定。
• 缓存系统还支持检查和删除缓存中的文件。
• 除了Hugging Face Hub的缓存系统之外，下游库还可以使用cached_assets_path()方法来缓存与HF相关的其他文件。
• Hugging Face Hub的缓存系统使用符号链接来提高效率，但并非所有计算机都支持符号链接。
• 可以使用huggingface-cli工具的scan-cache命令来扫描缓存并获取报告。
• 可以使用huggingface-cli工具的delete-cache命令来删除部分缓存。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/不正经/article/detail/462151