当前位置:   article > 正文

【AI大模型】Transformers大模型库(七):单机多卡推理之device_map_transformers多卡推理

transformers多卡推理

 

目录​​​​​​​

一、引言 

二、单机多卡推理之device_map

2.1 概述

2.2 自动配置,如device_map="auto"

2.3 手动配置,如device_map="cuda:1"

三、总结


一、引言 

 这里的Transformers指的是huggingface开发的大模型库,为huggingface上数以万计的预训练大模型提供预测、训练等服务。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/神奇cpp/article/detail/1013320
推荐阅读
相关标签