当前位置:   article > 正文

利用device_map实现多卡训练:model = AutoModelForCausalLM.from_pretrained(model_name, device_map=‘auto‘)【取代DP】_device map如何实现

device map如何实现
config = AutoConfig.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_path, device_map='auto', trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained
  • 1
  • 2
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/码创造者/article/detail/832301
推荐阅读
相关标签
  

闽ICP备14008679号