如果开启了8bit量化加载,项目无法启动，参考此位置，选择合适的cuda版本_importerror: using `load_in_8bit=true` requires ac

作者：weixin_40725706 | 2024-04-07 22:48:01

踩

importerror: using `load_in_8bit=true` requires accelerate: `pip install acc

部署大语言模型过程，报错如标题，并发现同时出现的报错信息：

ImportError: Using load_in_8bit=True requires Accelerate: pip install accelerate and the latest version of
bitsandbytes pip install -i https://test.pypi.org/simple/ bitsandbytes or pip install bitsandbytes`

说明量化过程，需要 accelerate 与 bitsandbytes 模块。

安装后即可。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/weixin_40725706/article/detail/381140