devbox
weixin_40725706
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

llama2使用gptq量化踩坑记录_未安装exllamav2内核

作者：weixin_40725706 | 2024-05-18 22:50:53

赞

踩

未安装exllamav2内核

gptq

我刚开始直接pip install auto-gptq，产生了一系列的问题。本地是CUDA11.6，首先的问题是无法量化。

gptq本身是一个github仓库，

https://github.com/PanQiWei/AutoGPTQ

随后集成在了Transformers 库里，介绍如下：

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/weixin_40725706/article/detail/590251
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。