热门标签
热门文章
- 1ros设计导航小车仿真模型_ros仿真小车
- 2HTML系列之列表_html列表
- 3素数问题，输入两个正整数m和n（1＜=m＜=n＜=500），输出m到n之间的全部素数，每行输出10个_输入格式:输入在一行中给出两个正整数m和n(1≤m≤n≤500)。输出格式:
- 4电力设备绝缘子串红外热缺陷检测步骤与相关知识_绝缘子温升和相对温差
- 5【MIdjourney】几种独特的艺术风格_midjouney 不同模式风格
- 6QML 布局：网格布局（GridLayout）_qml grid layout
- 7Java 开发支付宝支付APL调用方法_java调用支付宝app支付接口
- 8上下文无关文法_输入一个上下文无关文法,先输入文法产生式条数,再输入各个产生式,字符“ε”用“@
- 9关于vmtools各种方法解决不了复制粘贴的问题_vmware tools 命令行无法复制粘贴
- 10走进人工智能|自主无人系统 从概念到现实的飞跃
当前位置: article > 正文
llama2使用gptq量化踩坑记录_disable_exllama
作者：不正经 | 2024-04-05 00:49:04
赞
踩
disable_exllama
gptq
我刚开始直接pip install auto-gptq，产生了一系列的问题。本地是CUDA11.6，首先的问题是无法量化。
gptq本身是一个github仓库，
https://github.com/PanQiWei/AutoGPTQ
随后集成在了Transformers 库里，介绍如下：
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/不正经/article/detail/362245
推荐阅读
相关标签
Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。
