miniGPT-4测试过程_minigpt4配置要求

作者：Monodyee | 2024-06-18 02:10:27

踩

minigpt4配置要求

一、开源地址链接

GitHub - RiseInRose/MiniGPT-4-ZH: MiniGPT-4 中文部署翻译完善部署细节

MiniGPT-4本地部署，纯新手小白踩过的坑 (wolai.com)

GitHub - Vision-CAIR/MiniGPT-4: Open-sourced codes for MiniGPT-4 and MiniGPT-v2

关键安装包链接: https://pytorch.org/get-started/previous-versions/

二、环境安装

系统：ubuntu

硬件：gpu 3090（24G）

安装命令：


git clone https://github.com/Vision-CAIR/MiniGPT-4.git
cd MiniGPT-4
conda env create -f environment.yml
conda activate minigpt4

硬件：为了节省GPU内存，Vicuna默认加载为8位，波束搜索宽度为1。这种配置对于Vicuna 13B需要大约23G GPU内存，对于Vicuna7B需要大约11.5G GPU内存。对于更强大的GPU，您可以通过在配置文件minigpt4_eval.yaml中将low_resource设置为False以16位运行模型，并使用更大的波束搜索宽度。

三、下载LLM weights文件修改参数

下载入口：GitHub - Vision-CAIR/MiniGPT-4: Open-sour

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Monodyee/article/detail/733178

miniGPT-4测试过程_minigpt4配置 要求

一、开源地址链接

二、环境安装

三、下载LLM weights文件修改参数

miniGPT-4测试过程_minigpt4配置要求