devbox
小丑西瓜9
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

MLM之CogVLM2：CogVLM2(基于Llama-3-8B-Instruct 模型进行微调)的简介、安装和使用方法、案例应用之详细攻略_cogvlm2 demo

作者：小丑西瓜9 | 2024-06-14 06:57:54

赞

踩

cogvlm2 demo

MLM之CogVLM2：CogVLM2(基于Llama-3-8B-Instruct 模型进行微调)的简介、安装和使用方法、案例应用之详细攻略

目录

CogVLM2的简介

1、更新日志

2、CogVLM2 系列开源模型的详细信息

3、Benchmark

4、项目结构

5、模型协议

CogVLM2的安装和使用方法

1、模型微调

注意

最低配置

开始微调

下载数据集和安装依赖

运行微调程序

推理微调后的模型

2、模型推理

最低配置要求

CLI 调用模型

Web端在线调用模型

OpenAI API

3、模型使用

CogVLM2的案例应用

CogVLM2的简介

我们推出了新一代的 CogVLM2 系列模型并开源了两款基于 Meta-Llama-3-8B-Instruct 开源模型。与上一代的 CogVLM 开源模型相比，CogVLM2 系列开源模型具有以下改进：

  • 在许多关键指标上有了显著提升，例如 TextVQA, DocVQA。
  • 支持 8K 文本长度。
  • 支持高达 1344 * 1344 的图像分辨率。
  • 提供支持中英文双语的开源模型版本。

GitHub地址：https://github.com/THUDM/CogVLM2

1、更新日志

News：2024/5/24：我们发布了 Int4 版本模型，仅需要 16GB 显存即可进行推理。欢迎前来体验！

News：2024/5/20：我们发布了下一代模型 CogVLM2，它基于 llama3-8b，在大多数情况下与 GPT-4V 相当（或更好）！欢迎下载！

2、CogVLM2 系列开源模型的详细信息

模型名称cogvlm2-llama3-chat-19Bcogvlm2-llama3-chinese-chat-19B
基座模型Meta-Llama-3-8B-InstructMeta-Llama-3-8B-Instruct
语言英文中文、英文
模型大小19B19B
任务图像理解，对话模型图像理解，对话模型
模型链接https://www.wpsshop.cn/w/小丑西瓜9/article/detail/716906
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。