赞
踩
迄今为止,GPT-4 凭借多模态能力已经成为 AI 领域备受关注的大模型,不过值得注意的是,OpenAI 在推出 GPT-4 时虽然引入了对图像理解的能力!
一个月前,OpenAI 向外界演示了 GPT-4 如何通过手绘草图,直接生成网站,让当时不少围观群众看的目瞪口呆。
我始终觉得,图像对话才是 GPT-4 真正令人心神向往之处。但可惜的是,这个功能至今仍没有对外开放。
MiniGPT-4 架构
MiniGPT-4 Vicuna 的语言模型遵循 "Alpaca 公式",使用 ChatGPT 的输出来微调 LLaMA 系列的 Meta 语言模型。据说 Vicuna 与 Google Bard 和 ChatGPT 相当,同样只需相对较小的训练工作量。
当前,该研究团队已经将 MiniGPT-4 的代码、预训练的模型和收集的数据集在 GitHub 上开源:https://minigpt-4.github.io/。
拥有和 GPT-4 相似的图片解析功能
正如开头所述,该研究团队推出的 MiniGPT-4 拥有和 GPT-4 相似的功能。譬如:
给它一张图,便能生成详细的图像描述:
也能讲出图片中搞笑、有趣的部分:「星期一通常被认为是一周中最令人恐惧的一天」。
此外,也能根据图片续写故事,给产品做广告,对图像展现的画面进行评论、检索与图片有关的事实,以及当给定一张准备好的菜肴照片时,该模型可以输出(可能)与之匹配的食谱或者生成一个适合视障人士的图像描述。
关于 MiniGPT-4 模型的更多内容可参考:
项目地址:https://minigpt-4.github.io/
GitHub地址:https://github.com/Vision-CAIR/MiniGPT-4
论文地址:https://github.com/Vision-CAIR/MiniGPT-4/blob/main/MiniGPT_4.pdf
我相信有很多人没有 ChatGPT 的账号,或许连注册都不太会。跟着我们一起学习,这些方法我们都会手把手交给你!
如果你想快速上手、熟练应用 ChatGPT,获取第一首关于 ChatGPT 的资料,利用 ChatGPT 提升工作效率,获取 ChatGPT 变现机会等。请务必加入知识星球:ChatGPT 中文社区。今天加入星球的小伙伴,直接送 ChatGPT 独立账户(数量有限)!
星球第一期定价199元,现在98元即可上车,每增加50人,费用上涨10元,星球福利如下:
1、送专属ChatGPT账号一个
2、送49元/年的8000+道编程面试题会员一年,无限量刷题
3、分享ChatGPT相关最新使用方法技巧
(仅限前20名用户赠送一年编程面试题小程序会员)
面试题小程序会员仅限前20名星球用户赠送!
重点来了!这个星球能够为你提供什么服务呢?
1、ChatGPT 基础用法、使用教程
2、交流共享 ChatGPT 的各种信息,资源互换,答疑关于 ChatGPT 的问题。
3、分享如何利用 ChatGPT 提升工作效率,分享变现机会。
如果你已经加入星球,或者对这个知识星球有什么不明白的问题,欢迎扫下方二维码添加我的微信,备注“星球”。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。