重磅！GPT-4又进化了！画图、插件、代码等能力被整合，超级智能体来了_如何使用gpt4让他按照我的要求修改图片

 夕小瑶科技说 原创
 作者 | 小戏、ZenMoore

就在今天！OpenAI 闷声放了一个大招！

还没有官宣，还没有发布会，也没有大肆报道与关注。OpenAI 这次仅仅以灰度测试的方式，给部分用户发布了一个可以说“整合了几乎所有可用工具”的完全版 GPT-4 智能体版本。

再具体一点，这次更新，将之前版本相互独立各自分离的 Agent 功能统一了起来。之前 GPT-4 的工作模式是四个独立的功能（一个对话窗口内只能使用其中一个特性）：

• 图像上传 + GPT-4

• 插件 + GPT-4

• 代码运行器 + 文件上传 + GPT-4

• 图像生成 + GPT-4

这次更新使其变成了：

• GPT-4 + 图像上传 + 插件 + 代码运行器 + 文件上传 + 图像生成

All In One!

例如，我想实现扔给 GPT-4 一张图，让 GPT-4 完成图像理解再根据我的 Prompt 要求完成新图像的生成，之前的 GPT-4 是无法做到这个事情的，因此当你使用图像生成功能的时候就无法上传图片。而更新完成之后，现在可以做到自动图像编辑啦！ 如下图所示：

这看似是一个小小的更新，但实际上是通过把之前分开的各种 Agent Feature 整合在一起从而将 GPT-4 真正进化为了一个“理解一切，处理一切，生成一切”的超级统一智能体！

回顾 OpenAI 的官方说明，可能其中最为关键的词句就是其中的“automatic”一词

什么是“automatic”，那就是针对用户输入的任意一个任务，现在的 GPT-4 可以自动的选择并组合使用各种它可以使用的工具，以完成用户的特定的任务目标。换言之，之前通过用户人为切换插件完成的任务，更新后的 GPT-4 (All Tools) 类似 AutoGPT，可以一体化的完成如意图识别，任务分配，工具调用等诸多任务，GPT-4 也由此完成了单一的大模型到智能体的进化。

举个网友的例子，如果我希望让 GPT-4 生成一个当前时间丹佛的天气图，拆解这个任务，GPT-4 需要做的不仅仅是使用 DALLE 3 生成一张图片，而是还需要查询当前时刻丹佛的天气，这需要调用另一个 API，而如下图所示，GPT-4（All Tools）现在可以自动的完成这一套任务。

再来一个更复杂的任务，如果要求 GPT-4 依次反复使用它所能使用的所有工具来生成一张炫酷有趣的创意图片，GPT-4 会怎么样呢？

如上图所示，GPT-4 完美的理解了任务的要求，首先使用了 DALLE 创建初始图像，并以“抽象”，“怀旧”，“希望”等为主题设计了输入 DALLE 的 Prompt，生成了初始的图像

接着通过调用 Python，分析生成图像中的颜色，确定主导色调，最终经过一系列 GPT-4 的神操作，GPT-4 交出了这样一个答卷，先不论其中艺术性如何，但可以看出 GPT-4 已经可以熟练的玩转各种工具。

再来一个例子，对于一个 PDF 信息提取的任务，之前的版本可能还需要额外使用 Advanced Data Analysis 功能上传附近才可以办到，而新版本的 GPT-4 则将多类型文件完全统一，直接上传 PDF 便可以和 GPT-4 畅快 Chat。

当然，目前的目前，GPT-4 的这次升级还没有正式发布，只是以灰度测试的形式“走漏了一点风声”，不过哪怕仅仅看到这些蛛丝马迹，但也足够让人期待完全版 GPT-4 会为我们带来什么样的想象空间。

查看日程表九月份 OpenAI 宣布在 11 月 6 号举报首届开发者大会，在这次大会之上 OpenAI 将会爆出什么更大的料呢？让我们一起期待！