AIGC之论文笔记DALL-E_visual codebook

Zero-Shot Text-to-Image Generation

一. 简介

机构：openai
代码：https://github.com/openai/DALL-E

人们常说自然语言处理是人工智能皇冠上的明珠，这些年transformer以及大规模语言模型LLM的蓬勃发展，让这颗明珠更加熠熠生辉。除此之外，ViT，MAE等方法也充分验证了图像在transformer以及大规模预训练之路上的可行性，那么近一步的思考，就是如何跨越图像，文本等多种模态的鸿沟，让机器真正实现智能？理解人类生活中存在的各种模态？接收人类的指令，与物理世界交互？实现视，听，说，触等人类感知在机器上的应用。这份思考也让多模态这个领域这些年如火如荼，模态可能不只包括图像，文本，视频，音频等，除此之外，人体姿态，3D模型等等都可以视作一种广义上的模态，但一般上更关注图像以及文本，一方面：图像文本是人类世界分布最广的两种媒介，蕴含着巨大的信息，另一方面：各种模态之间往往也可以相互转化，比如音频转化为文本，视频切帧为图像。

就图像和文本而言，有多种benchmark任务建立起两种模态之间的桥梁，包括但不限于多模态检索：文本检索图像，图像