从LLM到MLLM，多模态大规模语言模型KOSMOS-1赋予了语言模型看见世界的能力

作者：AllinToyou | 2024-02-28 14:26:52

踩

mllm

来自：机器之心

在 NLP 领域，大规模语言模型（LLM）已经成功地在各种自然语言任务中充当通用接口。只要我们能够将输入和输出转换为文本，就能使得基于 LLM 的接口完成一个任务。举例而言，对于摘要任务，我们能够将文档输入到语言模型，语言模型就可以生成摘要。

尽管 LLM 在 NLP 任务中取得了成功的应用，但研究人员仍努力将其原生地用于图像和音频等多模态数据。作为智能的基本组成部分，多模态感知是实现通用人工智能的必要条件，无论是对于知识获取还是与现实世界打交道。更重要的是，解锁多模态输入能够极大地拓展语言模型在更多高价值领域的应用，比如多模态机器人、文档智能和机器人技术。

因此，微软亚洲研究院在论文《Language Is Not All You Need: Aligning Perception with Language Models》中介绍了一个多模态大规模语言模型（MLLM）——KOSMOS-1，它可以感知一般模态、遵循指令（即零样本学习）以及在上下文中学习（即少样本学习）。研究目标是使感知与 LLM 保持一致，如此一来模型能够看到（see）和说话（talk）。研究员们按照 METALM（参见论文《Language models are general-purpose interfaces》）的方式从头开始训练 KOSMOS-1。

论文地址：

https://arxiv.org/pdf/2302.14045.pdf

项目地址：

https://github.com/microsoft/unilm

研究员们将一个基于 Transformer 的语言模型作为通用接口，并将其与感知模块对接。他们在大规模多模态语料库上训练模型，语料库包括了文本数据、任意交错的图像和文本、以及图像描述数据。此外，研究员们还通过传输纯语言数据来校准跨模态的指令遵循能力。

最终，KOSMOS-1 模型原生支持零样本和少样本学习设置下的语言、感知语言与视觉任务，具体如下表1所示。

表1：在零样本和少样本下测试了 KOSMOS-1 在自然语言、多模态和视觉任务的能力。

研究员们在下图1和图2中展示了一些生成示例。除了各种自然语言任务，KOSMOS-1 模型能够原生处理广泛的感知密集型任务，如视觉对话、视觉解释、视觉问答、图像描述生成、简单的数学公式、OCR 和带描述的零样本图像分类。他们还根据瑞文推理测验（Raven's Progressive Matrices, RPM）建立了一个 IQ 测试基准，用来评估 MLLM 的非语言推理能力。

图1：KOSMOS-1 生成的示例（蓝色框是输入提示，粉色框是 KOSMOS-1 输出）。(1)-(2)视觉解释，(3)-(4)视觉问答，(5)基于网页的问答，(6)简单的数学公式，(7)-(8)数字识别。

图2：KOSMOS-1 生成的示例（蓝色框是输入提示，粉色框是 KOSMOS-1 输出）。(1)-(2)图像描述生成，(3)-(6)视觉问答，(7)-(8)OCR，(9)-(11)基于视觉的对话。

这些示例表明，多模态感知的原生支持为将 LLM 应用于新任务提供了新的机遇。此外与 LLM 相比，MLLM 实现了更好的常识推理性能，表明了跨模态迁移有助于知识获取。

由于 KOSMOS-1 模型的参数量为16亿，因此有网友表示有望在自己的电脑上运行这个多模态大模型。

KOSMOS-1：一个多模态大型语言模型

如图3所示，KOSMOS-1 是一个多模态语言模型，它既可以感知一般的模态、遵循指令、还能在上下文中学习并生成输出。具体来说，KOSMOS-1 的主干是一个基于 Transformer 的因果语言模型。除了文本之外，其他模态也能被嵌入并输入到该模型中，如下图中，除了语言还有视觉、语音等的嵌入。Transformer 解码器用作多模态输入的通用接口。一旦模型训练完成，KOSMOS-1 在零样本和少样本中也能对语言任务和多模态任务进行评估。

图3：KOSMOS-1 是一个多模态大规模语言模型，KOSMOS-1 能够感知多模态输入、遵循自然语言指令、在语言任务和多模态任务中完成上下文学习。本工作将视觉信息与大规模语言模型对齐，推进从大规模语言模型到多模态大规模语言模型。

Transformer 解码器以统一的方式感知模态，输入信息会被 flatten 为带有特殊 token 的序列。例如 <s> 表示序列开始、</s> 表示序列结束。特殊 token <image> 和 </image> 表示编码图像嵌入的开始和结束。

表2：KOSMOS-1 训练阶段使用的数据格式

嵌入模块将文本 token 和其他输入模态编码成向量表示，对于输入 token，该研究使用查找表将其映射到嵌入中。对于连续信号模态（例如图像和音频），也可以将输入表示为离散编码。

之后，获得的输入序列嵌入会被馈送到基于 Transformer 的解码器。然后因果模型以一种自回归的方式处理序列，从而产生下一个 token。总而言之，MLLM 框架可以灵活地处理各种数据类型，只要将输入表示为向量即可。

模型训练

首先是训练数据集。数据集包括文本语料库、图像 - 字幕对、图像和文本交叉数据集。具体而言，文本语料库包括 The Pile 、Common Crawl (CC)；图像 - 字幕对包括 English LAION-2B、LAION-400M、COYO-700M 以及 Conceptual Captions；图像和文本交叉多模态数据集来自 Common Crawl snapshot。

数据集有了，然后是训练设置。MLLM 组件包含24层、隐藏维度是2048、8192个 FFN 和32个注意力头、参数量为 1.3B。为了使模型更好的收敛，图像表示是从具有1024个特征维度的预训练 CLIP ViT-L/14 模型获得的。图像在训练过程中被预处理为224×224分辨率，此外，训练期间除了最后一层，所有的 CLIP 模型参数被冻结。KOSMOS-1 的参数总数约为 1.6B。