【AIGC半月报】AIGC大模型启元：2024.07（下）_prover-verifier-games

(1) Chameleon（Meta多模态模型）

2024.07.18 全球科技、社交巨头Meta发布了混合多模态模型Chameleon，一共有7B和34B两个版本。
　　Chameleon可以生成、处理混合多类型内容，包括文本、图片、图像字幕等。同时可以自动生成带图文的长篇内容，整体性能非常强劲。
　　根据多平台测试数据显示，Chameleon的性能超过了谷歌的Gemini Pro和OpenAI的GPT-4V等知名多模态模型。
　　传统的多模态大模型使用的分阶段处理策略，先分开独立处理图像和文本，然后在后续阶段将这些模态数据融合。这种方法虽然简单直观，却难以高效地捕捉和利用跨模态的复杂关联。
　　而Chameleon使用了一种创新处理方法，从一开始便将所有模态信息投影到一个共享的表示空间中。图像和文本数据被同等对待，共同参与模型的输入和处理过程，从而打破了模态之间的界限。
　　Chameleon的技术创新在于使用了一种“全tokens化”的表示方法将图像也转换成离散的tokens，使得图像和文本可以使用同一套Transformer架构进行处理。

推荐文章： Meta发布混合多模态模型—Chameleon
论文地址： https://arxiv.org/abs/2405.09818
模型申请地址： https://ai.meta.com/resources/models-and-libraries/chameleon-downloads/?gk_enable=chameleon_web_flow_is_live

(2) PVG(Prover-Verifier-Games)（OpenAI全新训练框架）

2024.07.18 7月18日凌晨，OpenAI在官网发布了最新技术研究——Prover-Verifier-Games。
　　随着ChatGPT在法律、金融、营销等领域的广泛使用，确保模型的安全、准确输出同时被很好理解变得非常重要。但由于神经网络的复杂和多变性，我们根本无法验证其生成内容的准确性，这也就会出现输出“黑盒”的情况。
　　为了解决这个难题，OpenAI提出了全新训练框架Prover-Verifier Games（简称“PVG”），例如，用GPT-3这样的小模型来验证、监督，GPT-4大模型的输出，从而提升输出准确率以及可控性。

推荐文章： OpenAI发布PVG：用小模型验证大模型输出，解决“黑盒”难题
论文地址： https://cdn.openai.com/prover-verifier-games-improve-legibility-of-llm-outputs/legibility.pdf