LLM-2022：OPT【参数量：1750亿（175B）】【用于训练的token数量：180B】【MetaAI】_opt llm

Meta的AI部门发布了一个经过广泛训练的语言模型来推进人工智能研究，特别是针对语言 AI​​本身弱点的研究。该模型名为OPT（Open-Pre-trained-Transformer），在性能和大小方面与GPT-3 相当（最大版本的 OPT 有 1750 亿个参数），然而训练的效率比GPT-3高得多。

OpenAI 的语言 AI 模型GPT-3被称为是自然语言 AI ​​系统发展的里程碑。该模型能够生成连贯而可信的短文本，以至于人们无法识别它们是由AI生成的。此外，该模型还能用于其他领域，例如代码生成，只要稍微加以再训练即可。强大的能力，让OpenAI看到了GPT-3 的商业模式，然后便通过接口等方式来提供这一AI模型。而这却使得研究人员难以利用它来推进研究。

Meta希望OPT能填补GPT-3商业化造成的空白。该公司将根据来自研究、产业、政府和民间组织的选定合作伙伴的需求，制作具有 1750 亿个参数的最大的 OPT 模型，它们应该能够分析语言处理中神经网络的权重和连接。同时免费提供从 1.25 亿到 300 亿参数的较小 OPT 模型。除了模型，Meta 还发布了训练代码和训练历史文档。

Meta 希望科技界能够找到“明确的指导方针”来处理大型 AI 语言模型的问题，尤其是AI 生成内容中的偏见和毒性。过去的研究工作表明，GPT-3 不仅强化了训练数据中现有的偏见，而且还产生了新的偏见。而如果无法直接访问这些模型，研究人员在制定检测和减轻潜在危害的策略方面的能力将有限，这无疑将延迟或阻碍AI语言模型在实践中的广泛使用。

“我们认为ÿ