一文入门大规模预训练语言模型丨“悟道之巅”公开课实录（1）_于济凡清华大学

如果你错过了上一波深度学习引发的NLP范式转换，不要再错过这一波超大预训练模型的崛起。

近日，“悟道”核心团队推出首档公开课，公开课已全部上线，手把手帮助中国开发者理解并应用“悟道”，从而进一步挖掘“悟道”的潜力，开发自己的智能应用。

通过“悟道”公开课，开发者们将与预训练模型这一人工智能领域最重要的趋势保持同步，更有120万+“悟道之巅”比赛奖金可以拿（点击文末“阅读原文”也可报名）。

第一讲视频点此观看
第二讲视频点此观看
第三讲视频点此观看
第四讲视频点此观看
第五讲视频点此观看

本期课程可以看做是面向所有人的大规模预训练模型（下文简称“大模型”）科普课，从大模型与传统机器学习模型的区别、机器学习范式的变化和 GPT-3 讲起，进一步介绍悟道模型及主要技术、悟道之巅大赛参与方式以及悟道 API 使用说明。

本期主讲人为清华大学知识工程实验室博士生于济凡，师从李涓子教授和唐杰杰教授，曾参与悟道2.0研发。

主要内容如下：

• 大规模预训练模型背景

• 悟道模型介绍及主要技术

• 悟道之巅大赛介绍

• API 使用说明及演示

其中，前三个部分普及性比较强，最后一个部分会对 API 的完整使用进行说明和简单地尝试。同时，提出一些使用 API 的方法和思路，帮助使用者提升 API 使用效率。

一、大模型为什么是“第三代人工智能”？

大规模预训练模型是第三代人工智能标志性的里程碑之一。

第一代人工智能是基于符号AI的符号模型、规则模型、感知机模型等。

由于大数据方法的进步以及计算资源的丰富，基于大数据驱动的统计学习方法，人们已经初步实现第二代感知智能对于文本、图像、语音等感知和识别。通过近些年的发展，深度学习、机器学习等概念逐渐流行起来，推进了推荐系统、图像识别、人脸检测等不同领域的应用。

2016 年，张钹院士提出了第三代人工智能的雏形，由此，深度学习走向下一个 10 年的发展历程。

DARPA 在 2018 年发布了 AI Next 计划，核心思路是推进数据统计与知识推理融合的计算、与脑认知机理融合的计算，目的在于解决目前AI无法解决的问题，让人工智能更好地融入现代生活。

在迈向通用人工智能的过程中，一些具有代表性的研究机构，比如 Open AI，提出了通用人工智能的战略（AGI 战略），其内容包括制造通用机器人和能够使用自然语言聊天的机器人等。

在这一