剖析chatGPT背后的核心技术_chatgpt的核心技术ai

      全世界都在讨论Chat GPT，其实很多人根本连GPT是什么都不知道。作为一个有着卡耐梅隆大学电子计算机博士学位的教育博主，我做了一些功课给大家普及一下Chatgpt的技术起源和这款AI聊天机器人背后的核心技术。首先让我们以一种易于理解的方式去拆解一下gpt这三个字。gpt的全称呢，是generative pre trained Transformer，中文翻译是生成性预训练变换模型。那我们一个一个字母来看gpt的第一个字母G是generative的首字母翻译过来就是生成性，所以我们称chat gpt是生成性人工智能，也就是所谓的生成性AI。在此之前的人工智能、机器学习呢，在很大程度上都是局限于观察、分析和分类内容，一个经典的机器学习的问题呢，就是图像识别，比如说让机器去识别一只猫，那程序呢，它会仔细的去搜索和分析大量的图像，以寻找与猫相匹配的图像。而以gpt为代表的生成性AI是一项技术上的突破，它是可以去生成新内容，而不是仅限于分析现有的数据的一种AI。比如它可以根据我们的需要去创建一个猫的图像或者文本的描述。那生成性AI模型呢，也可以用于去生成程序、代码、诗歌、文章和艺术品等等。最新发布的Chat GPT呢，是专注于文本内容的生成。那未来应该也会有图像、艺术等各种形式的生成性AI，尽管应用领域不同，但是它的技术核心是类似的，也就是生成性的人工智能。那gpt的第二个字母是P呢？P是pre-traineg的首字母翻译过来是预训练，它表示这个模型已经在某些有限的数据集上进行了训练，就像我们在被要求回答某个问题之前，我们会事先去阅读一些相关的书籍一样，Chatgpt之所以能够听起来像人一样来回答我们的问题，就是因为。 他已经接受过大量数据的训练，而这些数据呢，是由我们真实的人来编写的，也就是我们人类发布在互联网上的2022年以前的互联网上的内容。那么怎么去进行预训练呢？它使用的是两项技术，一个叫监督学习，一个叫通过人类反馈强化学习。所以在gpt发布之前呢，已经进行了大量的监督学习和通过人类反馈强化学习，所以我们在使用它的时候，这个模型它能非常准确快速的去生成，连贯，而且是引人入胜的，听起来像人类的一个响应，这就像是一个饱读诗书，功力深厚的学者被要求现场写文章，它能够一气呵成去完成一样。那gpt的第三个字母呢，就是T，T呢，是transformer，如果你直接翻译过来呢，就是转换器或者是变形金刚，有一部电影变形金刚就叫transformer，但是如果你把啊这个transformer翻译成转换器或者变形金刚啊，那就不对，Transformer它真正的含义呢，是一个非常非常 底层的人工智能机器学习的一个算法架构啊，它是一种深度神经网络，最初这个架构是在2017年由谷歌的一个人工智能的团队，叫Google brain就是谷歌大脑研发发布的。那这个模型它是使用一种叫自注意力的机制，就是self attention mechanism，它允许模型在进行预测的时候，可以根据语言序列的任何位置，为输入数据的不同部分赋予不同的权重，并支持处理更大的数据集。那这三个字母拼在一起呢，就是GPT。GPT模型最初是在2018年由open AI作为啊GPT-1首次推出，这些模型在2019年的时候呢，继续发展为GPT-22020年的时候发展为GPT-3，那最近是在2022年，也就是去年进一步发展为啊instruct GPT和chat GPT 。GPT模型进化的另外一个进步还来自于底层硬件计算效率的提高。这使得GPT-3能够接受比GPT-2多的多的数据训练，从而赋予它更多样化的知识库和执行更广泛任务的能力。那我说了半天，你是不是还是一头雾水呢？那就对了，其实在认知里面最可怕的就是不知道我们不知道什么，所以知道我们不知道什么其实本身就已经是一种成长，一种进步了，这也是我这个视频的意义所在，对于尖端科技我们要心存敬畏，我们也要感恩国内外一代代的科技工作者的辛勤劳动和付出让我们有机会在有生之年来享用这样一个划时代意义的科技产品