赞
踩
11期:GPT系列算法与实现(chatGPT前世今生之前世)
***** 文章正常结构分三部分 *****
***** 日常感悟*****
***** 股市瞎聊*****
***** 技术分享****
(文末加餐:深度学习的基础系列课程来啦,一步一步走进人工智能,欢迎关注!)验证
GPT系列算法与实战
首先,我们先来看看openai2022的时候在做什么?
2022年生成的一篇博客轰动整个AI领域,结果是机器人生成的。这个就是openai做的,主要呢,也是为了搞噱头,吸引大家注意力。
openai一直在研究聊天机器人,每天新生成450亿词。
那么问题来了,Nlp不像cv,检测是猫就是猫,是狗就是狗,生成语言就会带有偏见。比如说一个男人,可以说他是大英雄,也可以说他是个罪犯。可能是好坏不分。所以GPT3不对外开源,只开放了API.那么如果想训练只能基于GPT-2来训练,但哪怕GPT-3开源,也训练不起,参数太大,电费都不够扛!
GPT只是冰山一角,2022年每4天就产生一个大模型,甚至比GPT3还大。
一、看看GPT的历史时刻:
1.2018年6月GPT-1, 约5GB文本,1.17亿参数量
2.2019年2月GPT-2,约40GB文本,15亿参数量
3.2020年52月GPT-3,约45TB文本,1750亿参数量
2018年8月Bert产生。
二、接着来看看bert与GPT的区别:
有句话说:Bert看到希望,GPT-3看到未来。
都是基于transformer算法展开,bert采用的是编码器,GPT采用的是解码器,bert属于完形填空(已知上下文),gpt预测下一句(预测以后的事),chatGPT出来前,bert被引用数量巨大,难度相对简单,GPT难度大。
bert gpt1都需要微调,都需要标注数据,都需要人工。
三、万物皆可GPT
GPT1算法:
损失函数:
GPT1采用的是transformer的解码器,也需要打标监督学习。
GPT-2算法:zero-shot
以不变应万变,没有下游任务,不需要微调。也就是根据内容输出所有想要的内容。举例如下:
输入一句话预测自己的心情。
通过一句话取出里面的名词。
通过一句话提取主谓宾。
支持多个任务直接输出,不再是一对一的模型任务。
GPT-2算法:采样策略加温度值:
针对输入内容获取结果,如果结果都采用概率最大的,就太僵硬了,并且无趣。所以预测怎么选,多样性,温度就来了:
T<1 拉大差距
T=1 维持softmax结果
T> 1 缩小差距,,多样性,雨露均沾,就可能会胡说八道,啥都往外说。
但是GPT-2话说的太大了,而且实际说话的时候,谁会暗示你呢,所以没特别惊艳,没引起太大关注。
GPT-3算法:
GPT3在2的基础上进行优化,如果GPT2没有专门暗示,那么输出就太多样性,也相对不准确,因此GPT3专门训练下如何暗示,让你理解暗示是啥。
GPT3功能强大,目前实现加法任务,纠错任务等等,可谓上知天文,下知地理。
那什么叫做暗示训练呢?比如我们想去酒吧,没去过,不知道怎么办,就叫个已经有这方面经验的人,先给我们打个样。
这就是GPT-3的暗示效果,就是模仿。
Zero-shot就是GPT2版本的方法,输入一句话,直接输出结果,不进行提示。
One-shot:先打个样,先让他知道你会怎么做 。
Few-shot:输入多个例子
GPT3不需要微调,没有标签,没有下游任务
OPENAI还做了件事,就是基于GITHUB上编程,通过github上的代码数据进行GPT3训练,实现可以输入内容,直接编程,链接如下:
CODEX:https://openai.com/blog/openai-codex/#spacegame
GPT2代码:
GPT2Tokenizer一般在代码里面,以下面情况出现:
tokenizer = GPT2Tokenizer.from_pretrained("gpt2")
而GPT2LMHeadModel一般在代码里面,以下面情况出现:
model = GPT2LMHeadModel.from_pretrained('gpt2')
这很明显GPT2Tokenizer是编码器,GPT2LMHeadModel是加载训练好的模型。
(下期再来讲讲chatGPT前世今生之今生)
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。