强人工智能：GPT3？_gpt3的最大特点

GPT3问世已经半年之久了，GPT3模型在刚刚问世之前一段不可思议，超出预期，可后期却有点后劲无力了，被测出各种badcase，今天一起吃瓜看看吧！

喧嚣

GPT-3 是著名人工智能科研公司 OpenAI 开发的文字生成 (text generation) 人工智能，相关论文今年5月份已经发表，当时就以天文数字级别的1,750亿参数量引发轰动。7月份时候GPT3提供了对商业公司、学校和个人可以使用的OpenAI api供研究者自行调用，自此研究者做了五花八门的应用，名噪一时。随便看一个GPT3常识推理的能力吧！

GPT3的特点：

生成式语言模型，自回归训练，GPT3最大的特点就是大，有史以来最大参数，总共1750亿参数，改不起bug，大多数人用不起，在阅读理解和新闻制造方面GPT3达到了人均水平，其他很多任务上并没有达到sota结果。GPT3最大的特点是泛化性非常强，这也是其接近强人工智能的特点，正如那句话：有钱能使one_shot干翻bert。下面给出别人做的few-shot的一些实验。

经历半年体验暴露的问题：

1、序列过长的逻辑问题

比如“盒子里有一块玻璃球，一枚回形针，放进去一支铅笔，拿出玻璃球，还剩什么？”Lacker 认为这可能是由于 GPT-3 的短程记忆能力不足，以及对于存在超过两个物体的句子推理有困难。

2、逻辑无效问题也会给一个答案（当然是错误的）

比如“太阳有多少条腿？”  “1600年的美国总统是谁？”

3、逻辑一致性（多轮对话场景）

比如用户前面对话说过外面在下雨不想出门，间隔多段对话后询问去哪玩的意见时回复出门爬山等就不是一个逻辑自洽的答案。甚至给出一些不符合常识答案，比如在医疗领域患者问自杀是否可行，GPT3给出了认可的态度，认为是个好主意。

对GPT3的评价：

1、正面派：效果好，真香，意义很大，支出了未来强人工智能的研究方向。

2、反面派：酸（解了好久的算法题，被金钱碾压了），感觉GPT3就是堆数据，堆金钱得到的好效果，不优雅，没意义，NLG通用问题没解决（暴露出来的很多问题没有得到解决），不是通用人工智能，最关键的是用不起（体验名额有限，排队排不上）。

作者认为，想要人工神经网络最后的智力水平达到甚至超越人类那最终人工神经网络神经元参数数量是需要超过人脑神经元参数数量的。人类神经元细胞数量约为150亿，而神经元之间的连接数平均在7000左右，换算成人工神经网络中的参数概念的话有1050000亿的参数量（105000 billion， 105trillion），目前最大的模型GPT3 1750亿还只到了人脑神经网络参数量的千分之一（这里暂不考虑人类中未开发和使用的神经元和连接数），于是便有了如下的言论。