NLP之GPT-3：NLP领域没有最强，只有更强的模型—GPT-3的简介(本质、核心思想、意义、特点、优缺点、数据集、实际价值，模型强弱体现，开源探讨)、安装、使用方法之详细攻略

NLP之GPT-3：NLP领域没有最强，只有更强的模型—GPT-3的简介(本质、核心思想、意义、特点、优缺点、数据集、实际价值，模型强弱体现，开源探讨)、安装、使用方法之详细攻略

导读：NLP领域的模型，没有最大，只有更大。博主这几天也仔仔细细看了这篇长达75页的论文，光署名作者都有二三十位呐。从内容上，可以明显的看出，openAI团队依然是将天然的自回归语言特性的思想进行到底。GPT-3模型，不论是从参数，还是训练数据上，都是历史性的突破。哈哈，博主也想弄个demo搞一搞，想一想这45TB的训练数据(更多更高质量的数据集+人工分类+数据去重)然后过滤得到570GB数据，即使用我这价值四五万的电脑去调，怕是也要训练到明年吧，额，算了，就像知乎网友说的那样，难不成要用我的穿天猴去调试火箭发射到火星？哈哈，还是停留在想的阶段吧。
感悟：看着GPT和BERT的成长，总感觉，NLP领域的模型均是在算力上发力，算力垄断很有可能带来系统性的AI技术垄断，最后，AI带来的利益或许终会属于那些头部的AI公司。其实，博主更多的希望在算法上突破，如果都去拼算力，那么未来受益的还是AI领域的头部公司。

</