原标题:OpenAI发布GPT3 api调用接口!可处理几乎所有英文问题
大数据文摘出品
作者:牛婉杨、笪洁琼
两周前,OpenAI又放了个大招:GPT3突然放出,其参数量达到1750亿,相当于1600个GPT1的大小,光把它用fp16半精度载入内存都得300GB,这还不包括实际训练中需要存储地梯度等中间变量。因此这也导致它训练起来非常昂贵,大概要花1200万美金,按现在汇率折合成人民币相当于8500多万元!!!
今天还有博客称,GPT-3可以看作是研究神经网络缩放律的一次尝试。就是说,从一个好的神经网络开始,把它增大十倍,它能变更聪明吗?聪明多少?会聪明十倍吗?能一直这样做下去,直到它变得无限智慧、或是把所有电脑都用上?”
博客链接