GPT-3不算机器学习算法创新？2020年AI顶会最佳论文榜单引发激烈争论

贾浩楠 发自 凹非寺
量子位 报道 | 公众号 QbitAI

2020年的最后一天，来回顾一下今年所有AI顶会的最佳论文吧！

今年，顶会的最佳论文，既有ECCV的“2D变3D”的NeRF，当然，也有今年引起轰动的GPT-3，它来自NeurIPS 2020。

而ICRA、ACL、AAAI等等，顶会，把最佳论文给了较为基础的理论研究。

Reddit上，有网友整理汇总了今年AI顶会的最佳论文：

完整总结：
https://www.reddit.com/r/MachineLearning/comments/knai5q/r_a_list_of_best_papers_from_top_ai_conferences/

重要论文研究解析：
https://crossminds.ai/c/conference/

具体这些论文都讲了些什么呢？

我们帮你整理了所有论文总结和要点，让你一文看尽。

今年都有哪些最佳论文

AAAI 2020

最佳论文：WinoGrande: An Adversarial Winograd Schema Challenge at Scale

本文引入了WinoGrande，这是一个包含44k个问题的大规模数据集，其灵感来自于最初的WSC设计，但进行了调整以提高数据集的规模和硬度。

要解决的问题是：神经语言模型的进展已经在WSC（2011年提出）的变体上达到了90%左右的准确率。这就提出了一个重要的问题，这些模型是否已经真正获得了强大的常识能力？或者它们是否依赖于数据集中的虚假偏差，导致高估了机器常识的真实能力？

WinoGrande上最好的最先进方法实现了59.4-79.1%，比人类94.0%的性能低15-35%，这取决于允许的训练数据量。

结果具有双重意义：一方面，证明了WinoGrande作为转移学习资源时的有效性。另一方面，它们提出了一个问题：之前很可能高估了机器常识的真实能力。

CVPR 2020

最佳论文：Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images in the Wild

这就是我们熟知的NerRF的户外版。

这是一种从原始单视角图像学习3D可变形物体类别的方法，无需外部监督。

该方法基于一个自动编码器，该编码器将每个输入图像分为深度、反射率、视角和照明度。

此外，通过预测对称性概率图，与模型的其他组件一起端到端学习，来模拟可能但不一定是对称的物体。

实验结果表明，这种方法可以非常准确地从单视角图像中恢复人脸、猫脸和汽车的3D形状，而不需要任何监督或预先的形状模型。

ACL 2020

最佳论文：Beyond Accuracy: Behavioral Testing of NLP Models with CheckList

受软件工程中行为测试原则的启发，本文提出CheckList，一种用于测试NLP模型的任务无关性方法。

CheckList包括一个通用语言能力和测试类型的矩阵，以及一个软件工具，以快速生成大量和多样化的测试案例。

研究人员用三个任务的测试来说明CheckList的实用性，和识别商业和最先进模型中的关键故障。

在一项用户研究中，一个负责商业情感分析模型的团队在一个经过广泛测试的模型中发现了新的、可操作的错误。

在用户实际使用CheckList的过程中，NLP从业者创建的测试数量是没有使用CheckList的用户的两倍，发现的bug数量几乎是没有使用CheckList的用户的三倍。

ICML 2020

ICML 2020 今年评选出了两篇最佳论文，分别是关于对称元素训练集和成像问题算法的。

On Learning Sets of Symmetric Elements

本文中，提出了一种学习一般对称元素集的原则性方法。这是一种从无序集学习的基本方法。

首先描述了线性层的空间，这些线性层对元素重排序和元素的固有对称性（如图像中的平移）都是等价的。

由这些层组成的网络，称为对称元素的深集（Deep Sets for Symmetric Elements，DSS）层，是不变函数和等价函数的通用近似器。

在一系列的图像、图形和点云的实验中表明，DSS比现有的学习架构有所改进。

Tuning-free Plug-and-Play Proximal Algorithm for Inverse Imaging Problems

Plug-and-Play (PnP)是一个非凸框架，它将近端算法，例如乘法器的交替方向法(ADMM)，与先进的去噪器前导相结合。

PnP方法的一个关键问题是需要手动调整参数。

本文提出了一种免调整的PnP近端算法，它可以自动确定内部参数，包括惩罚参数、去噪强度和终止时间。

实验证明，学习到的策略可以针对不同的状态定制不同的参数，而且往往比现有的手工制作的标准更加高效和有效。

ECCV 2020

最佳论文：RAFT: Recurrent All-Pairs Field Transforms for Optical Flow

本文提出了RAFT，一种新的光流深度网络架构。

RAFT提取每个像素的特征，为所有像素对建立多尺度的4D相关卷，并通过对相关卷进行查找的循环单元迭代更新流场。

RAF在KITTI上，实现了5.10%的F1全部误差，比最好的公布结果（6.10%）减少了16%的误差。

在Sintel(最后一关)上，RAFT获得了2.855像素的端点误差，比最佳发表结果(4.098像素)减少了30%的误差。

此外，RAFT还具有很强的跨数据集泛化能力，以及在推理时间、训练速度和参数数量上的高效率。

ICRA 2020

最佳论文：Preference-Based Learning for Exoskeleton Gait Optimization

本文介绍了一种针对下半身外骨骼的个性化步态优化框架。当然也可以用于优化任何辅助性设备。

在基于偏好的交互式学习工作的基础上，提出了CoSpar算法。CoSpar试验之间会给出用户的偏好，并提出改进建议。

由于外骨骼行走是一种非直观的行为，用户可以比数字反馈更容易和可靠地提供偏好。

在实验中，CoSpar持续地找到了用户偏好的外骨骼行走步态参数，这表明它可以根据个人用户来调整和个性化外骨骼（或其他辅助设备）。

CoRL 2020

最佳论文：Learning Latent Representations to Influence Multi-Agent Interaction

受人类的启发，研究人员认识到机器人不需要明确地模拟另一个智能体将做出的每一个低级行动，相反，可以通过高级表示来捕获其他智能体的潜在策略。

所以，本文提出了一个基于强化学习的框架，用于学习代理政策的潜伏表征，其中小我代理识别其行为与其他代理的未来策略之间的关系。

然后，智能体利用这些潜伏动态来影响其他智能体，有针对性地引导他们走向适合共同适应的政策。

NeurIPS 2020

NeurIPS 2020的最佳论文，就是今年大热的GPT-3了：

Language Models are Few-Shot Learners

扩大语言模型的规模可以极大地提高任务无关性、少数例子的性能，有时甚至达到与之前最先进的微调方法的竞争力。

具体来说，研究人员训练了GPT-3，一个拥有1750亿个参数的自回归语言模型，比之前任何一个非稀疏语言模型多10倍，并测试了它在少数镜头环境下的性能。

对于所有任务，GPT-3的应用不需要任何梯度更新或微调，任务和少数镜头演示纯粹通过与模型的文本交互来指定。

GPT-3在许多NLP数据集上实现了强大的性能，包括翻译、问题回答和隐语任务，以及一些需要即时推理或领域适应的任务，如解扰词、在句子中使用一个新词或执行3位数运算。

2020年，机器学习没进展？

今年所有AI顶会的最佳论文盘点，一经发布在Reddit，就引起了激烈的争论。

有Reddit网友直接说，今年所有顶会的最佳论文，没有一篇能反映出通用机器学习的进步。

有网友甚至认为，AI顶会，评委们的评选标准，实在是不科学。

他认为，今年的这些论文，当然都是质量很高的论文，但是，除了GPT-3以外，其他文章都是应用类结果，不是真正的通用机器学习进展。

评委们的“品味”应该更高一点，最佳论文应该是结果能真正使用在后续研究中，而不是仅仅给人留下深刻印象。

而反对意见认为，评判一篇论文价值，要问的问题不是 “这是机器学习还是应用？”，而是 “这个特定的技巧有多广泛的适用性？”

这种观点认为，机器学习的根本是一种基本方法思路，由此发展出来的都是解决某一类问题的技巧。

具体到今年的这些最佳论文，真正的问题在于，所有的论文只是介绍了新的技巧。

用各种测试集上的结果来表明新方法有多少提升，但忽略了这些算法在实际问题上的适用范围。

所以，最佳论文的问题，还是出在了评判标准上。

激辩：GPT-3到底是不是机器学习算法创新？

在对顶会最佳论文激烈的讨论中，还出现了一种不寻常的观点。

人提出了GPT-3使用的大规模Transformer只能算是一种应用，并不是真正的机器学习算法创新。

这一观点立刻引来反驳。

Transformer是到处都在使用的通用机器学习模型，当然算机器学习范围。

这种观点中所说的到处，是指CV、NLP、计算积分的分析表达式等各个领域。

但是，有人指出，在工业界，极少应用大规模Transformer，因为工业模型太庞大，数据太复杂，算力根本跟不上。

所以，大规模Transformer要想应用在工业领域，还需要进一步优化结构，当然，还要更好更贵的卡。

怎样？你认为GPT-3算是算法创新吗？

— 完 —

本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容，未经账号授权，禁止随意转载。

AI落地最佳参考！

2020中国人工智能年度评选结果揭晓

12月16日，量子位MEET 2021智能未来大会现场，50大领航企业、10大明星创业公司、30大商业领军人物、10大最佳产品、10大最佳解决方案、5大社会责任榜样、5大最佳技术社区等年度奖项悉数颁出。

点击图片查看完整榜单：

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见~