斯坦福大学马超：探寻「隐式偏差」的完整理论框架

智源导读：从数学角度，来构建深度神经网络的理论基础，是一个重要但却「小众」的研究方向，相关的学者多数聚集在一些顶尖知名高校。

斯坦福大学助理教授马超博士正是这批学者之一，其研究内容主要聚焦在神经网络的优化和泛化表现方面。

例如，神经网络模型在过参数化的情况下，依然能够有很好的泛化性能，普遍认为这归因于隐式偏差。马超的工作则是尝试给隐式模型给出一个完整的理论刻画。

这里是对其工作基本思想的概述。在6月1日-3日即将举办的「第三届智源大会」中，马超也将对他的研究工作做更为细致的解读（文章末尾可报名相关论坛）

撰文 | 马超，斯坦福大学助理教授

马超，2016年本科毕业于北京大学数学科学学院，后赴普林斯顿大学应用数学系攻读博士，并于2020年取得博士学位，导师为鄂维南教授。此后于斯坦福大学任Szego助理教授至今。马超的主要研究方向为神经网络模型的数学基础，尤其是其优化与泛化表现。此外，他也致力于深度学习方法在科学计算问题中的应用。

个人主页：https://mathematics.stanford.edu/people/chao-ma

1

基本研究思路

长久以来，隐式偏差(implicit bias)被认为是过参数化的神经网络模型能够很好泛化的原因。

由于隐式偏差的存在