MIT周博磊：CV本质上是一门科学研究

雷锋网 AI 科技评论按：如果你常逛知乎，相信你对周博磊并不陌生。周博磊目前是 MIT 在读博士生；知乎深度学习（Deep Learning）、机器学习、人工智能话题优秀回答者，目前有近两万的知乎关注者。在 CVPR 2017 上，周博磊牵头分别组织了一个 tutorial (http://deeplearning.csail.mit.edu/) 和 workshop (http://sunw.csail.mit.edu/)，获得了不错的反响。

在参会期间，雷锋网(公众号：雷锋网) AI 科技评论与周博磊进行了一次交流，他分享了对计算机视觉研究的一些心得体会。

周博磊，MIT CSAIL 五年级博士生，师从 Antonio Torralba 教授。本科于 2010 年毕业于上海交通大学生物医学工程系，2012 年在香港中文大学取得信息工程硕士学位。研究方向为计算机视觉和机器学习。

个人主页：http://people.csail.mit.edu/bzhou/

知乎主页：https://www.zhihu.com/people/zhou-bo-lei/answers

为何能办一场爆满的 tutorial？

CVPR 是计算机视觉领域的主流会议，物体识别和场景分析是计算机视觉里面的核心问题，邀请到的嘉宾也是在这个方向有重要贡献的研究者，所以我们的那个 tutorial 整个是 full house（爆满）。邀请的嘉宾之一 Ross Girshick（Facebook 人工智能实验室研究科学家）和我在聊的时候也提到，他也挺惊讶有这么多人关注 object detection 的问题，而并不只局限于 GAN 和生成模型这些比较火的领域，毕竟物体识别还是计算机视觉的一个核心问题吧。群众反响比较好的话，就说明这个（tutorial）还是办得比较值得。

我邀请了恺明、Ross 还有晓刚老师，包括我自己，一起作为演讲嘉宾，这个 Tutorial 的主题包括物体识别、场景识别以及神经网络的可解释性问题等，都和大家的研究方向有关，也是一个比较好的结合点。他们也是研究这个领域比较领先的学者，就这样组织起了本次 CVPR 的一个 tutorial。（友情提示：演讲 slide 已经放在主页上，视频随后也会放出）。

CVPR 的总体感受？

今年（CVPR）感觉华人（中国）公司挺多的，从论文角度来讲，相对于理论和系统领域，计算机视觉一直也有很多华人在做研究。这次过来我更关注的是和人交流。新的 paper 很多其实在 arXiv 上面都有。主要还是和以前认识的朋友重新聚一聚，和了解过工作的研究员进一步面对面交流。

研究领域的话，其实 workshop 就是一个体现前沿趋势的环节，比如第一天的 visual interaction（视觉交互），虽然去的人不多，但我觉得是一个比较重要的方向。物体识别和检测目前已经做到极限了，那么物体之间的交互可能就会是进一步的研究方向。

另外一方面是我自己马上博士毕业了，准备找找教职和 industry lab 的研究工作，CVPR 也是一个可以了解这些信息的来源。

计算机视觉有何研究趋势？

现在比较火的应该是视频的分析和识别，包括谷歌和 Facebook 其实都投入了很大的人力在做，就像 Facebook 的机器学习组其实都招了挺多研究视频的人，可能在 10 月份 11 月份的时候会发布一个更大的视频数据集。我觉得可能未来会有更多的东西可以做。

另外，因为识别问题目前已经做得非常好了，识别的下一步可能会是什么？下一步可能会是认知的任务，或是提升到推理的层面。比如系统识别出这里有个茶杯，但它是基于什么在支撑？其实是底下的桌子，这就是一个物体交互的过程，会涉及到更多认知层面的东西。

AI 研究的工程化和平民化

在做研究的过程中，我一个很深的感受是，现在的深度学习或者说 AI 的研究变得越来越工程化了，变成一种群体作战。这也可以解释为什么现在公司其实是占优势的。因为它们有很多工程师，可以帮你把平台搭得很好，有很多研究员一块来做研究，整个事情就是一个比较庞大的系统工程；而不像之前，可能一个人两个人在实验室，就可以倒腾一个东西，现在可能变得越来越系统化了。

另外一点就是变得更平民化了。现在大家的数据和代码都很快开源，门槛变得越来越低。像本科生如果愿意去学的话，其实是可以很快在一个子领域做出一些突破的。这个研究也不一定会有多大的创新，但因为计算机视觉有太多的子任务了，所以选一个方向努力做几个月，可能就可以在顶级会议上发一篇 poster，难度也不像五、六年前那么大。

以后会议可能更多的是一个交流的过程吧，现在 CVPR 的接收率接近 30%，可能在五、六年前只有 23％到 24% 的样子，而且投稿的论文也几乎 double 了（雷锋网 AI 科技评论按：CVPR 2017 年有效投稿 2620 篇，录用 783 篇）。我第一次参加 CVPR 是在 2011 年的时候，开会的地方（Colorado Springs）就比较偏僻，参加者可能也就一千多人。

第二个是，深度学习方案确实开始 work 了，所以公司可以很快跟进并整合到自己的系统里面。MIT 自己和三星、美国政府还有一些带军方背景的公司有合作，但高校一般不会和比较小的公司合作，因为小公司可能对产出有比较快的要求，如果是做基础研究的话，不会那么快地看到产出。另外有些公司的需求可能也比较简单，工程师也能做到的，就不需要放到学校里面来做。

但现在 AI 的整个研究变得越来越实际了，工业界以前是给学校资金支持，然后找一些有想法的老师一起合作；现在更普遍的模式是工业界自己建立研究院，雇佣一些老师来工业界，并且用 engineering 和资源去支持老师的研究工作。包括像李飞飞这样的老师加入谷歌，因为谷歌的资源比较充足，她可以做更多的事情，如果这些都让她实验室里仅有的几个学生来做的话，其实不太现实。一方面是学生自己也要花时间学习，另外也没有这样的平台或数据去从头实践这样一个系统。

就学就业的选择

我对自然界的东西比较感兴趣，有点像「师法自然」这样的，喜欢研究各种生物系统。高中的时候我其实是搞生物竞赛的，后来去了上海交大，大一在生物实验室做了一阵子，觉得不是那么有意思。后来和侯晓迪一起玩乐队的时候受他影响挺大的，开始上手视觉方面的研究，那时候还是 07，08 年的样子，计算机视觉还不怎么 work。有意思的是，当年侯晓迪推荐给我看的第一篇论文就是我现在导师（Antonio Torralba）的作品，当时也没想到后来会选他（做导师）。大三的时候就在计算机系那边跟着张丽清老师做 CV 的研究，之后就到香港中文大学跟着汤晓鸥老师和王晓刚老师做研究，更加坚定了做研究的想法，硕士毕业后就来 MIT 了。

未来（选择）留在学校对我的吸引力是多方面的吧。一方面是可以更自由地去做研究，第二个是可以带学生，一起去做这件事情，也不是每个人都想去公司，对吧。

我觉得计算机视觉本质上是一种 science（科学），怎么发现一个好的问题是更加重要的，可解释性其实就是一个比较有意思的问题。当时我们收集了很大的一个场景分类数据库，训练了一个模型后发现准确度非常高。我导师的第一篇论文就是做场景分类的，他就觉得很不可思议，为什么机器能够达到人的水平。我们就开始做一些可视化的工作，后来这篇论文投到 ICLR 2015 上中了 oral，当时也就十几篇（oral）吧，而且其他的论文都是工业界的文章，像谷歌、微软和 Facebook 这些。所以我们这篇论文就有种让人眼前一亮的感觉，因为我们更像一种从科学角度去探讨问题的感觉，从设计问题到实验过程都不是那么工程化，本质上更像是一种探索。

深度学习其实不是一个黑箱，它里面的结构还是比较清楚，只是说大家觉得参数这么多好像很难理解。比如我们 15 年 ICLR 的工作就说明了一个这样的问题，当我们训练了一个场景分类的模型之后，它里面就学会了很多 object detector 的内容。比如说你觉得这是一个客厅，是因为你看到里面有电视、有沙发；那么我们在教神经网络识别的时候，它也是同样检测这张图里有没有电视和沙发，然后再分类为客厅的。这个过程实际上和人的识别过程是很类似的，我觉得以后会有更多的工作去研究这方面的问题。（http://arxiv.org/pdf/1412.6856.pdf）

我前两个月去参加了一个叫 VSS（Vision Science）的会议，这个会议主要探讨的就是做 vision science 的人是怎么解决视觉问题的，他们就是从人脑、从认知的角度去探讨问题，对我的启发也很大。

回到 CVPR 的 tutorial 上，其实昨天恺明和 Ross 分享的都是怎么把性能提升，怎么去训练一个更深的模型，这是故事的一个方面；故事的另外一方面是，这些训练得到的优秀的表征到底有些怎样的含义，如何比较不同的表征的语义性，能更好的帮助我们理解内部的运作机制，这也是我的一个研究方向。

如何成为「知乎网红」？

并不是想成为「网红」。在知乎上写回答的一个原因是，现在误导的信息比较多，所以我觉得有必要出来以正视听吧，但我说的也不一定对，其实也只是把我自己的观点表达出来，分享自己研究的一些心得体会。

MIT 其实很早就有 AI 了，有些老教授会觉得，如果把 AI 作为一个 popular science 去宣传的话其实挺没必要的，这样对研究员的压力很大，如果老想着要做能搞大新闻的研究，也不一定是好事。

（在知乎上回答问题）这也是对我自己的一个训练，就是怎么把自己的想法有逻辑地表达出来。这对研究员来说其实是比较欠缺的一部分，因为读博的话可能就一个人埋头深入研究，其实不知道怎么跟别人分享自己的想法。但如果有这么多人能觉得我写的东西对他们有帮助的话，其实也是挺好的。

雷锋网原创文章，未经授权禁止转载。详情见转载须知。

雷锋网按：在传统教育里，学生按照时间进行升学，但或许一个八年级的学生，因为没有掌握好一个六年级的知识点，从而变成一个差生。AI 或许将彻底改变这一传统教学模式下的弊端。乂学教育产品合伙人张栖铭，日前在 FMI人工智能于大数据高峰论坛上，以《人工智能时代下的自适应学习》为题做了演讲，并向雷锋网(公众号：雷锋网)在内的媒体和观众讲述了乂学教育部署自适应学习系统的理念和方法。

以下为乂学教育产品合伙人张栖铭演讲，雷锋网在不改变原意的基础上做了精编：

简单介绍一下我们研究的课题，实际上是希望能够把我们的系统打造成一个虚拟的特级教师，在正常的学校里，特级教师的数量很少，当你真正接触到一个特级教师的时候，会发现教小孩子学习的思路、思维的，可能跟普通的新手老师会有很大的不一致。我们希望能够把系统收集到的特级教师的经验，结合数据，模拟一个特级教师，我们也会做一些学生画像的建立，包括学生个人的画像，学生群体的画像，在这个基础上做个性化的匹配，优化整个教育模式。

这是一个比较常见的一个自适应学习产品的框架，分为三个部分：用户交互层，学习系统，自适应引擎。

前两个部分，市面上绝大部分的自适应产品基本上差不多。因为学生的学习场景、老师的教学场景基本都是类似的，自适应学习当中主要的不同点在于学习目标的规划。传统的教学模式当中，老师讲什么大家听什么，就像现在我站在台上讲什么大家没有办法点播，只能我讲什么大家听什么，自适应系统可以做到动态的，学习目标是什么？学习目标就是一个学生需要学什么。

在传统教学过程中，老师讲什么学生就得学什么，例如一个八年级的孩子，他有可能底子比较弱，六年级的东西都没有学好，你让他直接学八年级的内容是有问题的，所以我们整个学习目标要进行动态规划。

自适应学习引擎方面主要分成三个方面：

• 内容推荐

简单来说，就是这个孩子下面需要学什么，需要做题还是测试，各种各样不同的推荐，内容推荐跟学习规划有一致性，对不同学科，不同学段的建模，不同学科在整个学习的路径，学习的思路上面都有一些不一样，包括不同的学段（小学生、初中生、高中生），对于学科的认知、学习的模型都是不一样的，我们需要针对不同的学段和学科构建模型。

• 学情分析

学情分析就是这个学生曾经学过什么，做过什么，跟老师做过什么交流，交流了哪些东西，他以前的情况是什么？其实整个咨询当中，绝大部分是做学情分析，刚才我说的是一个个体，针对群体，我们怎么样把这些东西分析的到位，更好的做内容推荐？

• 内容分析

构建好学习的模型以后，可能干了很多事情，怎么保证推了这套题，他作对，就能够说明这个学生知识点掌握了？当你有内容组合出来的时候，同样的题目展现出来的难度效果是不一样的，如果大家对于教育了解的多一点，可能有比较清晰的认识。

举一个大家都能理解的例子，做口语评测的时候，我们拿到了整个中国所有人讲口语的数据，是可以做一个打分的，但当你对一个带有重口音地区的人进行打分，按照全国统一的模型来打，是有问题的，针对这个地方打分的时候，可能就是矮子当中选个将军。这题目当中内容分析是相对比较类似的。

我们现在主要的基础和理论，除了人工智能技术，还有大数据分析技术，核心还会应用到一些教育测量系统，这也是人工智能的一个特点。

整个智能引擎方面，从功能层面来讲我们主要是五大功能，但如果用最简单的方式来划分，核心就是两点：

• 预测

• 推荐

预测就是我们预测出一个学生，他当前的状态是怎么样的；推荐，就是推荐最符合他当前状态，需要学习的东西和内容。

说到教育，大家首先会联想到，教育是个什么样的东西？

我们从小学上到高中，上到大学，很大程度上我们学什么取决于国家，国家是怎么定义整个课程的，上大学哪一些专业是热推的。培养什么人，是国家从最大层面上考虑的，怎么让国家更有竞争力，怎么保证经济正常发展，怎么跟美国在各个领域上竞争，这个国家从大的层面定义。

2500年前，孔子就说过因材施教，教无定法。他当初就提出来，要因材施教，教无定法，针对群体的情况一定会存在很多很多的问题。

现代标准化教育的奠基，我们通常情况下会认为，是因为普法战争，普鲁士战败以后做了一个大学，定义了整个标准化教育的情况，大家按统一的年龄入学，进去以后所有的学科全部分好，每堂课45分钟，分年级，一层一层的考核。其实这里面会存在很多问题，可能一对一或者个性化的东西相对是更好的。

标准化可以做到，大范围把全民的基本素质都做一些提升，形成这个效益体系是非常有意义的，但弊端相对比较明显，标准化的课堂是一个老师站在那里讲，底下有无数的学生，老师怎么去讲呢？学生刚入学的时候，大家做一个摸底考试，大概知道学生是什么样的水平，摸底考试以后，老师批改完，知道这帮学生这些知识点掌握的好，那些知识点掌握的不好，那上课的时候就按中等偏上的水平来讲，大概中等的水平是什么样子的，按这个来讲。

实际讲的过程，老师在台上问，1+1等于几，有一些人可能在玩手机，有一些人在打岔，一个反映特别快的孩子说1+1=2，老师特别开心，觉得这帮孩子还不错，继续往下讲，讲完一堂课以后，也不管学生学的怎么样，继续往下讲。

对于这种情况，我们称之为课堂黑洞，老师课堂上了解到的很多内容是比较表象的，他根本不知道绝大多数学生情况怎么样的，一到考试的时候就打脸。

其实就会存在很多的问题，老师讲的东西绝大部分学生根本听不懂。就会产生一种现象，我们称之为瑞士耐劳式的学习方法，从外面看这个学生是一个整体，切开很多东西他没有掌握好，没有掌握好的时候，又会带来一个问题，这个小孩学着学着突然有一天学不动了，老师就说是不是玩游戏，很有可能是由于他八年级的一个知识点没有学好，导致以后的学习很难进行下去。

总结一下，我们现行的教育模式希望在固定的时间里面，让学生能学多少是多少，但是不考核，不希望学生达到一个最高的目标。我们做自适应学习，有一个观点，在系统里边制定一个最高目标，你可以花无限长的时间去学习，这也是现在标准化的课堂，很难去解决的一个问题。

标准化教育造成的一个情况，流水线、工厂式教育，所有的小孩子，原来不一样，到学校里面溜达一圈以后出来都是一样的，每一个学生都是千人千面，不同类型的孩子，在真正的教育场景下有非常复杂的表现。

从1990年左右，逐渐出了一些单机版的教育，或者说一些工具以后，后面也在不停的发展，包括互联网兴起的时候，互联网+教育，解决现实当中小孩子遇到的问题，到后面的O2O浪潮，大家都很清楚，真人一对一。再到现在人工智能浪潮，包括在语音评测，作文批改等等，也包括我们在做的一些自适应学习，其实最近都在逐步兴起。

技术在不停的发展，我们也在很仔细的考虑，人工智能到底可以替代老师的哪些工作？我们也总结了一下单向传播的工作可能相对比较好替代，知识传递方面，我们认为可以解决百分之七八十的问题。

什么叫能力培养？其实教学体系都是为了培育学生的能力，很多人说我在学校学的很多东西，出来以后都没有用，实际上你学习以后折射成不同的能力，因为被高度抽象了，在实际过程中我们认为可以替代到百分之七八十，偏主观、偏体育方面的东西，这些东西是机器学习比较难替代的。

2007年开始，当时很多公司在做，比尔盖茨基金研究完以后觉得这是当下最需要的东西。

时间有限，说一下我们的过程，在上课的时候，假设出一个虚拟角色叫小明，他数学课听不懂，抛物线听不懂，解析式根本不会，在这种情况下，我们来做一些抽象，假如数学只有5个知识点，那可能性应该是32个，每一个知识点都有会跟不会两种，2的5次方，把所有的状态，知识点的组合状态全部弄出来了，就会发现一些比较有意思的问题。

如果会A知识点才会B知识点的时候，这里面的很多情况是不存在的。这种情况下我们可以把很多不可能的状态去掉，这是我后续拼出来的13种状态，大家发现只有学完A以后才能去学D和C，A和B知识点可以同时来学的，这样的一个技术，我们要构建一个知识图谱，知识图谱的意思就是把很多知识点尽可能的细分，把它的前后的关系整理出来，整理出来，我们就有一个比较好的点，我们可以把很多不可能的状态去掉，这样可以极大的降低整个系统的计算量。

从实际情况来说，其实数学是有非常多知识点的，就像我们自己整理出来的数学，一个年级所学的基本上可以达到400个知识点以上，这些知识点可以做到足够细分，每一个点都代表知识图谱上的一个状态点，这张图出来以后，针对不同的学分，因为每一个学分都是不同的类型，对同样的内容，都有一些不一样的反馈。这样的情况下，我们会生成他的学习状态，去决定，你在当前的状态的时候，你下面有哪一些可能的学习状态。

简单来说，我们会找出任何一个学生的能力边缘，如果按一条线来划的话，左边是全会的，右边是都不会的，从不会的里面挑选最匹配要学习的内容，或者学习最高效的，这些也是根据学习目标会有不同的策略。

数据分析方面来看，搜集一些，预测一些，分析一些，核心就是预测，针对不同类型，去搜集数据，并且分析每一个角色的人可以看到他的报表，针对他做个人最匹配的东西。通过知识状态框架，利用二次方程可以作为一个知识点，我以联合到十字相乘法，只有通过这种方式才能更精准的定位到一个学生的基本理论掌握状态。

从个性化匹配方面，结合学生画像，内容侧写，机器学习和概率图模型，个性化学习内容和路径匹配，我们真正和棋盘对比，发现知识点的数量，远远多余棋盘的数量，题目的组合，其实是非常多的。

个性化学习路径方面，大家可以理解成百度地图导航，百度地图的导航可以实时的切换，可以做到比老司机更好，我们的系统也是希望做到比特级教师更强的状态，而且发挥比特级教师发挥更稳定，当你有一个系统的时候，每招一个学生，增加的成本很低，特级教师很难遍及到全世界学校的每一个角落。

我们针对每一个知识点都会做知识点的讲义，知识点的错误分析，在这种情况下分析教学内容的时候，大量的数据进来，可以分析一些因果关系，你看了哪些东西，学习出来的效果更好，通过这种再对学生做个性化匹配的学习内容。

当知识图谱形成以后，发现八年级的东西不会，我很有可能追溯到七年级甚至六年级。很多时候生物当中学习的东西，一个小孩生物学不好，有可能是数学不好，这种跨学科追根溯源方面的东西，也在逐步的探索。

从学生专注度方面来说，很多小孩子学习不好的时候，表现出来的就是调皮，我们在杭州的校区里面遇到一个小孩子每次考试都考0分，家长强迫他到我们那边学习一段时间以后，学习了一个多月问他，要不要继续交钱让你继续学，孩子说可以，家长问他你为什么继续学，他说学校讲的所有东西他是完全听不懂的，但是在我们这边的时候，当我们发现他的底子很差，他是八年级学生，我可以一直给他推到六年级，到更低的年龄的时候，他感觉推出来的东西是他会的，这时候他的专注度和成就感是完全不一样的，这是自适应学习，真正能够匹配学生当前能力的点。

本文作者：奕欣

本文转自雷锋网禁止二次转载，原文链接