计算机博士论文

【新智元导读】理论计算机科学领域最顶级的国际会议STOC最佳学生论文奖，颁给清华姚班毕业生、MIT陈立杰等人，陈立杰在中学、大学本科阶段，创造了无数神话，连清华大学老师都直呼他是”神人“。95后的理论计算机科学家来了。3月15日，理论计算机科学领域最顶级的国际会议STOC 2019会议DannyLewin最佳学生论文奖揭晓，获奖论文作者为来自麻省理工学院的陈立杰和来自Weizmann Institute的Roei Tell。ACM计算理论年会（STOC）在整个计算机科学领域享有崇高的声望，属于公认难度最高的会议之一。获最佳学生论文奖的陈立杰出生于1995年，在中学时代参加信息竞赛并斩获多项Top奖项，2011年被清华大学交叉信息学院提前录取，就读姚班。陈立杰陈立杰等人的论文题目Bootstrapping Results for Threshold Circuits “Just Beyond” KnownLower Bounds。论文中主要工作结论是：当前已知的结果与足以得到TC0的超多项式下界的结果之间的差距，可以总结为根据线圈数量的bound n1+c^-d里的常数c＞1。本文的成果分别改进了前人的两种方法，他们假设涉及到N1+c/d线(而不是N1+c^-d)电路。本文还证明了与上述两个结果相似的成果(例如，ACC0和CC0)。目前，陈立杰在MIT读博，研究方向为计算复杂性理论和细粒度复杂度理论。陈立杰在中学、大学本科阶段，创造了无数神话，连清华大学老师都直呼他是“神人”：2011亚太地区信息学奥林匹克竞赛金牌；2013全国信息学冬令营全场第1名；2013国际信息学奥林匹克竞赛第1名；第一个在计算机科学基础年会上发文的中国本科生；2016年清华特等奖学金获得者。今天，让我们一起回顾陈立杰的少年成名史。曾是“网瘾少年”，高三拒掉Google实习陈立杰并非从小就是优等生。初中时的陈立杰喜欢做的事情和一般学生很像，无非就是玩电脑游戏，看看动漫，曾经游戏两三天不出门，甚至参加了数学竞赛也没有取得什么好成绩，其他科目成绩也不出众。那时候的他，可以说跟“优等生”毫不沾边。他唯一的爱好就是计算机。他在初中就开始学习编程，凭个人兴趣参加信息学竞赛。不过，初三的信息学奥赛他名落孙山，其他科目的学习成绩也一落千丈，这无疑是一个巨大的打击！父母都劝他放弃，但他还是坚持下来了。学习编程往往需要不断地试错，陈立杰在编程学习过程中，付出了巨大的试错成本，但他没有放弃，就像调试程序，一个成功的程序往往需要无数次的试错，才会成功。后来他在公开场合发言聊起过他的初三岁月，他是这么说的：我还依稀记得，在我初三的时候，晚上我的一个好朋友在用手机跟女同学聊天，而我在用手机看OI和ACM的题目。自习课上我的那个朋友跟女同学一起学习，而我则翘课想去机房，有时候机房老师不让我去，我就跑去天台用草稿纸想题目。中午的时候我的那个朋友去跟女同学一起吃饭了，而我在机房里啃泡面。周末他们出去看电影逛公园，我就在电脑前面刷出一整版的WA（wrong answer）。就这样日子悠悠的过去，我的朋友如今跟女同学过得很幸福，不过我觉得我跟我的电脑得的要更加幸福。之后的日子，陈立杰开始成天对着电脑却再也没有玩过游戏，所有的节假日都在认真学习，仿佛是武林高手“闭关修炼”，等待着一鸣惊人！他的“闭关”持续到了高中，他的高中老师万春彬给了他日常课时请假的权利，他把自己关在机房，上“Verycd”等网站看各类教程，然后做题、实践，遇上不懂的内容或者做不出来的题目，就在网上找计算机高手解答，他还因此认识不少高手。努力没有白费，就像开了外挂一样，陈立杰斩获了国内外信息竞赛多项大奖：2010年8月，全国信息学竞赛在线赛全场第2名。2010年11月，全国信息学联赛浙江赛区一等奖。2011年5月，亚太地区信息学奥林匹克竞赛金牌；2011年5月，中国队选拔赛，非集训队第2名。2011年11月，全国信息学联赛浙江赛区第1名。2013年2月，全国信息学冬令营全场第1名。2013年7月，国际信息学奥林匹克竞赛第1名。刚刚高一陈立杰，凭借各种信息竞赛的荣誉被清华大学提前录取了，在高三时候，谷歌发来工作邀请，希望陈立杰能去实习，但陈立杰以学习为由拒绝了。拿奖拿到思考人生：这是我想要的生活吗？2013年，陈立杰进入清华大学交叉信息学院，开始了大学生涯。但在进入清华大学之后，跟很多大一新生一样，陈立杰也陷入了迷茫。“我作为曾经的信息学竞赛世界冠军，顶着光环、压力进入清华。在我的老本行算法竞赛，尽管我取得了一些成绩，但是当我站在领奖台上，我经常会想，这是我想要的生活吗？我也偶尔会去工业界实习，但是我依然无法达到我自己真的兴趣。”与此同时，陈立杰的室友范浩强在大一军训期间，晚上靠“加班”完成了自己的第一篇学术论文，并最终发表在国际计算机视觉大会ICCV 2013 上（范浩强是清华姚班2013级另一位大神，后来成为旷视工号前十员工，此处不详述）。范浩强室友范浩强的表现也给陈立杰带来影响，他苦恼的时候经常到紫荆操场独自散步，思考“我是谁”、“我要做什么”这种现在看起来是段子，但当时却让陈立杰始终无法悟透的哲学问题。一次偶然的机会，他去旁听了唐中平教授给高年级学生讲的《博弈论》，没想到这门课程的课程论文给陈立杰打开了学术初探的大门，他也开始逐渐从竞赛状态转向科研状态。博弈论又被称为对策论（Game Theory），既是现代数学的一个新分支，也是运筹学的一个重要学科。后来，在唐平中教授指导下，陈立杰完成了第一篇学术论文，是基于图灵机视角的对囚徒困境的探索，这篇论文成为了他探索科研的第一步。作者在论文中研究了限制条件对无穷次重复博弈纳什均衡集的影响，证明了限制智能体的计算资源会导致新的纳什均衡。论文题为《受限图灵机的有限理性》（Bounded rationality of restricted Turing machines），后被AAAI 2017接收。“完成论文之后我非常激动，我感到我的科研兴趣被点燃了，我想要尝试更多的科研方向。”陈立杰的科研努力和成果从此一发不可收拾。后来的事实证明，陈立杰选择的科研这条路走对了。到了大二，在完成了姚班课程的同时，陈立杰也选修了一门非常高深的研究生课程《高等理论计算机科学》。这门课为全英文授课，要求选课同学有良好的数学基础、以及基本的理论计算机基础。课程主讲人李建老师布置了很多非常有挑战性的问题，陈立杰每周要投入20个小时来研究，期末考试更是持续了整整24个小时，完成了十页的答卷。最终的成绩下来，陈立杰取得了所有学员中唯一的最高分——100分，（该课程满分为80分，其中20分是Bonus）。陈立杰大学成绩单上了这门课之后，陈立杰的兴趣完全被点燃了。“我想，对，我是陈立杰，我要成为一名理论计算机科学家！”首位在计算机科学基础年会上发文的中国本科生兴趣是最好的老师。到了大三，陈立杰开始取得了一些“微小的成就”，他首次在理论计算机科学领域顶级的国际会议COLT 2016上发表文章，同时也提出了一个关于相关问题的猜想，并前往纽约会场做了两篇口头报告。陈立杰在COLT 2016上发表的论文大三下学期，陈立杰前往MIT交换学习，师从量子信息著名学者Scott Aaronson教授。在MIT期间，陈立杰做了件非常了不起的事（以下高能）：零知识证明(zero knowledge proofs systems)在密码学理论和复杂度理论中都有着非常重要的地位。具体来讲，在一个零知识证明系统中，一个证明者要向一个验证者在证明一个命题的正确性的同时，不能让验证者获得除了这个命题的正确性以外的任何信息。 而其中要求最苛刻的被称为统计零知识证明系统(statistical zero knowledge proofs systems，简称SZK)。2002年，当时著名的量子信息学者John Watrous教授提出计算复杂性领域的一个重要难题。John Watrous教授构造了一个统计零知识证明系统和量子算法在多项式时间内可以计算的问题的集合之间的喻示分割，说明了并不存在一个量子的黑盒算法可以破解统计零知识证明系统。在很多情况下，如果将量子力学的法则稍作修改，就可能得具有更强大的计算能力的计算复杂度类，但这些复杂度类基本都包含于PP之中，PP代表多项式时间内可以以严格大于1/2的概率计算正确的问题的集合，可见复杂度类PP是量子算法在多项式时间内可以计算的问题的集合的一个最自然的拓展。统计零知识证明原理这个问题是也是陈立杰的导师Scott Aaronson教授从2002年就开始在思考，同时Scott Aaronson教授也有三位博士生在思考这个问题，但思考了一年也没有解决。陈立杰对这个问题非常感兴趣，苦苦思考了两个星期，却一直没有进展。直到有一天，他在波士顿的街头漫步，突然看到天空中飞过一只白鸽，它以不同的方向穿越了天空。他突然灵光一闪，想到，对，为什么不使用新的方法呢？于是他立马冲回住处，思考了一个礼拜，终于解决了这个问题，cott Aaronson教授还专门发文章表演陈立杰。陈立杰与合作者在论文中给出了一个统计零知识证明系统和PP的喻示分割(Oracle Separation)，这代表了PP中没有一个黑盒算法(black box algorithm) 可以解决统计零知识证明系统中的全部问题。换句话说，他们证明即使有比量子计算（对应BQP）更强计算能力的计算机（对应PP），依然没有一种黑盒算法可以解决统计零知识证明系统中的所有问题。论文最后被计算机科学基础年会（FOCS 2017）接收，陈立杰也成为首位在计算机科学基础年会上发文的中国本科生。有生之年能看到P=NP被解决到大四毕业前，陈立杰就已经在国际会议上发表了四篇学术论文，一篇文章还获得ISAAC会议最佳学生论文奖。2017年，陈立杰被麻省理工学院录取，攻读计算机博士学位，师从Ryan Williams副教授。Ryan Williams也是一位大牛，今年只有40岁，但已经做了五年斯坦福教授。这之后，陈立杰又发表学术会议论文近10篇，并在多个学术研讨会做过学术报告。更难能可贵的是，陈立杰非常愿意跟同学们一起讨论。在他的带领下，姚班有好几个同学都立志做理论计算机科学。当然，科研不是单打独斗，陈立杰跟很多姚班同学都有合作。在2016年清华特等奖的现场答辩中，陈立杰展示了一张”姚班论文合作网络“。他说，在姚班，已经有三十三个同学发表了二十三篇paper！在答辩评委提问环节，评委问他：你说想解决计算机科学领域的核心问题 P=NP ？陈立杰：对，是这样子的！（掌声）评委：你有想法了吗？现在为了解决这个问题提了很多方案，你有想法了吗？陈立杰：是这样子的，这个问题已经困扰了计算机学界，可以说是从计算机这个领域一开始以来就有的问题。我现在作为一个大四的学生，可能确实暂时还没什么想法，但我相信随着我的知识的拓展，在我有生之年我能够看到这个问题的解决。（掌声）陈立杰在2016清华特等奖答辩现场演讲姚班的开山鼻祖姚期智先生一句话，“现在是计算机科学的黄金时代，也是全人类的黄金时代”。陈立杰说：能够生在这样一个黄金时代里，我感到无比的荣幸，我梦想能够成为黄金时代浪潮中的一朵浪花，为人类的智慧添砖加瓦！”我是陈立杰，我要成为一名理论计算机科学家！

昨天，顶级计算图形学机构 ACM SIGGRAPH 颁发了 2019 年最佳博士论文奖。获奖者闫令琪博士毕业于加州大学伯克利分校（UC Berkeley），目前已是加州大学圣巴巴拉分校（UCSB）的一名助理教授。他的博士论文颁奖词是这么说的：「他的论文每章都可以自成一篇博士论文。」从高考状元到计算机科学「学神」，闫令琪博士的学术成就与贡献还不止于此。英伟达最新的 RTX 系列显卡使用的「光线追踪技术」就是源自于闫令琪等人的研究。从高考状元到 CS 学神闫令琪于 2018 年 9 月起任加州大学圣巴巴拉分校助理教授，在此之前他在 2018 年获得了加州大学伯克利分校的博士学位，导师为 Ravi Ramamoorthi。在 2013 年，他获得了清华大学计算机系学士学位。在伯克利毕业之前，人们对闫令琪的印象或许更多的是「2009 年安徽省阜阳高考状元」，他的高考分数为 695 分，名列全省第二。他曾在总结自己高中学习方法时表示：目标性、计划性、劳逸结合是几个重点。「首先要清楚自己的实力。」要想有一个理想的分数，就不能无谓失分，在平时练习时，不要放过任何一个小错误。例如数学选择题，一旦做错了一道题，就要逼迫自己去多做几题「长记性」。时间分配上，闫令琪认为在校时间要合理利用，不能一味注重数理化，而忽视了语文和英语；一天的劳累学习后，回到家里可以适当放松，劳逸结合才能有好的学习效果。闫令琪特别提到不要做无用功。例如数学大题中的三角函数、立体几何等题没有太多花样，对于这类题，只要知道思路，无需浪费太多时间。对于数学试卷的最后一题，要会在做题的同时总结方法；而对于基础题注重运算能力，切勿粗心而丢分。据说，闫令琪在高中时代是一个特别会玩的学生。紧张的高考前夕，他每天玩游戏的时间都在 1 个小时以上，而他当时的目标就是考取清华大学计算机系。进入 UC Berkeley 之后，闫令琪的主要研究方向是基于物理的真实感图形渲染及其相关的数学和物理理论，具体包括基于微观细节的材质观测和建模、离线和实时光线追踪、信号的采样和重建、高效的光线传播和散射等等。作为一名优秀的研究者，他开创并启发了一系列下一代计算机图形学的研究方向，如高度细致的渲染和实时光线追踪。闫令琪曾于 2018 年因开创性的研究被授予 C.V. Ramamoorthy 杰出科研奖 —— 这是历史上首位获奖的华人。此外，他的科研成果还被直接应用于电影和游戏业，曾帮助影片《猩球崛起 3：终极之战》于 2018 年获得奥斯卡最佳视觉效果奖提名。最佳博士论文奖有着开创新领域的贡献，闫令琪获得最佳博士论文奖着实让人感到实至名归。ACM SIGGRAPH 对于闫令琪的论文有很高的评价：闫令琪的论文以统一、综合的视角介绍了计算机图形渲染视觉外观建模。每个章节都能独立成为一篇博士论文的主题。该研究生成的惊艳视觉图像，成为了近期 SIGGRAPH 大会上的亮点，也为产业带来了极大的实用性影响。闫令琪发表过 7 篇有关图形学的 SIGGRAPH 和 ACM Transactions 一作论文，这是前所未有的。该论文为三大领域提供了突破性贡献：镜面微观结构或者微光（glints）建模、皮毛反射（fur reflectance）和快速在论文第二章中，闫令琪开发了一个动物皮毛模型，并用测量与模拟方法进行了测试（简化、泛化了该模型），作者也展示了如何用它完成全局光照计算。该技术被 Weta Digital 用于电影「猩球崛起 3：终极之战」。第三章节内容有关全局光照，展示了对蒙特卡洛渲染去噪方法的重大突破，也介绍了其他基于滤波的去噪方法。这些以及其他相关的研究启发了当前蒙特卡洛采样方法和去噪管道，包括英伟达最新的软件（Optix5,2017）和硬件（RTX GPU,2018），使得实时光线追踪首次成为可能。英伟达 RTX 系列芯片可以实现前所未有的视觉体验，我们还记得黄仁勋在 GTC 大会上的介绍：它可以在游戏中呈现不同材质的反光，以及反光的反光，实现电影级的效果。闫令琪在解决这一领域的开放问题上做了许多工作，他从全新的方向解决计算机图形的问题，超越了传统认为不可能的范围。在这个过程中，他打开了新的子领域，变革了我们当前对渲染、视觉外观、生成全新图像的的认知。闫令琪已经发表了十几篇有关图形学的 SIGGRAPH 和 Transactions 论文。SIGGRAPH 社区以 2019 ACM SIGGRAPH 博士论文奖表彰他取得的卓越成就，也期待未来他能作出更多惊艳的成果。开天辟地的研究让我们看看闫令琪的博士论文《Physically-based Modeling and Rendering of Complex Visual Appearance》究竟讲了什么：论文链接：https://sites.cs.ucsb.e/~lingqi/publications/thesis_final.pdf在这篇论文中，我们主要研究物体渲染，这种渲染能够根据 3D 模型和场景合成图像。当前最先进的渲染技术仍要面临两个基本的挑战：真实感和速度。渲染结果能看出来是人工生成的，过于完美，反而失真；而且渲染过程太慢，无论是对于离线还是交互式应用程序来说。此外，更佳的真实感和更快的速度本质上就是矛盾的，因为当渲染试图产生保真度更高的详细结果时，计算复杂度会大量增加。为了兼顾二者，本文引入了细节渲染和外观建模的概念，准确展示和复现从微米级到整体外观的丰富视觉世界，并将稀疏光线采样与快速高维滤波相结合，从而实现实时性。为了使渲染更加真实，我们首先强调的是细节。但是，渲染具有大量细节的复杂表面绝非易事。传统上，表面的微观结构是通过平滑的正态分布近似得到的，但这样容易忽略细节，比如在现实世界中容易观察到的微光效果。虽然建模实际的表面微观结构是可能做到的，但使用蒙特卡洛点采样方法会导致成本高昂的问题：能量会集中在微小亮点上，而这种微小亮点只占据了像素的极小部分。相反，我们使用完全不同的确定性方法来计算蒙特卡洛最终会收敛到的准确解。我们的方法考虑了通过单个像素看到的表面上高度复杂的法线分布。假设表面分别是由 2D 平面三角形或 4D 高斯元素组成，我们展示了用封闭形式解有效评估这一点的不同方法。我们还展示了如何扩展该方法来准确处理波动光学。我们的研究结果显示，非平滑的塑料、刷过或刮过的金属、金属漆和海浪等材料会产生复杂的、随时间变化的微光。如上所述，尽管渲染细节带来了许多挑战，但我们假设自己知道表面是如何反射光的。然而，现实世界中有大量的自然材料，我们并不知道它们与光交互的准确方式。为了真实地渲染这些材料，我们需要从微观结构中导出准确的外观 / 反射模型来定义它们的光学行为。我们在第四章中通过引入动物皮毛的反射模型证实了这一点。渲染逼真的动物皮毛是计算机图形学领域的一道长期难题。人们在建模人类毛发的几何复杂性方面已经取得了相当大的成就，但毛发纤维的外观 / 反射却还无法很好地理解。基于解剖学文献和测量，我们开发了一个单根毛发纤维反射的双筒模型，其中外筒表示对被多个角质层覆盖的皮层的生物观察，内层表示散射内部结构（被称为延髓），人类毛发纤维中通常不存在这个。我们通过对真实毛发纤维的测量来验证物理模型，并引入了计算机图形学中的第一个数据库，用于 9 个皮毛样本的反射剖面。为了有效进行渲染，我们开发了一种方法来预先计算 2D 延髓散射轮廓，并且用因子化波瓣（factored lobes）来近似反射模型。我们还开发了许多优化方法，在不损失准确率的情况下提升效率和通用性。另外，我们还提出了首个全局光照模型，基于用于表面散射的偶极扩散（dipole diffusion），通过将复杂的光和毛发交互建模为次表面散射，并且用简单的神经网络将毛发纤维的特性转换为散射参数，来近似单个毛发纤维之间的光反弹。然而，如果没有这些细节来改善渲染的真实感，使用当前最先进的蒙特卡洛射线追踪的渲染方法性能依旧低下。物理上正确、无噪声的图像每个像素可能需要数百或数千个光线样本，并且需要很长时间来计算。最近的方法利用了稀疏采样和滤波。滤波方法虽然很快（轴对齐），但需要更多输入样本，或者说输入样本过少速度又会非常慢（剪切）。在第 5 章 [143] 中，我们提出了一种在 GPU 上进行快速剪切滤波的新方法。我们的算法将 4D 剪切滤波器分解为 4 个 1D 滤波器。我们推导出该方法的复杂边界，结果显示每像素复杂度从减少到 O（nl），其中 n 是线性滤波器宽度（滤波器大小为 O (n^2)），l 是（通常非常小）每个像素的光或透镜的每个维度的样本数量（spp 是 l^2）。因此，我们大大减少了剪切滤波开销。论文中，我们展示了如何以交互式的速度渲染景深、柔和阴影和漫射全局光照。论文模型生成场景的静止帧。期待闫令琪博士未来的更多新研究。值得一提的是，去年的 ACM SIGGRAPH 最佳博士论文奖也是由来自加州大学伯克利分校的华人朱俊彦获得，参见：别人的博士生涯！CycleGAN 作者朱俊彦获 SIGGRAPH 杰出博士论文奖。参考链接：https://www.siggraph.org/2019-outstanding-doctoral-dissertation-award-lingqi-yan/https://sites.cs.ucsb.e/~lingqi/

今日，2018 ACM 最佳博士论文奖公布，UC 伯克利博士生 Chelsea Finn 凭借论文《Learning to Learn with Gradients》荣获此奖。来自微软的 Ryan Beckett、本科毕业于清华姚班的马腾宇获得荣誉提名。今日，ACM 公布最佳博士论文奖，来自 UC 伯克利的博士生 Chelsea Finn 凭借论文《Learning to Learn with Gradients》摘得桂冠。这篇论文介绍了一种基于梯度的新型元学习算法，帮助深度网络基于小型数据集解决新任务，该算法可用于计算机视觉、Chelsea Finn 也在社交平台上表达了自己获奖后的心情：「很荣幸可以获得今年的 ACM 最佳博士论文奖。感谢我的导师和同事在我博士期间给予的支持和友谊，尤其是导师 Sergey Levine（UC 伯克利助理教授）和 Pieter Abbeel（UC 伯克利教授）。2018 ACM 最佳博士论文深度学习改变了人工智能领域，给语音识别、计算机视觉和机器人学带来了显著进步。但是，深度学习方法需要大量数据，而这在医疗成像、机器人学等领域中并不容易获取。元学习是目前机器学习领域一个令人振奋的研究趋势，它解决的是学习如何学习的问题，允许机器基于少量数据学习。元学习算法使用之前的数据学习如何快速适应新任务，从而「学习如何学习」。但是，元学习方面最初的一些研究聚焦于设计复杂的神经网络架构。Chelsea Finn 在这篇博士论文中，介绍了一类新方法 —— 与模型无关的元学习（model-agnostic meta-learning，MAML），该方法使计算机科学家免除了手动设计复杂架构的工作。BAIR 在 2017 年 7 月发布的一篇博客中介绍了 MAML 方法，参见：与模型无关的元学习，UC Berkeley 提出一种可推广到各类任务的元学习方法，相关论文《Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks》被 ICML 2017 接收。ACM 在获奖通知中表示：「MAML 方法在该领域产生了巨大影响，并在强化学习、计算机视觉以及机器学习的其他领域中得到了广泛应用。」获奖论文《Learning to Learn with Gradients》全文链接：https://www2.eecs.berkeley.e/Pubs/TechRpts/2018/EECS-2018-105.pdf为了研究「学习如何学习」这个问题，这篇论文首先对元学习问题及其术语、元学习算法的特性给出了清晰正式的定义。然后基于这些基础定义，展示了一种新方法 —— 与模型无关的元学习（MAML），该方法能够将基于梯度的优化潜入到学习器中。与之前的元学习方法不同，该方法聚焦于获取可迁移表征，而不是好的学习规则。由于 MAML 方法学得的表征能够控制更新规则，因此该方法既继承了使用固定优化作为学习规则的优秀特性，同时还保留了完整的表达性（full expressivity）。像其他元学习方法一样，MAML 需要在各种任务上进行训练。该方法需要学习训练一种可以很快适应新任务的方法，并且适应过程还只需要少量的梯度迭代步。元学习器希望寻求一个初始化，它不仅能适应多个问题，同时适应的过程还能做到快速（少量梯度迭代步）和高效（少量样本）。这种方法十分简单，并且有很多优点。MAML 方法并不会对模型的形式作出任何假设。它十分高效，因为其没有为元学习引入其他参数，并且学习器的策略使用的是已知的优化过程（如梯度下降等）而不是从头开始构建一个。所以，该方法可以应用于许多领域，包括分类、回归和强化学习等。下图展示了 MAML 方法的可视化图，即寻找一组具有高度适应性的参数 θ 的过程。在元学习（黑色粗线）过程中，MAML 优化了一组参数，因此当我们对特定任务 i（灰线）进行梯度迭代时，参数将更接近任务 i 的最优参数 φ_i。MAML 方法图示。该论文还展示了，通过将元学习元素和基于深度模型的强化学习、模拟学习和逆强化学习相结合，该方法可扩展至动作控制（motor control）应用。从而构建适应动态环境的模拟智能体，使得真实的机器人能够通过观看人类视频学习如何控制新物体，人类仅需几张图像即可向机器人传达目标。论文最后讨论了元学习的开放性问题和未来方向，指出现有方法的关键缺陷以及限制性假设。Chelsea Finn 其人Chelsea Finn 年纪轻轻就已成为机器人学习领域最知名的专家之一。她开发了很多教机器人控制和操纵物体的高效方法。例如，她在这篇获奖论文中使用 MAML 方法教机器人抓取和放置物体技能，该过程中仅仅用了一个人类演示视频中的原始像素。Finn 现任谷歌大脑研究科学家，并在 BAIR 实验室进行博士后研究。2019 年秋，她将成为斯坦福大学全职助理教授。Finn 在加州大学伯克利分校获得电气工程与计算机科学博士学位，在 MIT 取得电气工程与计算机科学学士学位。Chelsea Finn 有多篇论文发表在 ICML、ICLR、NeurIPS、ICRA、RSS、CoRL 等多个学术会议上，并在多个学术会议及 workshop 上进行受邀演讲。Chelsea Finn 个人主页：https://people.eecs.berkeley.e/~cbfinn/2018 ACM 最佳博士论文荣誉提名奖2018 ACM 最佳博士论文荣誉提名奖颁给了 Ryan Beckett 和马腾宇，他们都博士毕业于普林斯顿大学计算机科学系。Ryan Beckett 在博士论文《Network Control Plane Synthesis and Verification》中提出了一种创建、验证网络控制平面配置的通用、高效算法。计算机网络连接着这个世界重要基础设施的关键组件。一旦网络配置出错，人类高度依赖的系统就会崩溃，出现飞机坠毁、银行崩溃等情况。Beckett 的博士论文介绍了一种全新的原则、算法与工具，能够大幅改善当前网络的可靠性。论文链接：http://www.rbeckett.org/files/thesis.pdf目前，Beckett 是微软研究院移动与网络组（the mobility and networking group）的研究员。他在普林斯顿大学取得计算机科学硕士和博士学位，在美国弗吉尼亚大学取得计算机科学和数学两个学士学位。马腾宇在博士论文「Non-convex Optimization for Machine Learning: Design, Analysis, and Understanding」中，提出了一种支持机器学习新趋势的全新理论。他提出的理论推进了对机器学习非凸优化算法收敛性的证明，概述了使用这种方法训练的机器学习模型的特性。论文链接：https://dataspace.princeton.e/jspui/bitstream/88435/dsp01th83m199d/1/Ma_princeton_0181D_12361.pdf在论文的第一部分，马腾宇首先研究了矩阵补全、稀疏编码、神经网络简化、学习线性动态系统等一系列问题，还构建了帮助设计可证明的准确、高效优化算法的条件。在第二部分，马腾宇展示了如何理解、解释使用非凸优化学得的自然语言嵌入模型。现在，马腾宇是斯坦福大学计算机科学与统计学系助理教授，他博士毕业于普林斯顿大学计算机科学系。值得一提的是，马腾宇本科毕业于清华姚班，曾获得 2007 年国际中学生数学奥赛银牌（与金牌差一分），2010 年获得美国普特南大学生数学竞赛第 8 名，2014 年获得理论计算机研究生 Simon 奖。这些都是只能「仰望」的天才吧！参考链接：https://awards.acm.org/about/2018-doctoral-dissertation

1.【今日资讯头条 | 清华姚班出身，95后博士生陈立杰获理论计算机顶会最佳学生论文】来源：新智元95后博士生陈立杰获理论计算机顶会理论计算机科学领域最顶级的国际会议STOC最佳学生论文奖，颁给清华姚班毕业生、MIT陈立杰等人，陈立杰在中学、大学本科阶段，创造了无数神话，连清华大学老师都直呼他是“神人”。陈立杰出生于1995年，在中学时代参加信息竞赛并斩获多项Top奖项，2011年被清华大学交叉信息学院提前录取，就读姚班。2.【业界 | 节省AI开发90%的时间，彭博让你获得直接可用的数据】来源：机器之心节省AI开发90%的时间近日，彭博宣布推出「另类数据」服务，其中包括 20 余种新类型数据，如基于人工智能和大数据处理得到的人流、社交媒体情绪数据，它们可以帮助投资者在瞬息万变的市场中带来先机。今天，作为人工智能大潮的一部分，数据服务正在迈向全新的阶段。3.【新闻 | 10大任务超越BERT，微软提出多任务深度神经网络】来源：microsoft微软提出多任务深度神经网络微软新研究提出一个新的多任务深度神经网络模型——MT-DNN。MT-DNN结合了BERT的优点，并在10大自然语言理解任务上超越了BERT，在多个流行的基准测试中创造了新的最先进的结果，包括通用语言理解评估(GLUE)、斯坦福自然语言推理(SNLI)和SciTail。4.【新闻 | 谷歌首个AI版Doodle：向伟大作曲家巴赫致敬】来源：机器之心3 月 21 日是著名音乐家约翰·塞巴斯蒂安·巴赫的生日，谷歌决定以一种特殊的方式向他致敬：让人人都能以巴赫的风格创作自己的乐曲。通过机器学习算法，谷歌开发了 Coconet 多功能模型，可以让你用巴赫的风格演奏自己写下的乐谱。

新智元报道 来源：timdettmers.com作者：Tim Dettmers 编辑：木青【新智元导读】又到一年申请季。随着AI大热，计算机科学博士申请的竞争也变得激烈。如何选择学校？需要发多少论文？导师怎么选？GPA不够高怎么办……斩获CMU、斯坦福大学等名校博士offer的大神写出了史上最全分享帖，你在申请计算机科学博士时遇到的所有问题，这里都有答案。先简单秀一下手里的offer：我获得了斯坦福大学，华盛顿大学，伦敦大学学院，CMU和纽约大学的录取通知。收获是不是还算不错？我深入研究了我是如何在博士申请中取得成功的，于是写下这篇博客文章，和大家讨论，在博士申请中什么才是重要的，而什么又不是；我们应该如何选择和使用申请材料。这篇博客主要针对关注深度学习的博士应用以及自然语言处理，计算机视觉，强化学习和深度学习等相关领域的学生。我目前先假定你已经拥有相对竞争较强的个人资料，也就说你可能已经拥有一个或多个出版论文或刊物，并且你也已经与多人合作进行过研究。写这篇文章的目的是为了提高你申请成功的几率。如果你寻求更多关于博士入学的信息，我建议你先阅读以下这些资料：Academia StackExchange所有最高投票的问题和答案：https://academia.stackexchange.com/questions?sort=votes计算机科学专业博士完整录取过程，这是一位CMU老师写的：http://www.cs.cmu.e/~harchol/gradschooltalk.pdf博客文章《反思计算机科学专业招生》，这适合那些优秀但综合实力并没有那么拔尖的学生：https://da-data.blogspot.com/2015/03/reflecting-on-cs-graate-admissions.html。《如何写出一篇错误的计算机科学博士申请陈述》，反面教材可以用来参考：http://www.cs.cmu.e/~pavlo/blog/2015/10/how-to-write-a-bad-statement-for-a-computer-science-phd-admissions-application.html在接下来的文章中，我会：先定义一下申请过程中哪些是重要的影响因素；然后我们将深入研究申请材料以及如何思考这些问题；再来我将谈谈申请流程全文最主要的部分也是最后一部分将是选择学校：哪些学校对我来说门槛太高或哪些又不是那么值得你去？什么才能被称作是强大的博士申请背景？决定任何研究型大学录取的最重要因素是研究潜力：你有多大可能成为一名优秀的研究人员？主要的直接指标是研究潜力的重要性：业内大佬的建议：受人尊敬的教授高度评价你，所以人际关系很重要。研究经历：之前做过什么成功的研究、发表的论文（是否为第一作者和发表所属期刊、会议的声望）。其他间接因素有时可能有所帮助，不过作用并没有以上两个因素大，按重要性排序：本科大学背景：有些大学会很看重，其他一些大学并不care；工作/实习背景：例如以前曾在金融或Google，Facebook等公司工作过；智力：完美的GPA，完美的GRE与智力有些相关（或至少与你学习和理解的速度有关）；勇气/责任心：你在持续被拒绝、遭遇失望和失败的情况下都能表现得很好，如果你遇到并克服了困难，你可以将你的故事纳入自我陈述中。成就：赢得了数学或CS比赛。表彰：赢得了非常厉害的奖学金。擅长数学或工程学：为开源项目开发作出贡献或者使用过研究代码。家庭背景：父母是教授，赢在起跑线上如何准备计算机科学博士申请材料首先是推荐信对于推荐信，可以分为四个类别：强、好、弱和坏。请注意，录取老师在推荐信中寻找的主要内容是关于你有多少研究潜力。这部分的主要目的是让申请者了解什么是好或强的推荐信，根据这些信息，你可以找到更适合帮你写推荐信的人。非优质推荐信的特征：推荐人知道你的不良事迹并且把这些写到了推荐信里，特别是在美国，任何甚至略微有污点的过去都非常有风险；推荐人并不认识你（你上过ta的课，但ta对你没有留下任何印象）；推荐信内容很简短，只说你在课堂上表现很好；弱竞争力推荐信的特征：推荐人只在课堂上认识你；推荐人只能写一些关于你课上的表现；推荐人不评论你的研究；录取委员会或潜在的顾问都不认识推荐人。优质推荐信的特征：推荐人有一定名气，被录取委员会的部分人员知道；推荐人的姓名和工作至少被个人陈述中提到的一位潜在导师所知；推荐人与你一起做过科研；推荐人在轶事中提到了你出色的研究能力，这些事情证明了你的创造力、诚信、坚持和研究技巧；推荐人详细写了你如何发表研究报告；推荐人评论了你在实验室外的研究。强竞争力推荐信的特征：推荐人英语水平出色；推荐人因过去出色的推荐而闻名（之前推荐的学生非常优秀）；推荐人在轶事中提到了你出色的研究能力，这些事情证明了你的创造力、诚信、坚持和研究技巧；推荐人提到了你的其他能力，这些能力间接地帮助研究（工程技能，演讲技巧，人际关系技巧），并将这些技能包含在轶事中。请注意以下几点：轶事很重要，这需要推荐人真的了解你。那些招生老师也能读得津津有味，毕竟读故事比核对清单更有趣；这封推荐信不需要包含上述中的所有要素，那样会让推荐信变得很复杂；推荐信需要有侧重点。怎样界定你发表论文、刊物的含金量？是否为第一作者？发表的论文、刊物是研究经验和研究技能的直接证据。如果你作为第一作者出版，人们就知道你完成了大部分工作。如果你作为第二作者出版，人们知道你做了很大一部分工作（25％-50％）。如果你的名字是第三个或更晚，你的贡献会大打折扣，但你可能会经历整个研究过程以获得发布资格并获得大量的研究经验。如果你发表了几篇第一作者论文和一篇第三作者论文，这样就看起来非常好：它表明你可以完成团队合作。发表论文所属会议、期刊的威望：如果你在一个顶会上发表你的作品，人们就会知道：（1）你的作品质量很高; （2）你的工作可以被信任; （3）你目前的研究技能足以在大型的会议上发表；（4）你具有竞争力，可以在顶级会议的压力下保持高效。在你未来的导师看来，这有助于看到这一点：如果你有两个学生，一个已经在NeurIPS（A级）发表，一个发表在B级会议上，那么这说明第一个学生可能已准备好参与明年针对NeurIPS的研究项目，第二名学生则需要进一步准备。对于第二个学生，这个学生可能需要一年多的时间才能获得在A级会议上发表所需的研究技能。如果导师和学生之间的磨合压力较小，那么就更容易建立强大的专业关系，这使得彼此合作更容易和有趣。毕竟谁都愿意找有准备的士兵去一起打仗。因此，未来的导师将有充分的理由根据你在哪个会议上发布论文进行选择。如何撰写个人目的陈述对于大多数高校而言，目的陈述主要是为那些不想花太多时间审核资料的校方工作人员提供“过滤器”。你的写作可以展示你的思考方式，如何营销，你如何解释事物，但它也可以透露出你是懒惰的，不注意细节。对于某些机构（例如CMU）来说，个人陈述可能很重要。除此之外，个人陈述也是唯一可以解释你在某些情况下为何表现不佳的文件。例如，你可以解释你在读研究生的过程中遇到的任何特殊困难，或者它可以解释为什么你在大学的某些学期里没有做到这么好。个人陈述的结构应如下：1、在第一段，通过引人注目的开头介绍研究兴趣，使读者想要阅读更多。这是最重要的一点：如果你不能让读者对本段不感兴趣，他们不太可能专注于整本书的其余部分；2、你在研究生学习期间的研究经历（大约一页）；3、确定你将来要做的研究方向；4、确定选择导师以及选择原因；5、（可选）在适当的情况下解释情有可原的错误。在某些情况下，个人陈述可能非常重要。如果你表现出良好但不强或弱 的学术潜力，你就必须克服重大的困难才能做研究。然而，披露困难和弱点，如学习障碍和精神疾病，也可能是一把双刃剑：你可能让审核老师望而却步，也可能因为你坚持困境而表示同情和钦佩。如果你披露此类事实，则需要正确完成并且个人陈述需要非常精细化。如果你没有专人指导，请不要尝试这样做。毕竟你不只是在讲述如何克服经济困难完成学习，而是讲述你在患精神分裂症或双相情感障碍时遇到的困难。然而，如果你没有面对任何困难，不要编造毫无意义的故事：“作为一名白人、男性、上流社会的美国公民，我从很小的时候就被我的特权所困扰，我的学业表现受到了影响在这个过程中。“请不要这么拉仇恨，还是专注自己的研究能力吧。关于GRE、TOEFL、GPAGRE、TOEFL和GPA通常用作过滤标准。非常高的GPA可以成为良好指标，可以帮助那些质量不太高的推荐信和论文。但是如果你没有出版过论文，并且推荐信也很糟糕，4.0的GPA将无济于事，甚至可能还会起到反作用，因为它表明你专注于“无用”的课而不是研究。GRE和托福成绩是纯粹的过滤器：如果你有一个好的分数，你就不会被过滤掉。如果你有一个完美的GRE成绩，它可以帮助到一点点。高GRE成绩并不重要：我拿到了美国大学计算机科学专业TOP5中的三个：GRE成绩为语文159（81％），数学163（86％），写作5.0（93％）和托福120/120和GPA 8.1 / 10。任何高于3.5（满绩4.0）的GPA都可能会有所帮助。关于简历简历要列出你所做的事情。内容很重要，但内容也取决于你之前所做的事情，并且不能撒谎编经历。不要通过简单的方式或通过让你的简历看起来“漂亮”或“有创意”来“调整”你的简历，这是浪费时间。只需列出你所做的事情。了解一下申请程序（一）、如何向你的教授索取推荐信你可能需要写两封电子邮件：（1）只要问一下这个人是否可以给你一封好的或强烈的推荐信。经历丰富的推荐人如果认为他们不能给你写好的信，就会拒绝你的请求。在这种情况下，寻找其他人。（2）如果你的推荐人同意，她会要求你提供信件的一些信息。列出你和推荐人所有过的互动，让推荐人写得更生动：举个例子，需要写的是：“你在一次会议上告诉我，通过一些额外的工作，我们可以为NeurIPS截止日期做好准备。在接下来的两周内，我开发了一个改进的深度网络架构，开始撰写调查结果。接下来的一周，简扩展了我的代码以完成额外的任务。然后，我们有足够的结果将我们的工作提交给NeurIPS“不要写：“简和我在NeurIPS上发表了我们的研究。”（二）个人目的陈述尽早开始向有经验的人询问意见。如果你想透露你在读研究生的路上遇到的困难，你需要花很多时间在你的个人陈述中，你可以在你所有的申请材料中花最多的时间在这方面。也可以参考你之前申请大学时使用的个人陈述，这或许能帮你省不少时间。（三）在线申请尽早开始填写在线申请表。有些流程很复杂，需要一些时间来填写，如果你能尽早地提交，专注于写推荐信、院校选择和个人目的陈述，那就太棒了。另外，你应该准备足够的资金来做这些申请。整个过程可能花费高达1000美元。如果你没有足够的钱，请尽早向一些亲戚寻求帮助。想要读计算机科学博士，该如何选择学校？我可以考上顶尖学校吗？许多读这篇文章的人可能有着进入斯坦福大学，麻省理工学院，伯克利大学或CMU等顶尖学校的梦想。但这非常困难，竞争非常激烈。分享一下我申请的一所牛校的情况，以下几条都是申请这所牛校的人的背景条件：申请人中本科学校Top2的比例：38％Top4：52％Top20：73％每个国家的顶尖学校：84％至少4篇顶级会议论文：93％至少3篇顶级会议论文+最佳教师/青年科学家奖：98％也就说，84％的申请人来自一个国家的顶尖学校，另外你在顶级会议上的论文少于3篇，那么你进入上述学校的概率约为2％。如何入读顶尖学校？上述统计数据并不意味着你无法被这些学校录取，但这意味着如果你的个人资料太弱，你应该再花一年时间来完成梦想。例如，我将我的硕士学位延长了一年，以便进行一年的研究型实习。如果没有这份经历，我基本不可能进入这些学校。如果你的梦想是进入这些顶级学校之一，研究型实习是迄今为止最好的选择。即使你不一定想去这些顶尖学校，研究实习也没什么坏处。研究型实习将为你提供：提高研究技能，使你可以更轻松地开始攻读博士学位；测试博士或某个研究方向（NLP与计算机视觉与系统）是否适合你；一份好的甚至是竞争力强的推荐信（实习时间越长越好）；发表论文的机会。现实的学校选择你应该申请大约10-15所大学。如果你申请更多，那么你将面临着没有足够时间来真正完善你申请流程的危险。如果你申请的数量少，你会遇到手上无offer的危险。你应该有一个或两个备用大学，你被录取的几率> 75％。通常，你已经就读的大学是一个很好的候选，因为你的推荐人将导师所知。申请所有有希望入学的顶尖大学（> 10％的机会）。在剩下的大学里挑选一些你有意愿去的，你希望入学率会较高（25-33％），你应该至少备选3所这样的大学。这些大学通常是推荐人和你都希望与之合作的教授的所属大学，这时候人际关系就起到重要作用了。请注意，最好的导师不一定在顶尖学校。你可以在前20名以外的学校获得优秀的博士培养。但是，如果你考虑学术生涯，那么学校的级别将非常重要，你应该尝试在顶尖学校找到一名导师。选择大学主要是根据这所大学里的导师。确保每所大学都有多个你想要合作的导师。不要申请只有一位优秀导师的大学。如果你选择的专业范围太小，请扩大你感兴趣的区域。例如，如果你想进行深度学习和NLP，并且找不到足够的合适导师，请考虑计算机视觉或其他领域的一些导师。其他问题（一）注意：英国博士需要四年，美国博士需要6年在美国博士学位课程的前1-2年，你将完成不少课程，因为美国博士学位是为本科生设计的。相反，英国博士学位课程专为已经拥有（1年）硕士学位并且课程很少的学生而设计。具体区别如下：美国博士专为本科学生设计课程为1 - 2年，课程分散了研究的注意力，入学时有担保资金，即你有担任研究助理或助教的职位。英国博士专为硕士生设计课程为0.25 - 0.5年，你可以从头到尾专注于你的研究。资金方面可能有问题，通常取决于你的导师。这就是为什么在申请之前与潜在导师取得联系非常重要的原因。还要注意地区差异。如果你在美国学习，你也将陷入美国的研究泡沫。如果你在欧洲或亚洲学习也可能如此。如果你想加入欧洲的学术界，而且无法进入美国顶尖学校，那么申请大多数欧盟大学可能是更保险的选择。（二）博士需要硕士学位吗？在欧洲大陆，学士学位通常为3年，你需要硕士学位才能获得博士学位。在美国和英国，博士通常为4年，你可以在学士学位之后立即开始攻读博士学位。（三）工作经验很重要吗？如果你在着名的公司（谷歌、Facebook、麦肯锡、高盛等）工作，它尤其有用。如果它与软件工程相关，其他工作经验也有帮助，但任何研究经验（研究实习）都要比企业实习有用得多。只是一份好工作而没有研究经验，对你没有帮助。（四）如何挑选导师？查看他们最近出版的论文，从而找到共同的兴趣点。避免与最近没有发表论文的学者合作。在当前的研究中不需要重叠，但你应该对导师正在进行的研究感兴趣。查看他们之前的毕业生名单以及这些师兄师姐现在从事的职业，毕竟就业也是考量的一个重要指标。查一下导师是不是创业吗？他有多少学生？这些因素的组合可以给你暗示：这个导师忙不忙，他又有多少时间来指导你。根据你在研究方面的经验，你将需要一个或多或少有时间的导师。（五）我必须要拥有博士学位吗？如果你想在学术界工作，你需要博士学位。在商业中，一切都受供需关系的制约。未来几年，人工智能研究人员的供应将急剧增加。如果AI炒作崩溃，需求将会消退。这种情况可能与数据科学家在2018年面临的情况非常相似：公司只接受非常优秀的申请人，因为供应量大于需求量。在这种情况下，如果你想要转换工作或想要晋升，博士学位将会有很大的不同。你现在可能没有博士学位，但没有博士学位，如果你想转到另一个研究实验室，你可能会遇到问题（因为熟练的博士学位可能很高，而需求很低）。如果AI炒作没有崩溃（不太可能），那么你可以在没有博士学位的情况下轻松找到并转换工作。如果你对研究工程师的职位感到满意，那么博士学位对你来说可能毫无用处。由此，如果你不想做研究，就不要做博士学位。（六）我该在申请前请联系导师吗？不要对美国的教授这样做。在欧盟，有时需要在申请前联系可能的导师。如果你需要这样做，请尝试通过真正了解你导师的人介绍，例如，你的学士或硕士论文导师。如果你与这位导师没有私交，你还想写一封电子邮件的话，内容建议如下：你当前的导师是谁；关于你过去工作的总结（可选：你在哪里发表你的作品）；关于你可以以“想法：一句话解释这个想法”的形式向导师解释你想要的研究方向；如果你没有个人联系，你的潜在导师不太可能回复你。如果你没有人际资源并且你申请了欧盟（英国）大学，那么你可能需要试试申请其他地方。（七）如何为你的研究计划选择一个主题？研究提案的主题无关紧要。没有人会要求你做在研究提案中描述的工作。你可以根据在不同申请中重复使用的容易程度来选择你的研究提案主题。如果你不需要为不同的申请流程重写它，则可以节省大量时间。需要考虑的一件事：你对某个主题越熟悉，就越容易编写好的提案。参考链接：http://timdettmers.com/2018/11/26/phd-applications/新智元 AI 技术 + 产业社群招募中，欢迎对 AI 技术 + 产业落地感兴趣的同学，加小助手_2 入群；通过审核后我们将邀请进群，加入社群后务必修改群备注（姓名 - 公司 - 职位；专业群审核较严，敬请谅解）。

机器之心报道，机器之心编辑部。计算机图形顶级会议 ACM SIGGRAPH 2018 即将于 8 月 12-16 日在加拿大温哥华举行。在大会开始前，部分奖项结果已经揭晓。我们刚刚得到消息：毕业于加州大学伯克利分校的朱俊彦（Jun-Yan Zhu）获得了大会的最佳博士论文奖。朱俊彦于 2012 年获得清华大学计算机科学系的工学学士学位，在 CMU 和 UC Berkeley 经过 5 年学习后，于 2017 年获得 UC Berkeley 电气工程与计算机科学系的博士学位，他的导师是 Alexei Efros。朱俊彦的博士研究由一项 Facebook 奖学金支持。朱俊彦目前是 MIT 计算机与人工智能实验室（CSAIL）的一名博士后研究员。朱俊彦个人主页地址：http://people.csail.mit.e/junyanz/#sect-publications博士论文地址：http://people.csail.mit.e/junyanz/pdf/thesis_highres.pdfCycleGAN 项目地址：https://github.com/junyanz/CycleGAN在获奖结果公布后，GAN 发明者 Ian Goodfellow 第一时间献上祝贺。朱俊彦博士是计算机图形学领域现代机器学习应用的开拓者。他的论文可以说是第一篇用深度神经网络系统地解决自然图像合成问题的论文。因此，他的研究对这个领域产生了重大影响。他的一些科研成果，尤其是 CycleGAN，不仅为计算机图形学等领域的研究人员所用，也成为视觉艺术家广泛使用的工具。朱俊彦博士论文封面，他的博士生导师为 Alexei A. Efros。以数据驱动的图像合成领域的一个关键问题是如何确保合成后的图像看起来真实。在论文的第 I 部分，朱俊彦采用一种判别方法来解决这类问题的一个案例，他训练一个分类器来评估合成图像的逼真度。由于难以获取足够的人工标注训练数据来判断图像是否真实，他学习对真实图像和自动生成的合成图像进行分类，不管这些图像看起来真实与否。他惊奇地发现：得出的分类器可以预测新的合成图像的逼真度。此外，逼真度分数可通过学得的变换来迭代更新图像，进而改善合成图像的逼真度。该研究可以被视为条件生成对抗网络（GAN）架构的「先锋」。他还开发了一种类似的判别学习方法，以改善人像的照片美感（SIGAsia 2014）。在第二部分中，作者使用相反的生成方法建模自然图像，将图像编辑工具的输出控制在该流形上。他基于典型的图像平均模型（image averaging model，SIGGRAPH 2014）和近期的生成对抗模型，构建了实时数据驱动探索和编辑界面。后者起到作用，相关软件 iGAN 是 GAN 首次应用于实时应用程序中，它对 GAN 在社区中的流行起到很大作用。给定两个无序图像集 X 和 Y，CycleGAN 可以自动对它们进行互相「翻译」。在第三部分中，作者结合他在早期研究中获得的经验，开发了一套新型图像到图像的转换算法。其中非常重要的是 CycleGAN 框架（ICCV 2017），它变革了基于图像的计算机图形学，可作为一种通用框架将一组图像中的视觉风格迁移到其它图像。例如，将夏天转化为冬天、将马转换为斑马及利用计算机图形渲染生成真实图像等。该研究首次展示了艺术收藏品的风格迁移效果（例如，使用所有梵高的作品，而不是只用《星月夜》），并将绘画转换为照片。自发布以来，CycleGAN 在短短时间内就已经被应用到了很多不同的问题中，其范围远远超越了计算机图形学，从生成合成训练数据（计算机视觉）到将 MRI 影像转换为 CT 扫描影像（医学影像），再到 NLP 和语音合成的应用。除博士论文外，他还提出了基于学习的交互式着色方法（SIGGRAPH 2017）和光场摄像方法（SIGGRAPH 2017）。除了在顶级图像与视觉会议上发表的文章以外，朱俊彦的成果在其他方面也颇具影响。他的研究多次出现在大众媒体上，包括《纽约客》、《经济学人》、《福布斯》、《连线》等。朱俊彦在推进研究复现方面堪称典范，这令研究人员和从业者更容易「站在他的肩膀上」。他的许多项目都是开源的，影响力也很大，他在 GitHub 上的项目已经获得 22000 次收藏和 1900 个关注者。最令人印象深刻的是，他的代码不仅被研究人员和开发人员广泛使用，而且还被视觉艺术家使用（例如 Twitter 上的 #cycleGAN）。朱俊彦此前也获得了多个学术奖项，仅在 2018 年，他就获得了 UC Berkeley 颁发的 David J. Sakrison Memorial Prize，以及英伟达的 Pioneer Research Award。朱俊彦还曾获得过以下奖项和奖学金：CVPR Outstanding Reviewer (2017)Facebook Fellowship (2015)Outstanding Undergraate Thesis in Tsinghua University (2012)Excellent Undergraate Student in Tsinghua University (2012)National Scholarship, by Ministry of Ecation of China (2009 and 2010)Singapore Technologies Engineering China Scholarship (2010, 2011, and 2012)

白交 发自 凹非寺量子位 报道 | 公众号 QbitAI谁能想得到？SIGGRAPH最佳博士论文奖，又被「华人学者」纳入囊中。这已经是「连续3年」，该重要奖项颁给华人学者，此前分别由加州大学伯克利分校闫令琪博士和朱俊彦博士摘得。而最近，ACM SIGGRAPH 颁发了2020年最佳博士论文奖，获此殊荣的学者叫李子懋（mào），本硕毕业于台湾大学，现在是MIT CSAIL博士后研究员。在颁奖词中，SIGGRAPH 称他的博士论文「为新兴的可微计算机图形学奠定了基础」，李子懋是「物理可微渲染领域的先行者」。但或许更多人还是会好奇：他是谁？为什么能获此殊荣？我们且来看看。胡渊鸣师兄，「太极」二作是的，国内更为人熟悉的胡渊鸣大神。大神的履历或许很多人已不陌生，但还是简要介绍如下：胡渊鸣高一保送清华，2013年进入清华姚班，在本科期间，先后前往东京大学、斯坦福大学访学，并曾于微软亚洲研究院实习，从事深度学习和计算机图形学研究。本科便有多篇论文中选CVPR、SIGGRAPH等国际顶会。随后，胡渊鸣进入MIT读博，博一期间，就发表了6篇顶会论文。还记得用99行代码就可以重现《冰雪奇缘》的新CG特效编程语言「Taichi（太极）」吗？这就是胡渊鸣奠定江湖地位的作品之一。普通PC仅需几分钟即可渲染完成，相比TensorFlow提速了188倍、比PyTorch快13.4倍，代码长度只有其他底层方法的十分之一。随后，在今年一月还提出了可微分编程DiffTaichi，被ICLR 2020收录。其实当时除了胡渊鸣以外，还有这么一个人，虽然不是第一作者，但是也参与了整个过程。那就是今日希望重点介绍的Tzu-Mao Li（李子懋）。那么胡渊鸣和李子懋啥关系？他们都来自MIT CSAIL，算下来，李子懋应该算是胡渊鸣的师兄。而且李子懋也是一路学霸履历。从国立台湾大学的「计算机科学与信息工程」连读本硕学位之后，2014年就来到了MIT攻读博士学位。而胡渊鸣是2017年进入MIT，13个月拿到硕士学位之后，才开始攻读博士学位。当然，这么优秀的两个人，势必要提一下他们的导师——Frédo Durand了。该导师也是图形学领域知名大牛。斯隆奖获得者，曾获SIGGRAPH 计算机图形学成就奖 。就在今年年初，在清华大学发布「AI全球最具影响力学者榜单」上，他荣登计算机图形学领域Top 1。所以说，优秀的人身边可能都是优秀的人，而他们的老师就可能更优秀了。【狗头】148页论文，获SIGGRAPH 最佳博士论文奖最后，说回SIGGRAPH 最佳博士论文奖，可不是那么容易得的。2016年开始，每年只有一人入选。已经连续3年由华人学者摘得。前面两位均是由「清华」校友朱俊彦博士跟闫令琪博士摘得。而此次SIGGRAPH给他的论文颁奖词：为新兴的可微计算机图形学奠定了基础。而他则是「物理可微渲染领域的先行者」。在148页论文中，李子懋探讨了视觉计算、编程系统和统计学习之间的关系，将经典计算机图形学和图像处理算法与现代数据驱动方法相结合，利用统计学中的数学工具和机器学习开发能够解决图形和视觉问题的新算法。此外，他开发的编程系统简化了视觉计算算法的高效实现和数学推导。看到他在博期间的经历，就会明白，「这份荣誉」真的是一步一个脚印，踏踏实实走过来的。在读博士期间，共有11篇入选顶会文章，其中8篇文章入选了SIGGRAPH会议论文，光去年就有3篇入选，还跟Facebook、Adobe研究院合作。还有5个开源项目，其中一个可微渲染器「redner」，下载量就达10万次。博士毕业以后去哪儿？知情网友：举手，去做博士后研究！那之后呢？去研究院当研究员，去大学当助理教授……三位最佳博士论文获得者，都不约而同的有着同样的方向，那就是「去大学当助理教授」。目前，朱俊彦博士完成MIT CSAIL博士后研究以后，去了Adobe研究院担任研究员。但即将在今年秋季回到曾经的母校「卡内基梅隆大学」，担任助理教授一职。闫令琪博士毕业后就直接去了加州大学圣塔芭芭拉分校担任助理教授。目前，李子懋正在MIT CSAIL跟Jonathan Ragan-Kelley从事博士后研究。Jonathan Ragan-Kelley也算是同门师兄，曾短暂在加州伯克利大学停留一段时间后，现又回到MIT CSAIL担任助理教授。而李子懋，他本人进行博士后研究之后，将于明年7月加入加州大学圣地亚哥分校计算机科学与工程系，担任助理教授。而其实「博士毕业就业」这个问题，在国内受到很大的关注。去高校？去创业？还是去企业上班？如果是你，你会如何选择？李子懋简历：https://people.csail.mit.e/tzumao/参考文献：https://www.siggraph.org/2020-outstanding-doctoral-dissertation-award-tzu-mao-li/

选自Stanford机器之心编译参与：路雪、蒋思源韩松，2017 年斯坦福大学电子工程系博士毕业，师从 NVIDIA 首席科学家 Bill Dally 教授。他的研究也广泛涉足深度学习和计算机体系结构，他提出的 Deep Compression 模型压缩技术曾获得 ICLR'16 最佳论文，ESE 稀疏神经网络推理引擎获得 FPGA'17 最佳论文，对业界影响深远。他的研究成果在 NVIDIA、Google、Facebook 得到广泛应用，博士期间创立了深鉴科技，2018 年将任职 MIT 助理教授。本文对韩松博士的毕业论文做了介绍。第一章 引言本文，我们协同设计了适合深度学习的算法和硬件，使之运行更快更节能。我们提出的技术能够使深度学习的工作负载更加高效、紧密，然后我们设计了适合优化 DNN 工作负载的硬件架构。图 1.1 展示了本文的设计方法。打破算法和硬件栈之间的界限创造了更大的设计空间（design space），研究者获得之前从未有过的自由度，这使得深度学习能够实现更好的优化。在算法方面，我们研究如何简化和压缩 DNN 模型，以减少计算量和内存的占用。在 ImageNet 上，我们在不损失预测准确度的情况下将 DNN 压缩了 49 倍 [25,26]。我们还发现模型压缩算法能够去除冗余、防止过拟合，可以作为合适的正则化方法 [27]。在硬件方面，压缩后的模型具备提速和降低能耗的极大潜力，因为它所需的算力和内存减少。然而，模型压缩算法使计算模式变的非常规，很难并行化。因此，我们为压缩后的模型设计了一种定制化硬件，设计模型压缩的数据结构和控制流程。该硬件加速器的能量效率比 GPU 高出 3400 倍，比之前的加速器高出一个数量级 [28]。该架构的原型在 FPGA 上，且已用于加速语音识别系统 [29]。图 1.1：本文重点是协同设计适合深度学习的算法和硬件。本文回答了两个问题：哪些方法可以使深度学习算法更加高效，哪些硬件架构最适合这类算法。图 1.2：论文主题贡献：正则化训练、模型压缩、加速推理第二章 背景本章首先介绍什么是深度学习以及它的工作原理和应用；然后介绍我们实验所用的神经网络架构、数据集、在数据集上训练架构的框架。之后，我们介绍压缩、正则化和加速方面之前的研究。第三章 神经网络剪枝现代深度神经网络使用非常多的参数以提供足够强大的模型，因此这种方法在计算量和内存上都需要足够的资源。此外，传统的神经网络需要在训练前确定与修正架构，因此训练过程并不会提升架构的性能。而若直接选择复杂的架构，那么过多的参数又会产生过拟合问题。因此，选择适当容量（capacity）的模型和消除冗余对计算效率和准确度的提升至关重要。为了解决这些问题，我们发展了一种剪枝方法（pruning method）来移除冗余并保证神经网络连接的有效性，这种方法能降低计算量和内存的要求以提升推断的效果。这种方法关键的挑战是如何在模型剪枝后还保留原来的预测准确度。我们的剪枝方法移除了冗余连接，并仅通过重要的连接学习（下图 3.1）。在该图的案例中，共有三层神经网络，剪枝前第 i 层和 i+1 层间的连接为密集型连接，剪枝后第 i 层和 i+1 层间的连接为稀疏连接。当所有与神经元相联结的突触都被移除掉，那么该神经元也将移除。神经网络剪枝将密集型神经网络转化为稀疏型神经网络，并且在减少了参数与计算量的情况下完全保留预测准确度。剪枝不仅提高了推断速度，同时还降低了运行大型网络所需要的计算资源与能源，因此它可以在电池受限的移动设备上使用。剪枝同样有利于将深度神经网络储存并传递到移动应用中。图 3.1：对深度神经网络的神经元与突触进行剪枝。在初始化训练阶段后，我们通过移除权重低于阈值的连接而实现 DNN 模型的剪枝，这种剪枝将密集层转化为稀疏层。第一阶段需要学习神经网络的拓扑结构，并关注重要的连接而移除不重要的连接。然后我们重新训练稀疏网络，以便剩余的连接能补偿移除的连接。剪枝和再训练的阶段可以重复迭代地进行以减少神经网络复杂度。实际上，这种训练过程除了可以学习神经网络的权重外，还可以学习神经元间的连通性。这与人类大脑的发育过程 [109] [110] 十分相似，因为生命前几个月所形成的多余突触会被「剪枝」掉，神经元会移除不重要的连接而保留功能上重要的连接。在 ImageNet 数据集中，剪枝方法可以将 AlexNet 的参数数量减少 9 倍（6100 万降低为 670 万）而没有准确度上的损失。VGG-16 同样有类似的现象，参数总量可以减少 13 倍左右（1.38 亿降低为 1.03 千万）而完全没有准确度损失。我们还试验了更多高效的全卷积神经网络：GoogleNet（Inception-V1）、SqueezeNet 和 ResNet-50，它们不具有或有很少的全连接层。在这些实验中，我们发现在准确度降低前它们有相似的剪枝率，即 70% 左右的全卷积神经网络参数可以被剪枝。GoogleNet 从 700 万参数降低到 200 万参数，SqueezeNet 从 120 万参数降低到 38 万参数，而 ResNet-50 从 2550 万参数降低到 747 万参数，这些网络在 ImageNet Top-1 和 Top-5 准确度上都完全没有损失。在本章节以下部分中，我们提供了如何剪枝神经网络和再训练模型以保留预测准确度的方法。我们还展示了剪枝后模型在商业化硬件上运行所产生的速度与能源效率提升。第四章 量化训练与深度压缩本章节介绍了用于压缩深度神经网络的量化训练（trained quantization）技术，但它与前一章所介绍的剪枝技术相结合时，我们就能构建「深度压缩」[26]，即一种深度神经网络的模型压缩流程。深度压缩（Deep Compression）由剪枝、量化训练和可变长度编码（variable-length coding）组成，它可以压缩深度神经网络数个量级而没有什么预测准确度损失。这种大型压缩能使机器学习在移动设备上运行。「深度压缩」是一种三阶段流程（图 4.1），它可以在保留原始准确度的情况下减小深度神经网络的模型大小。首先我们可以移除冗余连接而剪枝网络，这一过程只需要保留提供最多信息的连接（如第三章所述）。下一步需要量化权重，并令多个连接共享相同的权重。因此只有 codebook（有效权重）和索引需要储存，且每个参数只需要较少的位就能表示。最后，我们可以应用可变长度编码（Huffman 编码）来利用有效权重的不均匀分布，并在没有训练准确度损失情况下使用可变长度编码表征权重。我们最重要的观点是，剪枝与量化训练可以在不相互影响的情况下压缩神经网络，因此可以产生惊人的高压缩率。深度压缩令存储需求变得很小（兆字节空间），所有的权重都可以在芯片上缓存而不需要芯片外的 DRAM。而动态随机储存器不仅慢同时能耗还比较高，因此深度压缩可以令模型更加高效。深度压缩是第六章高效推断机（efficient inference engine/EIE）的基础，其通过压缩模型实现了显著的速度和能源效率提升。图 4.1：深度压缩的流程：剪枝、量化学习和可变长度编码表 4.1：深度压缩在没有准确度损失的情况下节约了 17 倍到 49 倍的参数存储需求。表 4.9：使用不同更新方法比较均匀量化和非均匀量化的结果。-c 仅更新形心（centroid），-c+1 同时更新形心和标签。ResNet-50 的基线准确度分别为 76.15% 和 92.87%。所有结果都经过再训练。图 4.10：非均匀量化的表现要好于均匀量化。图 4.10 和表 4.9 比较了均匀量化和非均匀量化的性能。非均匀量化指的是相邻编码的距离不为常数。量化训练是非均匀量化的一种形式，因为其不同编码的距离并不相同。对于非均匀量化（本研究），基线 ResNet-50 所有层级的参数可以压缩为 4 比特而没有准确度损失。然而对于均匀量化，基线 ResNet 所有层的参数只能压缩到 8 比特而没有准确度损失（压缩到 4 比特会产生 1.6% 的 Top-1 准确度损失）。非均匀量化可以很好的捕捉到权重的不均匀分布，而均匀量化不能很好的实现这一点。第五章 DSD: Dense-Sparse-Dense Training现代高性能硬件的出现使得训练复杂、模型容量巨大的 DNN 模型变得更加简单。复杂模型的优势是它们对数据的表达能力很强并且能捕捉到特征和输出之间的高度非线性的关系。而复杂模型的劣势在于，比起训练数据中所需要的模式，它们更容易捕捉到噪声。这些噪声并不会在测试数据中生成，从而使模型产生过拟合和高方差。然而，只是简单的减少模型容量会导致另一个极端：欠拟合和高偏差（机器学习系统不能准确捕捉特征和输出之间的关系）。所以，偏差和方差很难同时优化。为了解决这个问题，我们提出了 dense-sparse-dense（DSD）训练流，以正则化深度神经网络，防止过拟合并达到更高的准确度。传统的训练方法通常是同时训练所有的参数，而 DSD 训练法会周期性的修剪和恢复神经连接，训练过程中的有效连接数量是动态变化的。剪枝连接允许在低维空间中进行优化，捕捉到鲁棒性特征；恢复连接允许增大模型的容量。传统的训练方法只在训练开始的时候将所有权重初始化一次，而 DSD 训练法允许连接在周期性剪枝和恢复的中有多于一次的机会执行初始化。DSD 的一个优势是最后的神经网络仍然拥有和初始的密集模型同样的架构和维度，因此 DSD 训练不会产生任何额外的推断成本。使用 DSD 模型进行推断不需要指定专门的硬件或专门的深度学习框架。实验证明 DSD 可以可以提高多种 CNN、RNN 和 LSTM 在图像分类、生成文字描述和语音识别任务的性能。在 ImageNet 上，DSD 提升了 GoogleNet Top-1 准确度 1.1%、VGG-16 Top-1 准确度 4.3%、ResNet-18 Top-1 准确度 1.2%、ResNet-50 Top-1 准确度 1.1%。在 WSJ』93 数据集上，DSD 把 DeepSpeech 和 DeepSpeech2 的错误率（WER）分别降低了 2.0% 和 1.1%。在 Flickr-8K 数据集上，DSD 将 NeuralTalk BLEU 的分数提高了 1.7 以上。图 5：DSD（Dense-Sparse-Dense）训练法中迭代进行剪枝和恢复权重的过程。第六章 EIE：用于稀疏神经网络的高效推断机6.1 介绍第三、四、五章介绍了三种提高深度学习效率的方法，本章着重介绍高效实现这些方法的硬件，「高效推断机」（EIE）[28]。该机器可以在稀疏的压缩模型上直接执行推断，节省内存带宽，实现大幅加速和能耗节约。通过剪枝和量化训练 [25] [26] 实现的深度压缩能够大幅降低模型大小和读取深度神经网络参数的内存带宽。但是，在硬件中利用压缩的 DNN 模型是一项具有挑战性的任务。尽管压缩减少了运算的总数，但是它引起的计算不规则性对高效加速带来阻碍。例如，剪枝导致的权重稀疏使并行变的困难，也使优秀的密集型线性代数库无法正常实现。此外，稀疏性激活值依赖于上一层的计算输出，这只有在算法实施时才能知道。为了解决这些问题，实现在稀疏的压缩 DNN 模型上高效地运行，我们开发了一种专门的硬件加速器 EIE，它通过共享权重执行自定义的稀疏矩阵乘法，从而减少内存占用，并在执行推断时实现大幅加速和能耗节约。EIE 是处理单元（processing element／PE）的一种可扩展数组（scalable array）。它通过在处理单元上交织（interleave）矩阵的行来分配稀疏矩阵并实现并行计算。每个处理单元在 SRAM 中存储一个网络分区，与子网络共同执行计算。EIE 利用了静态权重稀疏性、动态激活向量稀疏性、相对索引（relative indexing）、共享权重和极窄权重（4 比特/extremely narrow weights）。图 6.1：压缩 DNN 模型在 EIE 上运行。EIE 架构如图 6.1 所示。EIE 以压缩稀疏列（compressed sparse column，CSC）格式存储权重不为零的稀疏权重矩阵 W。EIE 只在权重和激活值都不为零的情况下执行乘法。EIE 以游程编码（run-length encoded）格式存储每个权重的地址索引。在量化训练和共享权重之后，每个权重只占用 4 比特，它们可访问由 16 个寄存器实现的查找表以解码成 16 比特权重。为评估 EIE 的性能，我们创建了行为级仿真和 RTL 模型，然后将 RTL 模型综合、布局布线，以提取准确的能量和时钟频率。将 EIE 在九个 DNN 基准上进行评估，它的速度分别是未压缩 DNN 的 CPU 和 GPU 实现的 189 和 13 倍。EIE 在稀疏网络上的处理能力为 102 GOPS/s，相当于在同等准确度的稠密网络上 3 TOPS/s 的处理能力，且仅耗散 600mW 的能量消耗。EIE 的能耗分别比 CPU 和 GPU 少了 24,000 倍和 3,400 倍。EIE 的贡献如下：稀疏权重：EIE 是第一个用于稀疏和压缩深度神经网络的加速器。直接在稀疏压缩模型上运行可使神经网络的权重适应芯片上 SRAM，比访问外部 DRAM 节省 120 倍的能耗。通过跳过零权重，EIE 节省了 10 倍的计算周期。稀疏激活值：EIE 利用激活函数的动态稀疏性来节约算力和内存。EIE 通过避免在 70% 的激活函数上的计算节约了 65.16% 的能量，这些激活函数在典型深度学习应用中的值为零。权重编码：EIE 是第一个用非统一量化、极窄权重（每个权重 4 比特）利用查找表执行推断的加速器。与 32 比特浮点相比，它获取权重节约了 8 倍的内存占用，与 int-8 相比，它节约了 2 倍的内存占用。并行化：EIE 引入了在多个处理单元上分配存储和算力的方法，以并行化稀疏层。EIE 还引入架构改变以达到负载平衡和优秀的扩展性。第七章 结论深度神经网络改变了大量 AI 应用，也正在改变我们的生活。但是，深度神经网络需要大量的计算量和内存。因此，它们很难部署到计算资源和能源预算有限的嵌入式系统中。为了解决该问题，我们提出了改善深度学习效率的方法和硬件。图 7.1：论文总结本文从三方面研究如何提高深度学习的效率：利用深度压缩实现更小的模型大小、利用 DSD 正则化实现更高的预测准确度，以及利用 EIE 加速实现快速、能耗低的推断（图 7.1）。这三个方面遵循相同的原则：利用神经网络的稀疏性进行压缩、正则化和加速。论文地址：https://stacks.stanford.e/file/druid:qf934gh3708/EFFICIENT%20METHODS%20AND%20HARDWARE%20FOR%20DEEP%20LEARNING-augmented.pdf百度AI实战营·深圳站将于 10 月 19 日在深圳科兴科学园国际会议中心举行，AI 开发者与希望进入 AI 领域的技术从业者请点击「阅读原文」报名，与百度共同开创人工智能时代。

很少有人的博士论文能够成为「爆款文章」，但陈丹琦做到了。这位近日从斯坦福毕业的计算机科学博士引发了人们的广泛关注。据斯坦福大学图书馆介绍，她长达 156 页的毕业论文《Neural Reading Comprehension and Beyond》上传仅四天就获得了上千次的阅读量，成为了斯坦福大学近十年来最热门的毕业论文之一。斯坦福大学还因此对陈丹琦进行了一次简单采访。陈丹琦激动人心的研究迅速在社交网络和其他专注机器学习的新闻网站上传播。她的指导老师——斯坦福 AI 实验室负责人、人工智能领域著名学者、斯坦福大学语言学和计算机科学教授克里斯托弗·曼宁（Christopher Manning）在采访中表示：「陈丹琦是使用神经网络方法解决自然语言理解问题方面的先驱。她简单、干净、高成功率的模型吸引了众人的目光……她的这篇毕业论文主要研究神经网络阅读理解和问答，这些新兴技术正在带来更好的信息访问方式——它可以让计算机系统可以真正回答你的实际问题，而不是简单地返回文档搜索结果。」陈丹琦目前正在访问 Facebook 人工智能研究院 Facebook AI Research 和华盛顿大学，在今年秋季，她即将前往普林斯顿大学计算机科学系担任助理教授。在毕业于斯坦福大学之前，陈丹琦于 2012 年毕业于清华大学计算机科学实验班（“姚班”）。值得一提的是，她在高中（长沙市雅礼中学）参加信息学国家队集训期间提出了 cdq 分治算法，用于处理一类分治问题；在高中期间她还发明了插头 DP，主要用于解决数据规模小的棋盘模型路径问题。大牛果然在高中期间就已经「起飞」了。陈丹琦获得的荣誉和参与的研究还有很多。2010 年，她获得了 ACM ICPC 国际大学生程序设计竞赛全球总决赛银牌。在斯坦福期间，她在 2014 年发表的论文《A Fast and Accurate Dependency Parser using Neural Networks》堪称深度学习依存分析方法的「开山之作」，她和曼宁教授提出的方法在保持精度的前提下，将解析速度提高了 60 倍。热门的博士毕业论文这篇毕业论文名为《Neural Reading Comprehension and Beyond》，描述了她在博士期间的三个重要研究，以解决「人工智能中最难以捉摸和长期存在的挑战之一」：如何让机器学会理解人类语言。让我们看看她的毕业论文究竟说了什么。摘要教机器学会理解人类语言文本是人工智能领域最困难的长期挑战之一。本论文致力于解决阅读理解问题，即如何构建一个计算机系统来阅读一段文本并回答理解问题。一方面，我们认为阅读理解是衡量计算机系统理解人类语言程度的重要任务。另一方面，如果我们可以构建高性能的阅读理解系统，那么这些系统就会成为问答、对话系统等应用的关键技术。本论文聚焦于神经阅读理解，这是一类构建在深度神经网络之上的阅读理解模型。与基于特征的手工传统模型相比，这些端到端的神经模型已被证明在学习丰富的语言现象方面更加有效，在所有现有阅读理解基准测试中都有大幅度的提高。本论文包含两个部分。第一部分旨在概括神经阅读理解的本质并展示我们在构建高效神经阅读理解模型方面所做的工作。更重要的是了解神经阅读理解模型实际上学习了什么，以及解决当前任务需要怎样的语言理解深度。我们还总结了该领域的当前进展并讨论了未来的发展方向以及一些待解决的问题。第二部分将探讨如何基于神经阅读理解的当前成果构建实际应用。我们开拓了两个研究方向：1）我们如何将信息检索技术与神经阅读理解相结合，来解决大型开放域问答问题；2）我们如何从当前基于跨距的（span-based）单轮（single-turn）阅读理解模型构建对话问答系统。我们在 DRQA 和 COQA 项目中实现了这些想法，证明了这些方法的有效性。我们相信，这些技术对于未来的语言技术将非常有帮助。动机让机器学会理解人类语言文本是人工智能领域最难的长期挑战之一。在开始做这件事之前，我们必须要知道理解人类语言意味着什么？图 1.1 展示了 MCTEST 数据集（Richardson et al., 2013）中的一个儿童故事，只有简单的词汇和语法。为了处理这样一段文字，NLP 社区花费了数十年的精力来解决各种不同的文本理解任务，包括：a）词性标注。它要求机器理解这些东西：如在第一个句子「Alyssa got to the beach after a long trip」中，Alyssa 是专有名词，beach 和 trip 是普通名词，got 是动词的过去式，long 是形容词，after 是介词。b）命名实体识别。机器要能够理解 Alyssa、Ellen、Kristen 是人名，Charlotte、Atlanta、Miami 是地名。c）句法分析。为了理解每句话的含义，机器需要理解单词之间的关系，或句法（语法）结构。还是以第一句话为例，机器要能够理解 Alyssa 是主语，beach 是动词 got 的宾语，而 after a long trip 是介词短语，描述了和动词的时间关系。d）共指消解（coreference resolution）此外，机器甚至还要理解句子之间的相互作用。例如，句子「She's now in Miami」中的 she 指的是第一句话中提到的 Alyssa，而第六行中的「The girls」指的是前面提到的 Alyssa、Ellen、Kristen 和 Rachel。是否有全面的评估方法来测试所有这些方面并探索更深层次的理解呢？我们认为阅读理解任务（根据一段文字回答理解问题）就是一个合适又重要的方法。正如我们会用阅读理解来测试人们对一段文本的理解程度，我们认为它同样能够用来测试计算机系统对人类语言的理解程度。我们可以看看基于相同段落（图 1.1）提出的一些阅读理解问题：a）要回答第一个问题「What city is Alyssa in？」机器要找到句子「She's now in Miami」并解决「She 指的是 Alyssa」这个共指消解问题，最后再给出正确答案「Miami」。b）对于第二个问题「What did Alyssa eat at the restaurant？」，机器首先要找到句子：「The restaurant had a special on catfish.」和「Alyssa enjoyed the restaurant's special.」，然后理解第二个句子中 Alyssa 吃的 special 就是第一个句子中的 special。而第一个句子中 special 提到的是 catfish，所以最终正确答案是 catfish。c）最后一个问题比较有难度。为了正确回答该问题，机器要找出该段落中提到的所有人名及其之间的关系，然后进行算术推理（arithmetic reasoning），最终给出答案「3」。可以看到，计算机系统要了解文本的各个方面才能正确回答这些问题。因为问题可以被设计为询问那些我们关心的方面，阅读理解应该是用来评估语言理解程度的最合适任务。这也是本文的中心主题。在本文中，我们研究了这样一个阅读理解问题：我们该如何构建计算机系统来阅读文章并回答这些理解问题？尤其是，我们重点关注神经阅读理解——一种用深度神经网络构建的阅读理解模型，该模型被证明比基于特征的非神经模型更有效。阅读理解领域历史悠久。早在 20 世纪 70 年代，研究人员就已经认识到它是测试计算机程序语言理解能力的重要方法 (Lehnert, 1977)。但是，它却被忽视了数十年，直到最近才获得了大量关注并取得了快速的进展（如图 2.1 所示），包括我们将在本文详述的工作。阅读理解近期取得的成功可以归功于两方面：从（文章、问题、答案）三个方面创建的大规模监督数据集；神经阅读理解模型的发展。图 1.2：谷歌上的搜索结果。它不仅返回了搜索文档列表，还给出了文档中更精确的答案。本文涵盖了当代神经阅读理解的本质：问题的形式，这些系统的组成部分和关键成分，以及对当前神经阅读理解系统优势和弊端的理解。本文的第二个中心主题是，我们坚信，如果可以构建高性能的阅读理解系统，那这些系统将是建立诸如问答和对话系统等应用的关键技术。事实上，这些语言技术已经与我们的日常生活息息相关了。例如，我们在谷歌上搜索「有多少人在斯坦福大学工作？」（图 1.2），谷歌将不仅返回文档列表，还会阅读这些网页文档并突出显示最可靠的答案，并将它们展示在搜索结果的顶部。这正是阅读理解可以帮助我们的地方，使搜索引擎变得更加智能。而且，随着数字个人助理（如 Alexa、Siri、谷歌助手或者 Cortana）的发展，越来越多的用户通过对话和询问信息问题来使用这些设备。我们相信，构建能够阅读和理解文本的机器也将大大提升这些个人助理的能力。因此，如何根据神经阅读理解近期取得的成功来创建实际应用程序也是我们感兴趣的一方面。我们探索了两个将神经阅读理解作为关键组成部分的研究方向：开放域问答结合了来自信息检索与阅读理解的挑战，旨在回答来自网络或大型百科全书（如维基百科）的一般性问题。对话式问答结合了来自对话和阅读理解的挑战，解决了一段文字中的多轮问答问题，比如用户如何与智能体互动对话。图 1.3 展示了来自 COQA 数据集 (Reddy et al., 2019) 的一个示例。在该例子中，一个人可以基于 CNN 文章内容提出一系列相互关联的问题。图 2.2：论文整理了神经阅读理解中数据集（黑色）和模型（蓝色）的最新重要进展。在这个表中，除 BERT (Devlin et al., 2018) 外，以相应论文的发表日期排序。六年博士心路历程在博士论文中，陈丹琦也介绍了自己博士期间的学习经历，感谢了在前进过程中给予了她极大帮助的一批人，包括父母、老师、爱人、朋友。机器之心编译介绍了致谢中的部分内容，让我们一窥优秀的人砥砺前行的历程：对于我来说，在斯坦福的六年是一段难忘的宝贵经历。2012 年刚开始读博的时候，我甚至都不能说出流利的英语（按照要求，我要在斯坦福修 5 门英语课程），对这个国家也知之甚少，甚至从未听说过「自然语言处理」这一概念。不可思议的是，在过去的几年里我竟然一直在做语言方面的研究，训练计算机系统理解人类语言（多数情况下是英语），我自己也在学习用英语进行沟通、写作。同时，2012 年也是深度神经网络开始起飞并主导几乎所有我们今天看到的人工智能应用的一年。我从一开始就见证了人工智能的快速发展，并为即将成为这一浪潮的一份子而感到兴奋（有时是恐慌）。如果没有那么多人的帮助和支持，我也不可能走到今天。我由衷地感谢他们。首先要感谢的是我的导师克里斯托弗·曼宁。我刚来斯坦福的时候还不知道 Chris。直到和他一起工作了几年、学了 NLP 之后，我才意识到自己何其荣幸，能够和这一领域如此杰出的人才共事。他对这一领域总是充满洞察力，而且非常注重细节，还能很好地理解问题的本质。更重要的是，Chris 是一个非常善良、体贴、乐于助人的导师。有师如此，别无他求。他就像我的一位老友（如果他不介意我这么说的话），我可以在他面前畅所欲言。他一直对我抱有信心，即使有时候我自己都没有自信。我一直都会对他抱有感激，甚至现在已经开始想念他了。除了 Chris，我还想感谢 Dan Jurafsky 和 Percy Liang——斯坦福 NLP Group 的另外两位杰出人才————他们是我论文委员会的成员，在我的博士学习期间给予了我很多指导和帮助。Dan 是一位非常有魅力、热情、博学的人，每次和他交谈之后我都感觉自己的激情被点燃了。Percy 是一位超人，是所有 NLP 博士生的榜样（至少是我的榜样）。我无法理解一个人怎么可以同时完成那么多工作，本论文的很大一部分都是以他的研究为基础进行的。感谢 Chris、Dan 和 Percy 创建了斯坦福 NLP Group，这是我在斯坦福的家，我很荣幸成为这个大家庭的一员。此外，Luke Zettlemoyer 成为我的论文委员会成员也让我感到万分荣幸。本论文呈现的工作与他的研究密切相关，我从他的论文中学到了很多东西。我期待在不远的将来与他一起共事。读博期间，我在微软研究院和 Facebook AI Research 获得了两份很棒的实习经历。感谢 Kristina Toutanova、Antoine Bordes 和 Jason Weston 在实习期间给予我的指导。我在 Facebook 的实习项目最终给了我参与 DRQA 项目的契机，也成为了本论文的一部分。感谢微软和 Facebook 给予我奖学金。我要感谢我的父母 Zhi Chen 和 Hongmei Wang。和这一代大多数中国学生一样，我是家里的独生子女。我和父母的关系非常亲密，即使我们之间有着十几个小时的时差而我每年只能挤出 2-3 周的时间来陪他们。是他们塑造了今天的我，廿载深恩，无以为报，只希望我目前所取得的一切能够让他们感到一丝骄傲和自豪吧。最后，在这里我要感谢俞华程对我的爱与支持（我们在这篇博士毕业论文提交之前 4 个月结婚了）。我在 15 岁时遇见了华程，从那时起我们一起经历了几乎所有的事情：从高中的编程竞赛到清华大学美好的大学时光，然后又在 2012 年共同进入斯坦福大学攻读计算机科学博士学位。在过去的十年里，他不仅是我的伴侣、我的同学、我最好的朋友，也是我最钦佩的人，因为他时刻保持谦虚、聪慧、专注与努力。没有他，我就不会来到斯坦福。没有他，我也不会获得普林斯顿的职位。感谢他为我所做的一切。致我的父母和俞华程，感谢他们无条件的爱。来源：清华招生 机器之心