ICML 2020 放榜：北理工硕士一作拿下杰出论文奖，清华大学占据国内论文量榜首

ICML 2020 放榜：北理工硕士一作拿下杰出论文奖，清华大学占据国内论文量榜首

• 来源:网络
• 更新日期:2020-07-15

摘要：作者 | 蒋宝尚、陈大鑫编辑 | 丛 末ICML 2020杰出论文新鲜出炉！昨日，国际机器学习顶会ICML 2020于“线上”公布了本届大会的杰出论文奖，获此殊荣的一共有两篇：《Tunin

作者 | 蒋宝尚、陈大鑫

编辑 | 丛 末

ICML 2020杰出论文新鲜出炉！

昨日，国际机器学习顶会ICML 2020于“线上”公布了本届大会的杰出论文奖，获此殊荣的一共有两篇：

《Tuning-free Plug-and-Play Proximal Algorithm for Inverse Imaging Problems》，其中一作是来自北京理工的硕士生魏恺轩，其导师是北京理工大学付莹教授。

《On learning Sets of Symmetric Elements》，其中一作是英伟达的研究员Haggai Maron，2019年在魏茨曼科学研究院获得博士学位。

除了这两篇杰出论文之外，在大会开始之前，组委会就公布了时间检验奖，获奖论文是10年前的一篇ICML论文：《Gaussian Process Optimization in the Bandit Setting:No Regret and Experimental Design》。组委会表示：“在过去的十年中，这篇论文对机器学习社区产生了深远的影响，包括方法本身、使用的证明技术和实验结果都经受住了考验。

两篇杰出论文奖，一篇时间检验奖都讲了啥？

1

杰出论文奖

1、《逆成像问题的无调整即插即用近似算法》，这篇论文的作者有六位，前面也提到，其中论文的一作是来自北京理工大学魏恺轩，其导师付莹也在论文作者之列。

论文标题：Tuning-free Plug-and-Play Proximal Algorithm for Inverse Imaging Problems

论文链接：https://arxiv.org/abs/2002.09611

在这篇论文中，作者提出了一个无需调参的即插即用近似算法，可以自动确定内部参数，包括包括惩罚参数、去噪强度和终止时间等。

据介绍，此方法的核心是建立一个用于自动搜索参数的策略网络，该网络可以通过混合无模型和基于模型的深度强化学习进行有效学习。

另外在论文中作者还证明了所学习的策略可以为不同的状态定制不同的参数，并且通常比现有的手工调参更高效。作者还讨论了插入式去噪器的实际考虑，并且结合所学到的策略取得了SOTA效果。

2、《关于对称元素的学习集》，这篇论文的作者有四位，其中一作是英伟达的研究员Haggai Maron。

论文标题：On learning Sets of Symmetric Elements

论文链接：https://arxiv.org/abs/2002.08599

这篇论文提出了学习一般对称元素集的原则性方法，在文章中，作者首先刻画了线性层的空间，并让这些线性层空间与元素的重新排序和元素的固有对称性(如图像中的平移)是等价的。

然后表明由这些线性层组成的网络，是不变和等价函数的通用近似器，可以称之为对称元素层的深度集（Deep Sets for Symmetric elements layers，DSS）。另外，DSS层的实现也很简单。

最后，作者在对图像、图形和点云等进行一系列实验之后看到，作者的方法比现有的集合学习架构有所改进。

2

时间检验奖

本次获得时间检验奖的是一篇中译为：《赌博机环境下的高斯过程优化：无遗憾与实验设计》文章。

论文标题：Gaussian Process Optimization in the Bandit Setting:No Regret and Experimental Design

论文链接：https://icml.cc/Conferences/2010/papers/422.pdf

这篇文章十年前发表在ICML上，关于获奖理由，组委会给出了三点。具体而言，这篇论文通过分析高斯过程的赌博机优化，将贝叶斯优化、赌博机和实验设计完美的结合在一起，给出了一种基于互信息增益量导出有限样本遗憾界的新方法。该方法在过去的十年间，为理论到实践的众多工作中提供了新的思路，丰富了机器学习的社区。

获奖理由如下：

一、“本论文的结果影响了现代深度学习系统中当前的超参数搜索方法，并且本论文算法甚至在十年后仍然是一种流行算法。本文的定理和引理在最近的论文中都有引用，并且论文中的证明技术在后续的众多论文中一直被引用。在技术深度和影响力的二重奏中，这篇论文明显地脱颖而出。”

二、“在过去的十年中，贝叶斯优化已成为解决许多机器学习问题的有力工具……证明中使用的数学技术极大地影响了后续研究。” “这是一个很好的原始分析，它影响了许多随后的高斯赌博机优化和贝叶斯优化论文，并且是许多贝叶斯优化论文的收敛性分析的基矗因此它已成为著名的论文，并在理论和实践上对贝叶斯优化实验设计、超参数调整都产生了持续影响。”

三、“使用高斯过程的贝叶斯优化是黑盒超参数调整和AutoML的一项重要技术。但是，这种方法没有明确的有限样本收敛理论。本文将贝叶斯优化视为赌博机问题，并在信息增益方面获得了GP-UCB的累积遗憾界。这是对贝叶斯优化的首次有限样本理论分析，它在理论和实践上都将产生重大的长期影响。”

3

北理工研二学生斩获杰出论文一作

从作者的个人主页我们得知，此同学目前是研二学生，师承北京理工大学计算机学院可视媒体计算实验室的付莹教授。其于2018年在北京理工大学获得电子工程学士学位，在2019年夏季成为剑桥图像分析小组的访问学者，当时的导师是梁经纬和Angelica I. Aviles-Rivero。此外，他还与微软亚洲研究院的杨蛟龙有密切合作。

从他个人主页还可以看到，除了ICML 2020，他在CVPR 2020、CVPR 2019顶会上皆有论文发表。

另外，他还是多个顶级会议的审稿人，包括WACV’20,、ECCV’20,、NeurIPS’20 以及SIGGRAPH Asia’20。

4

ICML 2020 数据一览

据大会官方介绍，这届会议一共判了4990份“试卷”，1088位作者成功拿到了入场券。相比去年774篇收录，3424份提交申请，以及22.6%的接收率，虽然在录取的“绝对数量”上面有所增长，但是分母的增长，也带来了录取率的下降。

图注：从具体数据可以看到，ICML录取率已经是四连降了

具体的大会论文数据，早在今年6月份，一位名叫 Sergei Ivanov 就在Medium上面放出了详细整理。

在ICML上虽然发表论文非常难，但是东京大学的Masashi Sugiyama 却有11篇论文入选，数量稍微差一点的是DeepMind的Michal Valko， UC Berkeley的Michael Jordan以及谷歌的Dale Schuurmans，分别都有8篇入眩

机构层面如何呢？如上图所示，谷歌占据了榜首，麻省理工排名第二，斯坦福大学位列第三，数量分别是：114篇、69篇、62篇。值得一提的是，由于部分论文是合作完成的，因此Google的114篇和Deepmind的51篇中有部分重合。

上图是国家层面的统计，据作者介绍，他做的关联数据的统计可能会有偏差，主要是因为无法辨认的人名缩写、不同人对同一机构的不同叫法、错别字等问题。

美国研究者参与的论文有 728 篇，大约是论文总数的 3/4，排第二是英国的123 篇，中国以122篇排在第三位。

作者在博客中也对统计规则进行了说明：国家或地区是根据组织机构的总部所在地而定，而非论文作者所在位置。因此，如果一位论文作者在 Google 苏黎世工作，那么该论文被计入美国，而不是瑞士。

上面是国家的总体情况，下面每个国家的数据具体看看：

美国学界和业界都有大量的论文产出，而且数量差别不是很大。

在英国，Deepmind的数论数量一骑绝尘，大学研究院分别跟随。

在中国，清华大学、北京大学、上海交通大学、南京大学名列前茅，百度和华为以及阿里巴巴数量都超过了五篇。

加拿大的大学几乎“垄断”了ICML的论文。

法国和德国的情况如上所示。

综上，似乎除了美国和中国以外，大多数排名靠前的组织都是大学。在全球范围内，大学发表的论文数量是公司的3倍。

论文协作是什么情况呢？大多数论文有 3-4 个作者，但是也有一些例外情况，比如 15 个作者。

有 15 个作者的两篇论文分别是：由来自谷歌、牛津大学、剑桥大学、哥伦比亚大学和伯克利大学 15 位研究者发表的论文《Stochastic Flows and Geometric Optimization on the Orthogonal Group》和来自天津大学、阿里巴巴、清华大学以及上海交大的 15 位研究者发表的论文《Dynamic Knapsack Optimization Towards Efficient Multi-Channel Sequential Advertising》。

在机构层面，大多数论文都是1个或者两个机构，但也有两篇论文有7个组织参与。这两篇论文分别是：

《Stochastic Flows and Geometric Optimization on the Orthogonal Group》作者来自Google，微软，华沙大学，阿姆斯特丹大学，加州大学欧文分校，苏黎世联邦理工学院和伦敦帝国理工学院。

《Dynamic Knapsack Optimization Towards Efficient Multi-Channel》 ，作者来自蒙特利尔大学、IIIT Hyderabad、麻省理工学院、Mila、特拉华大学以及 LinkedIn。

招 聘

AI 科技评论希望能够招聘 科技编辑/记者 一名

办公地点：北京

职务：以跟踪学术热点、人物专访为主

工作内容：

1、关注学术领域热点事件，并及时跟踪报道；

2、采访人工智能领域学者或研发人员；

3、参加各种人工智能学术会议，并做会议内容报道。

要求：

1、热爱人工智能学术研究内容，擅长与学者或企业工程人员打交道；

2、有一定的理工科背景，对人工智能技术有所了解者更佳；

3、英语能力强（工作内容涉及大量英文资料）；

4、学习能力强，对人工智能前沿技术有一定的了解，并能够逐渐形成自己的观点。