阿里斩获 AI 领域 “奥斯卡” 四项冠军，新研究可精准预测视频目标位置

阿里斩获 AI 领域 “奥斯卡” 四项冠军，新研究可精准预测视频目标位置

• 来源:网络
• 更新日期:2020-06-29

摘要：业界普遍认为，视频分割技术将成为线上会议、直播、自动驾驶、影视制作等场景的标配。例如直播场景使用阿里 AI 算法，可以实现一秒钟替换背景；在自动驾驶中，视频分割也是自动驾驶

业界普遍认为，视频分割技术将成为线上会议、直播、自动驾驶、影视制作等场景的标配。例如直播场景使用阿里 AI 算法，可以实现一秒钟替换背景；在自动驾驶中，视频分割也是自动驾驶系统识别障碍物的关键技术。因此，视频分割技术将会和我们更加息息相关。

近日，全球计算机视觉顶会 CVPR 2020（CVPR，即 IEEE 国际计算机视觉与模式识别会议）公布各大挑战赛结果，阿里巴巴（以下称 阿里 ）获得四项比赛的世界冠军，其中，在难度最高的 DAVIS（ Densely Annotated Video Segmentation，密集标注视频分割 ）挑战赛中，阿里提出了可以精准预测视频目标位置的方法，并且首次以超过 80 分的成绩夺得第一名。

CVPR 是 AI 领域规模最大的会议，被誉为计算机视觉领域 奥斯卡 ，其范围涵盖计算机视觉领域的前瞻学术研究和工业应用，会议的研究成果体现着视觉 AI 领域研究的趋势。由于视频会议、直播等应用逐渐普及，2020 年顶级科技公司的研究成果逐步从图像延伸到视频领域，涉及视频压缩、视频分割、三维视觉等领域。

和图像识别不同，AI 分析理解视频的技术门槛更高，长期以来，业界在视频 AI 技术的研究上鲜有重大突破。以 CVPR 会议难度最高的比赛之一 DAVIS 为例，该比赛需要参赛团队精准处理复杂视频中物体快速运动、外观变化、遮挡等信息。过去几年，全球顶级科技公司在该比赛中的成绩从未突破 80 分。

据介绍，阿里参加的四项比赛均为视频技术领域。在 DAVIS 挑战赛中，阿里达摩院团队率先实现突破，力压悉尼科技大学 ReLER 实验室，以 84.1 的分数获得了第一名，比 2019 年第一名的中兴和华中科技大学联合团队高出 7.4 分。

图 | 阿里 AI 以 84.1 分的成绩斩获 DAVIS 比赛第一名

具体来说，阿里参与的是 DAVIS 半监督赛道。要求是假设用户不与算法交互以获取分割掩膜，输入值只给出第一帧的正确掩膜，算法需要在后续每一帧中实现对单个或多个目标的分割，也就是要把目标的像素标注出来。

如上图所示，衡量分割准确率有两种标准，分别以 J 和 F 为代号，代表区域相似度（Region Similarity）和轮廓准确度（Contour Accuracy）。前者测量正确像素的标注数量，后者测量目标轮廓的分割有多精准。最终成绩是 J 和 F 标准的综合分。

公开资料显示，在现有的 STMVOS 方法（利用空间 - 时间记忆网络分割视频目标）基础上，阿里提出了一种全新的空间约束方法，打破了传统 STM 方法缺乏时序性且会受到相似目标误导的瓶颈，可以让系统基于视频前一帧画面预测目标物体下一帧的位置；此外，阿里还引入了语义分割中的精细化分割微调模块，大幅提高了分割精细程度。最终，精准识别动态目标的轮廓边界，并且与背景进行分离，实现像素级目标分割。

图 | 阿里 AI 可以基于视频前一帧画面，精准预测目标物体下一帧的位置

作为对比，今年 DAVIS 挑战赛第二名 ReLER 实验室提出的 CFBI + 算法，原本领先基础 STMVOS 算法近 10 分，但阿里团队使用空间约束方法、新型训练策略和微调等技术，将基础算法的表现大幅提高了 12 分，摘下桂冠。

在另外两个比赛，HACS 人类动作短视频识别和 DeepFashion 服装识别中，阿里团队也获得了第一名。

除获得四项比赛冠军，阿里还有 17 篇论文入选 CVPR 2020，其中包括一篇自动驾驶领域的研究成果，该论文提出了一个通用、高性能的自动驾驶检测器，首次实现 3D 物体检测精度与速度的兼得，可以有效提升自动驾驶系统安全性能。

目前，阿里视觉 AI 技术已在全球率先实现大规模落地。例如，城市大脑、拍立淘、优酷视频等阿里集团内部业务场景均已大规模使用该技术；阿里 CT 影像 AI 已经服务全球 600 多家医疗机构，疫情期间已完成 50 余万例病例临床诊断。