陈根：Facebook开发神经超采样技术，虚拟现实进一步更新

陈根：Facebook开发神经超采样技术，虚拟现实进一步更新

• 来源:网络
• 更新日期:2020-07-06

摘要：文/陈根SIGGRAPH 2020大会即将召开，Facebook研究人员近日更新了一篇文章，介绍了“神经超采样”（neural supersampling）技术。这是一种根据人工智能机器学习为基础的提

文/陈根

SIGGRAPH 2020大会即将召开，Facebook研究人员近日更新了一篇文章，介绍了“神经超采样”（neural supersampling）技术。这是一种根据人工智能机器学习为基础的提高图像清晰度的算法技术，跟NVIDIA的DLSS“深度学习超采样”技术相似。不同的是，这个神经超采样并不需要专门的硬件或者软件就能实现，基本可以媲美DLSS的效果。

这种“神经超采样”算法可以获得低分辨率的渲染帧并将其放大16倍，这意味着未来科技方向上将发生更多的变化。例如，未来的耳机，理论上可以驱动双3K面板，每只眼睛只渲染1K甚至不需要眼睛跟踪。

能够以较低的分辨率进行渲染，意味着更多的GPU功能可以自由运行详细的着色器和高级效果，这可以弥合从移动虚拟现实到控制台虚拟现实的差距。虽然这并不能把移动芯片变成游戏机，但它应该在某种程度上缩小差距。

Facebook声称它的神经网络是最先进的，它的性能超过了所有其他类似的算法这也是它能够实现16倍升级的原因。在所提供的示例图像中，Facebook的算法似乎已经达到了可以重建线条或网格图案等精细细节的地步。

事实上，早在3月份，Facebook就发表了一篇类似的文章。文中描述了利用神经上采样来释放GPU功耗的思想。研究人员的期望找出一个“框架”，在当前的渲染管道（低延迟）内实时运行机器学习算法，他们实现了这一点。将该框架与神经网络相结合可以使这项技术实用化。

随着AR/VR显示器向着更高分辨率、更快的帧速率和更高的真实感的方向发展，神经超采样方法可能是通过从场景数据中推断出清晰细节而不是直接渲染这些细节的关键。这项工作为未来的高分辨率虚拟现实指明了方向，不仅仅是显示器，还有实际驱动所需的算法。

目前，这只是一个研究，研究人员“相信通过进一步的网络优化、硬件加速和专业级的工程设计，这种方法可以明显更快”。Facebook将这种方法归类为“神经渲染”，科技的更迭正以超出了任何人的预期的速度发展着。