财讯：高糊视频秒变4K，Facebook发布低分辨率视频实时渲染算法

本篇文章2297字，读完约6分钟

贾浩楠发自凹非寺

量子比特报道|公众号qbitai

你还记得那个引起了很大争论，最后想把lecun赶出推特的低分辨率图像复原算法pulse吗？

pulse通过比较低分辨率图像复原了，但pulse登场后不久，出现了比较模糊的视频进行实时高分辨率渲染的算法。

前几天，facebook发表了即将举行的siggraph会议上展示的新论文，提出了新的神经网络算法神经超采样。

新算法可以将低分辨率视频的4*4实时渲染，即大部分视频分辨率提高16倍，直接转换为4k视频！

1080p的视频渲染延迟控制在24.4ms！

除了超低延迟外，该算法的重大进步是摆脱了特定硬件和技术的束缚，如幻想引擎的taau和英伟达的dssl，可以在pc上实现。

高胶骑兵影像很快就会变成4k！

当然，直接实时渲染效果是实测的。

下图从上到下分别是低分辨率输入视频、神经过采样算法(分辨率提高16倍)渲染结果、离线渲染目标视频截图。

“神经过采样”算法的实时渲染输出表明，视频的细节精度高度接近目标渲染视频。

这样出色的表现震惊了网民。 facebook方面认为这项技术将来最能用于游戏开发和实时vr技术，但网民们称之为fb，想看到这项技术被用于三角洲部队和驱逐等年轻的3d游戏的重置。

有些游戏已经重新制版了，但这个算法可以实现自动渲染，大大提高效率。

那么，这个高性能的实时渲染算法到底是怎么实现的呢？

秒变4k是如何实现的

构建神经采样实时渲染( neural-supersamplingforrealtimerendering )算法主要有四个不同的功能模块。

首先是特征提取模块，包括三层卷积神经网络。 该子互联网单独解决各个输入帧，在除当前帧以外的所有帧中共享权重。

每帧，特征提取模块以颜色和深度为输入，生成8通道的学习特征，连接输入的颜色和深度，得到共计12通道的特征。 互联网如下图所示。。

然后，为了降低重建互联网的多样性，该算法应用时空再投影，使用渲染的运动向量，从而当前投影前一帧的像素样本和学习特征。

为了完全利用下位像素的后方运动矢量，需要在目标(高)分辨率空间进行空再投影。 首先，使用将输入(低)分辨率空间的像素样本投影到高分辨率空间，将各个输入像素分配给对应的高分辨率像素，使其周围缺失的像素为零的上零采样方法。

每个输入像素的位置平均在高分辨率像素(上采样比)之间下降。 选择上零采样，一是为了提高效率，二是为了在互联网上提供那些样本比较有效或无效的消息。

然后，利用运动矢量的片状平滑化的特征，简单地将通过双线性上采样渲染的低分辨率的运动矢量映射调整为高分辨率。 这种简单的做法会给上采样的运动矢量带来误差，由此可以控制运动矢量。

然后，对未采样的前帧进行向后失真。 在此步骤中，使用上采样向量对当前帧进行零采样。 在翘曲过程中使用双线插值。

第三部分是特征的再加权。

渲染的运动向量不反映动态不匹配或阴影帧之间的变化.。 因此，扭曲的帧包括遮挡区域中的阴影和不匹配阴影区域中不匹配的像素等伪影。

为了解决这个问题，研究者引入了特征性的重新加权方法模块来屏蔽这些不一致样本。

特征再加权模块是三层卷积神经网络。 这以当前帧的上零采样rgb-d、上零采样、扭曲的前一帧为输入，为每一前一帧生成0到10之间的像素加权图。 其中10是超级参数。

超级参数的设定不仅是为了使学习的地图衰减，还为了能够扩大各个像素的特征。

最后，将每个加权图对应的前一帧的所有特征相乘。

第四部分是重构，连接当前帧的特征和重新加权的以前帧的特征，反馈到输出重构的高分辨率图像的重构互联网。 重建子模块使用3级、10级u-net，具有跳过连接。

实验结果

小组的实验条件是英伟达titan v卡，使用nvidia tensorrt对算法进行了16bit优化。

下图显示了算法渲染不同分辨率的视频所需的执行时间(分辨率提高16倍) (以毫秒为单位)。 其中ours是基础算法，ours-fast是简化的高速版本。

该表显示了渲染目标为1080p分辨率时算法的不同步的运算时间。

与现行的同功能算法相比，4*4超神经采样算法在各指标中处于领先地位。 这些结果是通过10次常用的4个视频测试得到的。

网民吐槽:不能在通用cpu上工作的实时不称为实时

尽管4*4超神经采样算法在低分辨率视频的实时渲染中表现良好，facebook公式认为该算法可以突破特殊的硬件和技术限制，在pc上执行。

但是，网民们依然在吐槽，为了达到实验结果显示的“实时”渲染表现，需要英伟达titan v。

现在，titan v的官方售价在3000美元左右，由不同制造商优化，更贵。

“实时”只是有钱人的特权吗？

reddit网民呼吁，只有在通用cpu上能实时实现的情况下，才应该确立可以称为实时的标准。

那么，你认为这个实时渲染高分辨率算法有多大价值？ 你想支付titan v的价格来实现这个算法吗？

论文地址

research.FB/Publications/neural-super sampling-for-real-time-rendering /

成果演示

research.FB/blog// 07/introducing-neural-super sampling-for-real-time-rendering /

本文是网易信息网易号特色复制激励计划账户【量子位】原始复制，未经账户授权，禁止擅自转载。

结束了

原标题:『高胶动画秒变4k！ facebook推出了低分辨率视频实时渲染算法。 网友:很好，但我不能玩”。

阅读原文。