深度学习特性——NVIDIA Neural Graphics Acceleration(NGX)
Tensor Core开发之初是为了加速深度学习能力,用在游戏显卡上显然很浪费,为什么NVIDIA还要坚持塞入了到Turing游戏显卡中呢?
NVIDIA将张量单元引入到Turing架构当中,意味着可以在游戏中首次实现深度学习,主要是依靠NVIDIA NGX AI框架,可以在游戏中实现诸如深度学习超级采样DLSS、AI InPainting、AI Super Rez、AI Slow-Mo等功能。简直就是万物基于AI的真实写照!
由于有了Tensor Core,它可以加速实现一些过去非常繁琐功能,建立起属于GPU的DNN深度神经网络,用于加速处理游戏中的部分特性,实现游戏也能AI。
注意NGX的功能与NVIDIA驱动密不可分,很多功能都是依赖于NVIDIA GeForce Experience软件实现的,会自动匹配Turing显卡并且下载NGX Core软件包,并且提供对应服务,比方说深度学习超级采样DLSS、AI InPainting、AI Super Rez、AI Slow-Mo等功能。
深度学习超级采样DLSS:
现在很多游戏画面不是直接渲染得出的,多数都有后处理,也就是各种抗锯齿技术,举个NVIDIA的TAA例子,它是一种基于着色器的算法,它使用运动矢量组合两个帧来确定前一帧的采样位置,虽然性能开销差不多,但效果却不如其他AA技术。因此NVIDIA利用Tensor Core开发出了DLSS,实现在较低的输入样本数下更快地渲染,输出渲染画面与TAA质量相似。但由于Tensor Core的加速处理, RTX 2080 Ti的渲染能力要强得多,几乎是GTX 1080 Ti的2倍。
针对每一个游戏,会实现建立起对应的训练网络,收集数千个以64×超级采样生成参考画面,经过对像素点进行64次偏移着色合成输出后,理论上画面细节具有近乎完美的图像效果。同时还会生成正常的渲染图像,然后要求DLSS网络响应输出对应结果,观察与64×超级采样画面差异,调整网络权重,经过多次迭代以后,DLSS自行学习产生的结果将具有与64×超级采样画面相同质量的细节,还可以避免TAA产生的运动模糊等问题。
不过需要明确的是DLSS训练网络运行于NVIDIA的超级计算机上,而非你的显卡,只不过通过GFE下载了这个游戏DLSS网络权重参数,可以用非常低开销复现了超算的结果,这就是NVIDIA为什么要在Turing显卡上引入Tensor Core的原因。这同样意味着,每一个游戏都需要事先跑出自己的DLSS网络,然后由NVIDIA通过GFE软件分发给玩家,所以这也是为什么非Turing显卡不能使用DLSS的原因。
首批支持DLSS(大力水手)的游戏,共15款
AI InPainting:说白了就是为了补全图片中缺失的内容,或者是帮你去掉不想要的东西,堪称最强PS抠图!而NGX InPainting算法依赖于来自大量真实世界图像的训练来合成新内容,它同样是运行于超算得出的深度神经网络中。详见我们的新闻——《NVIDIA再出AI黑科技,完美去除图片噪点、水印》
AI Super Rez:它可以将原视频的分辨率清晰地放大2倍、4倍、8倍,图像更加锐利。
AI Slow-Mo:利用AI人工智能技术,可以将普通常见的30fps进行智能插帧计算,可以获得240/480fps的慢动作视频。这个对于视频内容创作者来说可是个巨大福利,在一些需要慢放的镜头不再需要专门高帧率摄像头机,只要通过AI运算就能获得让人觉得流畅慢动作视频。详见我们的新闻——《NVIDIA AI黑科技,30fps可插帧成480fps慢动作视频》
超能网友教授 2018-09-16 19:44 | 加入黑名单
该评论年代久远,荒废失修,暂不可见。
支持(11) | 反对(0) | 举报 | 回复
47#
我匿名了 2018-09-16 12:38
支持(0) | 反对(0) | 举报 | 回复
46#
超能网友教授 2018-09-16 11:22 | 加入黑名单
该评论年代久远,荒废失修,暂不可见。
支持(0) | 反对(0) | 举报 | 回复
45#
游客 2018-09-16 10:46
支持(0) | 反对(0) | 举报 | 回复
44#
游客 2018-09-16 09:50
该评论年代久远,荒废失修,暂不可见。
已有1次举报支持(1) | 反对(0) | 举报 | 回复
43#
超能网友终极杀人王 2018-09-16 09:31 | 加入黑名单
该评论年代久远,荒废失修,暂不可见。
支持(0) | 反对(0) | 举报 | 回复
42#
超能网友终极杀人王 2018-09-16 09:06 | 加入黑名单
该评论年代久远,荒废失修,暂不可见。
已有1次举报支持(1) | 反对(0) | 举报 | 回复
41#
游客 2018-09-16 07:08
该评论年代久远,荒废失修,暂不可见。
支持(0) | 反对(0) | 举报 | 回复
40#
我匿名了 2018-09-16 00:28
支持(3) | 反对(0) | 举报 | 回复
39#
我匿名了 2018-09-15 22:24
支持(1) | 反对(1) | 举报 | 回复
38#
游客 2018-09-15 21:07
支持(0) | 反对(0) | 举报 | 回复
37#
游客 2018-09-15 19:09
支持(3) | 反对(3) | 举报 | 回复
35#
游客 2018-09-15 18:06
支持(0) | 反对(1) | 举报 | 回复
34#
超能网友一代宗师 2018-09-15 15:10 | 加入黑名单
该评论年代久远,荒废失修,暂不可见。
支持(1) | 反对(1) | 举报 | 回复
33#
我匿名了 2018-09-15 14:42
支持(3) | 反对(2) | 举报 | 回复
32#
超能网友一代宗师 2018-09-15 14:33 | 加入黑名单
支持(3) | 反对(1) | 举报 | 回复
31#
我匿名了 2018-09-15 14:29
支持(2) | 反对(1) | 举报 | 回复
30#
游客 2018-09-15 13:36
支持(0) | 反对(0) | 举报 | 回复
29#
游客 2018-09-15 12:50
支持(5) | 反对(9) | 举报 | 回复
28#
游客 2018-09-15 12:31
该评论年代久远,荒废失修,暂不可见。
支持(2) | 反对(0) | 举报 | 回复
27#
游客 2018-09-15 11:44
该评论年代久远,荒废失修,暂不可见。
支持(0) | 反对(0) | 举报 | 回复
26#
游客 2018-09-15 11:37
支持(2) | 反对(0) | 举报 | 回复
25#
我匿名了 2018-09-15 11:31
支持(2) | 反对(0) | 举报 | 回复
24#
我匿名了 2018-09-15 11:29
支持(0) | 反对(0) | 举报 | 回复
23#
游客 2018-09-15 10:54
支持(4) | 反对(5) | 举报 | 回复
22#
游客 2018-09-15 10:50
该评论年代久远,荒废失修,暂不可见。
支持(0) | 反对(0) | 举报 | 回复
21#
游客 2018-09-15 10:25
该评论年代久远,荒废失修,暂不可见。
支持(0) | 反对(0) | 举报 | 回复
20#
游客 2018-09-15 10:15
支持(2) | 反对(9) | 举报 | 回复
19#
超能网友教授 2018-09-15 09:57 | 加入黑名单
支持(4) | 反对(0) | 举报 | 回复
18#
游客 2018-09-15 09:45
该评论年代久远,荒废失修,暂不可见。
已有3次举报支持(1) | 反对(1) | 举报 | 回复
17#
加载更多评论