Turing Tensor Core
其实Turing里面真的有很多Volta的影子,比如Tensor Core首次出现在Votla架构中,而Turing架构对其进行了增强。还增加了新的INT8和INT4精度模式,FP16半精度也能够被完整支持。
Tensor意思就是张量,区别于我们常见的标量(0维)、矢量(1维)、矩阵(2维),张量拥有3维或者更高维,本质核心上就是一个数据容器,可以包含更多维度数据。而目前深度学习就是通过极大量数据运算计算出最终结果,通常会用到矩阵融合乘加(FMA)运算,而Tensor Core区别于ALU整数运算,天生就是为这种矩阵数学运算服务。
它可以将两个4×4 FP16矩阵相乘,然后将结果添加到4×4 FP16或FP32矩阵中,最终输出新的4×4 FP16或FP32矩阵。NVIDIA将Tensor Core进行的这种运算称为混合精度数学,因为输入矩阵的精度为半精度,但乘积可以达到完全精度。
每个Tensor Core可以使用FP16输入在每个时钟执行多达64个浮点融合乘加(FMA)运算,新的INT8精度模式的工作速率是此速率的两倍。Turing Tensor Core为矩阵运算提供了显着的加速,除了新的神经图形功能外,还用于深度学习训练和推理操作。
Tensor Core FP16、INT8、INT4算力,以RTX 2080 Ti为例
Pascal和Turing Tensor Core之间配置比较。
超能网友教授 2018-09-16 19:44 | 加入黑名单
该评论年代久远,荒废失修,暂不可见。
支持(11) | 反对(0) | 举报 | 回复
47#
我匿名了 2018-09-16 12:38
支持(0) | 反对(0) | 举报 | 回复
46#
超能网友教授 2018-09-16 11:22 | 加入黑名单
该评论年代久远,荒废失修,暂不可见。
支持(0) | 反对(0) | 举报 | 回复
45#
游客 2018-09-16 10:46
支持(0) | 反对(0) | 举报 | 回复
44#
游客 2018-09-16 09:50
该评论年代久远,荒废失修,暂不可见。
已有1次举报支持(1) | 反对(0) | 举报 | 回复
43#
超能网友终极杀人王 2018-09-16 09:31 | 加入黑名单
该评论年代久远,荒废失修,暂不可见。
支持(0) | 反对(0) | 举报 | 回复
42#
超能网友终极杀人王 2018-09-16 09:06 | 加入黑名单
该评论年代久远,荒废失修,暂不可见。
已有1次举报支持(1) | 反对(0) | 举报 | 回复
41#
游客 2018-09-16 07:08
该评论年代久远,荒废失修,暂不可见。
支持(0) | 反对(0) | 举报 | 回复
40#
我匿名了 2018-09-16 00:28
支持(3) | 反对(0) | 举报 | 回复
39#
我匿名了 2018-09-15 22:24
支持(1) | 反对(1) | 举报 | 回复
38#
游客 2018-09-15 21:07
支持(0) | 反对(0) | 举报 | 回复
37#
游客 2018-09-15 19:09
支持(3) | 反对(3) | 举报 | 回复
35#
游客 2018-09-15 18:06
支持(0) | 反对(1) | 举报 | 回复
34#
超能网友一代宗师 2018-09-15 15:10 | 加入黑名单
该评论年代久远,荒废失修,暂不可见。
支持(1) | 反对(1) | 举报 | 回复
33#
我匿名了 2018-09-15 14:42
支持(3) | 反对(2) | 举报 | 回复
32#
超能网友一代宗师 2018-09-15 14:33 | 加入黑名单
支持(3) | 反对(1) | 举报 | 回复
31#
我匿名了 2018-09-15 14:29
支持(2) | 反对(1) | 举报 | 回复
30#
游客 2018-09-15 13:36
支持(0) | 反对(0) | 举报 | 回复
29#
游客 2018-09-15 12:50
支持(5) | 反对(9) | 举报 | 回复
28#
游客 2018-09-15 12:31
该评论年代久远,荒废失修,暂不可见。
支持(2) | 反对(0) | 举报 | 回复
27#
游客 2018-09-15 11:44
该评论年代久远,荒废失修,暂不可见。
支持(0) | 反对(0) | 举报 | 回复
26#
游客 2018-09-15 11:37
支持(2) | 反对(0) | 举报 | 回复
25#
我匿名了 2018-09-15 11:31
支持(2) | 反对(0) | 举报 | 回复
24#
我匿名了 2018-09-15 11:29
支持(0) | 反对(0) | 举报 | 回复
23#
游客 2018-09-15 10:54
支持(4) | 反对(5) | 举报 | 回复
22#
游客 2018-09-15 10:50
该评论年代久远,荒废失修,暂不可见。
支持(0) | 反对(0) | 举报 | 回复
21#
游客 2018-09-15 10:25
该评论年代久远,荒废失修,暂不可见。
支持(0) | 反对(0) | 举报 | 回复
20#
游客 2018-09-15 10:15
支持(2) | 反对(9) | 举报 | 回复
19#
超能网友教授 2018-09-15 09:57 | 加入黑名单
支持(4) | 反对(0) | 举报 | 回复
18#
游客 2018-09-15 09:45
该评论年代久远,荒废失修,暂不可见。
已有3次举报支持(1) | 反对(1) | 举报 | 回复
17#
加载更多评论