百亿亿次超算也叫做E级超算，就是Exascale级别，计算性能为1000PFlops，目前TOP500中最强的神威太湖之光理论性能125PFLOPS，Linpack性能93PFLOPS。目前美国、日本以及欧洲都在研发新一代百亿亿次超算，美国有IBM、NVIDIA、Intel等公司投入研发，日本富士通预计会在2021年研发出百亿亿次超算。

在美国封锁对中国出口超算芯片之后，中国已经逐步解决了超算核心处理器的国产化问题，神威·太湖之光使用的是江南所的SW26010处理器，260核心，64位架构，预计未来的百亿亿次超算也会采用国产处理器。

国内现在同时启动了三大百亿亿次超算研发，分别是国防科大/天津超算中心、中科曙光/上海、深圳超算中心以及江南所所/济南超算中心的神威E级。在参加天津人大会议时，天津超算中心的工程师张婷对记者表示，天津超算中心与国防科大合作的百亿亿次超算已经取得阶段性成果，预计2017年底完成样机研制。

不过样机研制只是第一步，最终建成并投入使用的时间还早，张婷表示新一代百亿亿次超算预计会在2020年建设完成并使用，其计算能力将达到中国首台千万亿次超算天河一号（同样位于天津超算中心）的200倍。

张婷表示，新一代百亿亿次超级计算机研制成功后，将依托超级计算平台，开展高性能计算、云计算、大数据等方面的综合应用，在支持国家科技创新、支持区域产业服务等方面开展新的应用创新。

目前还没有天津超算中心的百亿亿次超算的具体细节，所用的处理器也没有公布，不过天津有一家跟国防科大息息相关的飞腾公司，他们研发的FT-1000早在天河一号上就有使用，后续的FT-1500A处理器基于ARMv8体系，有4核、16核版本，前者主要面向轻量级桌面，后者主要针对服务器市场，主频2GHz，功耗35W，4个DDR3-1600存储通道，支持虚拟化功能，适用于构建网络前端接入服务器、事务处理服务器、邮件服务器、数据库服务器、存储服务器等产品。

飞腾公司发布的64核ARM处理器

早在2015年的Hotchips会议上，飞腾公司还介绍了他们研发的64核ARM处理器Mars，核心频率可达2GHz，功耗120W，号称性能超过了Intel同功耗级别的处理器。天津的百亿亿次超算即便不是使用这款处理器，跟飞腾的ARM多核处理器也会有很大关系。

在超算方面，日本富士通研发的K/京曾经夺得了2011年度的TOP500冠军，目前在TOP500中排名第七，新进入前十名的还有日本Oakforest-PACS，排名第六位，日本总计37台超算入围最新的TOP500名单，与中国171台的入围总数量，并且霸占TOP500第一4年的地位相去甚远。

各国现在都在努力研发新一代超算，日本也不例外，也在开发性能是太湖之光10倍多的新超算，不过下一代革命性的百亿亿次超算至少要等到2020年才能问世，远水解不了近渴，日本能挑战太湖之光超算的是ABCI（AI Bridging Cloud Infrastructure，人工智能桥接云基础设施），其运算性能可达130PFLOPS，也就是每秒13亿亿次，预计2017年Q4季度建成。

日本新超算性能可达13亿亿次

它的性能是什么水平呢？目前神威·太湖之光的理论性能是125PFLOPS（12.5亿亿次），Linpack性能为93PFLOPS（9.3亿亿次），如此一来日本ABCI超算不论是理论性能还是浮点性能都将超过太湖之光，如果太湖之光在明年底之前不做升级，ABCI明显将成为未来的TOP500冠军。

值得注意的是，ABCI超算不仅性能强大，其能效更让人惊讶——总功耗低于3MW，PUE能源利用率低于1.1，相比之下中国的太湖之光超算功耗达到了15.4MW，也就是说日本ABCI超算在性能超过太湖之光的情况下功耗仅为后者1/5。

不过现在也不要急着说中或输，日本ABCI超算的详细架构还未公布，也不知到底使用了什么处理器，13亿亿次的性能也不确定是FP16还是FP32或者FP64，尚有疑问。

昨天的新闻中我们就提到NVIDIA的DGX-1超算（虽然是轻量级的小型超算）因为使用了Tesla P100加速卡，能效是非常高的，排名第八的瑞士Piz Daint超算就以7.45GFLOPS/W的能效拿下了能效第二名，而能效最高的是NVIDIA的DGX-1，更准备地说是Satnrnv超算，它使用了124套DGX-1超算组成。

DGX-1是NVIDIA今年上半年针对深度学习市场推出的小型超算，主处理器是双路Xeon E5-2698 v3 16核处理器，协处理器则是8路Tesla P100加速卡，另外配有512GB DDR4内存级7TB SSD硬盘，FP16浮点性能170TFLOPS，功耗3200W，售价12.9万美元。

这次入围TOP500的是Saturnv（土星）超算，它使用了124套DGX-1超算组成，峰值性能4896.5TFLOPS，在TOP500中排到28位，与我们介绍过的TOP10超算性能相比不值一提，但是它的最大优势是高能效，因为总系统功耗才350KW。

如果要对比的话，其4.9PFLOPS的性能大约是最强的太湖之光超算的5%，但350KW的功耗也只有后者15371KW功耗的2.2%，算下来能效比是9.46GLFOPS/W，要比上半年度的Green500中最高能效6.67GFLOPS/W提升了42%。

客观来说，用Saturnv这种GPU异构体系的超算与太湖之光比能效并不公平，后者的能效其实比天河2号还要好一些的。如果拿同样是异构体系的超算来比——NVIDIA挑的软柿子是Camphore 2超算，后者使用了Intel Xeon Phi加速卡，还是最新的14nm工艺Knights Landing架构，但Saturnv的能效依然是它的2.3倍。

TOP500每年6月份、11月份各公布一次，考虑到这几年来除中国之外的其他国家在高性能超算建设上已经停步，有能力又有钱的国家都瞄准百亿亿次超算在憋大招，现有产品很少更新升级了，所以这几次TOP500榜单前几名变化都不大，特别是TOP10，常出现的都是那几个老面孔了，包括中国的天河2号、美国的泰坦、红杉、日本的K/京等HPC超算。

2016年11月份的TOP500超算前十名榜单

二次夺冠的神威·太湖之光性能没有变化，理论浮点性能依然是125.4PFLOPS（1PFLOPS=1千万亿次），Linpack浮点性能93PFLOPS，依然是目前唯一一个理论性能超越10亿亿次的超算。当然，太湖之光对国人最大的意义不止是TOP500第一，而且处理器也是国产研发的，源于江南计算所的申威SW26010众核处理器，拥有260个CPU内核，详情可以参考我们上半年做的解析。

排名第二的是天河2号，此前它是六届TOP500冠军，理论浮点性能54.9PFLOPS，Linpack性能33.86PFLOPS，主处理器是12核的Xeon E5-2692 v2，辅以Xeon Phi 31S1P加速卡。

第三名则是美国橡树岭国家实验室的Titan泰坦，基于Cray公司XK7系统，主处理器是16核的AMD Opteron 6274，辅以NVIDIA Tesla K20X加速卡，理论峰值性能27.11PFLOPS，Linpack性能17.6PFLOPS。

第四名则是劳伦斯利弗莫尔国家实验室的红杉Sequoia，基于IBM BlueGene/Q系统，16核Power处理器，峰值性能20.13PFLOPS，Linpack性能17.17PFLOPS，

第五名是劳伦斯伯克利实验室的Cori，它挤下了之前被日本K/京超算占据的第五名，它以及目前位居第六的日本Oakforest-PACS是TOP10中的新人，直接把日本京超算挤到了第七名，之后分别是瑞士的Piz Daint、美国的Mira以及Trinity。

之前在TOP10榜单中露过几次脸的沙特“沙欣II”超算已经被挤出前十名，TOP10最低入围门槛已经提高到了8PFLOPS，峰值性能最低也要10PFLOPS，也就是1亿亿次才有资格入围前10。

再来看看一些有趣的数据

1、TOP500超算国家分布

上届榜单中中国以167台成为上榜TOP500超算最多的国家，超过了美国的165台，不过这次的TOP500榜单中，中国、美国各有171台超算入围，二者总数量持平，不过美国入围的超算占据了33.9%的总性能，中国171台占了33.2%性能，略低于美国。

但是在一年前，美国有200台超算入围，中国只有108台，日本有37台，德国是33台，法国、英国各有18台。

中美两国的超算数量吊打其他国家，因为再往后就是德国的32台，日本27台，法国20台，大英帝国17台。

2、TOP10中的新面孔

前面提到了今年的第五Cori、第六是新面孔，第五Oakforest-PACS，前者位于美国，基于Cray XC40系统，Linpack性能14PFLOPS，第六位于日本，也是富士通研发的，Linpack性能13.55PFLOPS，相差不大，而且他们都使用了Intel Xeon Phi 7250加速卡，这是Intel最新一代Xeon Phi加速卡，不过所用型号并非顶级产品，只有68核而非72核。

3、TOP500总性能继续提升

虽然这几年TOP500超算的竞争情况有所放缓，不过总性能依然在不断提升，这次TOP500总性能达到了672PFLOPS，比一年前提升了60%。

4、NVIDIA Tesla P100能效惊人

基于GPU加速的异构超算此前很火，不过除了泰坦比较知名之外，GPU异构超算总体来说是雷声大雨点小，位居主体的依然是CPU方案。

排名第八的Piz Daint这一次性能有了大幅提升，因为它升级了硬件，之前是基于Cray公司的XC30，现在是最新的XC50，CPU从8核的Xeon E5-2670升级到了12核的Xeon E5-2690 v3，GPU则从Tesla K20X升级到最新的Tesla P100，峰值性能从之前的7.79PFLOPS提升到了15.98PFLOPS，以幅度来算是这次TOP10中进步最大的。

得益于此，Piz Daint还是能效最高的超算之一，在TOP500中排名第二，每瓦性能是7.45GFLOPS，能效最高的是NVIDIA的DG-1超算，每瓦性能是9.46GFLOPS，而首个E级超算（百亿亿次）能效更高，据悉可达每瓦50GFLOPS。

5、TOP500超算的供应商及数量

惠普企业（HP Enterprise）供应了140套超算，是最多的，其中包括被HP收购的SGI公司贡献的28套，联想供应了92套TOP500超算，Cray公司贡献了56套，不过他们占据的性能比例是最高的——达到了21.3%，实力无可置疑。

IBM以往是贡献TOP500超算数一数二的公司，但是因为把X86服务器业务出售给了联想，现在排名已经下滑了，这次贡献了33套，大大低于联想的92套。

6、TOP500的处理器供应商及数量

主处理器方面，Intel有绝对优势，有462台超算都是用了他们的处理器，IBM Power处理器也有22台，使用AMD处理器的只有7套，从半年前的13套继续减少，不过美国目前最强的超算“泰坦”用的就是AMD 16核处理器，所以他们总数虽少，但用美国第一超算赢回一点面子。

在众核体系的96台超算有86台使用了加速器方案，其中60套使用了NVIDIA家的加速卡，20套使用了Intel加速卡，使用AMD FirePro加速卡的只有1家，还有一个使用PEZY技术方案，另有三家同时使用了NVIDIA GPU级Intel Xeon Phi加速卡。

来自新华社的消息，中国新一代超级计算机项目“神威E级计算机原型系统”项目日前正式启动，这次的神威E级超算也是由中国国家并行计算机工程技术中心牵头，不过新一代超算将落户于中国济南国家超算中心。

神威E级超算的E指的是Exascale，计算性能也就是1000PFlops，百亿亿次量级的。在这方面，美国、日本以及欧洲都在研发新一代百亿亿次超算，美国有IBM、NVIDIA、Intel等公司投入研发，日本富士通预计会在2021年研发出百亿亿次超算。

世界各国对百亿亿次超算的研究都还在摸索阶段，因为新一代超算不仅要求性能提升，而且要在计算效率、能耗、可靠性及应用适用性等方面作出突破，未来有很多不确定性。这次的神威E级超算实际上还只是个原型系统，用于验证国产核心技术和创新技术的有效性。

在此之前，中国已经有了两个E级超算原型系统，国防科大以及曙光公司都在预研百亿亿次超算，前者将位于中国天津的超算中心，曙光公司的E级超算将在上海、深圳超算中心示范。再算上这次的济南超算中心，中国未来至少会有三大E级超算中心，他们的架构设计都不同，不过有一点是相同的——不论是江南所还是曙光或者国防科大，未来超算的处理器、架构、总线都将是国产的，这一点在太湖之光超算上已经得到验证了，这不仅是因为美国封锁了高端处理器出口，也是国内自主研发的需要。

K/京超算是富士通联合筑波大学、东京大学等为日本理化研究所（RIKEN）研发的，使用了富士通SPARC64架构8核2GHz处理器，当年的性能是8.2PFLOPS（1PFLOPS=1千万亿次），不过现在TOP500上列出的性能是10.5PFLOPS，，峰值性能11.2PLFOPS，也就是1京次级别，而中国的神威·太湖之光浮点性能是93PFLOPS，峰值性能125PFLOPS，性能差不多说K的10倍。

目前的超级计算机性能是1亿亿次量级，而中国、美国、欧洲及日本都在研发下一代超算，性能是10亿亿次乃至100亿亿次，是目前的10-100倍。富士通也在为日本理化所研发下一代超算，指令架构从SPARC转向ARM，昨天还联合ARM发布了面向HPC超级计算机的指令说明书（PS：ARM现在被日本软银收购了，以后跟日本公司合作就更方便了）。

双方合作的新一代ARM处理器将使用TSMC的7nm工艺制造，不过具体细节还未知。

富士通基于新一代芯片研发的超级计算机预算1300亿日元（折合人民币86亿元，太湖之光的投资是18亿人民币），运算性能是京电脑的100倍，但功耗只有3-4倍，也就是说其性能达到了100亿亿次级别，是中国太湖之光计算机的10倍多。

当然，日本的新超算是面向2020年的，中国、美国等国家也在研发新一代超算。此前有报道称，中国将在十三五计划期间，在天津超算中心启动百亿亿次超算研发，根据官方所说，“该计算机特点是突出全自主，自主芯片，自主操作系统，自主运算环境。”

太湖之光给大家印象最深的除了超强的性能之外，另一个就是自主研发的申威处理器，260核心，频率1.45GHz，这是中国超算中第一个不依赖国外处理器的。考虑到美国去年对中国超算中心实行制裁，禁止出口相关技术，有一种观点认为太湖之光超算的问世是美国制裁的回应，因为中国在美国制裁令发布一年半之后就国产化超算处理器了。

不过这一观点在官方层面上并不成立——环球时报日前采访了无锡超算中心掌门人杨广文表示这个说法并不成立，美国对中国的技术封锁是一贯的，中国并非因为美国封锁才搞自主可控芯片，而是很早之前就开始布局，2014年立项时就要求神威·太湖之光的核心技术是完全国产化的，因此当年底就完成了原型机测试，禁售令公布半年之后，太湖之光就完成了研发工作。

对于中国发展超算，还有一个质疑就是国内超算闲置严重，烧钱冲第一只是为了跑分（Linpack性能），在应用方面吃不饱。对此杨广文认为，在21世纪头几年，中国的超算应用能力确实比较弱，但在2005年之后，则进入一个快速成长期，主要是因为超算越来越受到科研单位与产业的重视，从事超算的人才也越来越多。而国家“十一五”布局的那几台机器出来之后，中国超算的应用水平得到了极大的提升。目前中国的有些超算可能处于“吃不饱”的状态，但这可能是与中国超算的运营思路有关，国内的发展趋势是机器牵引着应用走。

据杨广文介绍，按照目前的统计，“太湖之光”半年来的利用率已经超过50%，目前已经累计拥有超过50多项应用，比6月获得世界冠军时又增加了10多项，目前有一些重大项目正在“太湖之光”上进行全机测试，比如获得了“戈登贝尔”奖的三大应用，还有一些应用目前正在“太湖之光”上一边进行小规模测试，一边排队等待更大规模应用的档期。目前，包括国家气象局等多个国家专业机构与研究院所都在“太湖之光”上开展应用研究，并进一步与无锡超算中心寻求全面合作，因此我们完全不担心“太湖之光”跑不满，因为现在已经有不少应用方开始排队了。目前最核心的问题不是如何让它跑满，而是如何把它用好，可以多出重量级的成果。此外，需要考虑在拥有大量科研用户的同时，如何能够培养更多有意愿长期合作且需求旺盛的产业界用户。

Intel的Xeon Phi及NVIDIA的Tesla P100都是针对高性能计算而生的，前者基于Intel的众核MIC架构，目前这一代是Knights Landing架构，14nm工艺，最多72核288线程，TDP功耗245W，集成16GB eDRAM缓存，，单精度浮点性能3TFLOPS，双精度浮点性能超过1TFLOPS，并可选配Fabric芯片，售价6254美元。

Xeon Phi目前是基于PCI-E接口的加速卡，之后还会有单独的协处理器封装。

NVIDIA的Tesla P100我们也很熟悉了，基于GP100大核心，16nm工艺，3584个CUDA核心，集成16GB HBM2显存，TDP功耗300W，单精度浮点性能10.6TFLOPS，双精度浮点性能5.3TFLOPS。至于价格，官方并没有公布过P100的建议价，但8块P100组成的DGX-1超算售价12.9万美元，P100单价据悉不低于1万美元。

这两款针对高性能计算而生的芯片势必会在新一代高性能计算机中大展身手，Tesla P100刚发布就有欧洲超算中心的4500块订单，Xeon Phi已有多少订单还不清楚，不过Intel之前公布的目标是10万块销量，目前已经完成了3万块销售。

这两者谁更受欢迎？来自超级计算机制造商Cray公司的信息可能更有说服力一些，该公司CEO  Peter Ungaro日前透露基于Intel Xeon Phi及NVIDIA Tesla P100的订单都相当大的数量，不过基于Xeon Phi的系统数量要超过了Tesla P100，换句话说Intel正在从NVIDIA手中抢夺更多的高性能计算份额。

至于Intel为何能抢得更多订单？Cray CEO并没有提及，但分析一下也不外乎这几点因素——Xeon Phi虽然性能不如Tesla P100，但是价格肯定更便宜，而且产品已经上市，Tesla P100正式出货还得等到明年Q1季度。更重要的是Intel还拥有Xeon E5处理器，这是NVIDIA没有的优势，市场竞争上处于不利地位。  

神威太湖之光超算其Linpack浮点性能为93PFLOPS，理论性能是125.4PLFOPS，它使用了国内研发的申威SW26010处理器，260核心架构，乱序执行，频率1.45GHz，1个处理器就是1个节点，每个节点8GB DDR3内存，256个节点组成1个超级节点，160个超级节点互联连接，因此总计是40960个节点，10649600个核心，内存容量1.3PB。

神威太湖之光的主要规格

在性能大幅飙升的情况下，太湖之光的功耗反而从天河2号的17.8MW降低到了15.37MW，计算下来其单位性能功耗达到了6GFLOPS/W，性能全球第一的情况下能耗比能排到全球第三。

此前中国及世界最强的超算是天河2号，它使用了3.2万颗Intel Xeon E5及4.8万块Xeon Phi处理器，总投资是30亿人民币，太湖之光超算的性能达到了天河2号的三倍左右，但投资只有18亿（包括了研发、硬件及软件费用，不包括运营费用），使用国产处理器的好处还是很明显的。

话说回来，就算在性能、功耗、投资等方面取得了突破性成绩，仍有批评者认为太湖之光没什么意义，因为中国的超算全都是闲置的，应用跟不上，是面子工程。应用问题确实是有的，有些地方政府的超算中心也确实不是从市场需求出发的，不过这事在太湖之光上不一样了。

衡量超算应用价值也有个国际奖项，这就是被称作超算应用领域诺贝尔奖的“戈登贝尔”奖，从1987年建立以来，中国团队从未入围。今年，基于“神威·太湖之光”系统的三项全机应用已经入围，占全部入围数量一半。三项应用分别为中科院软件所与清华大学、北师大合作的“全球大气非静力云分辨模拟”；国家海洋局海洋一所与清华大学合作的“高分辨率海浪数值模拟”；中科院网络中心的“钛合金微结构演化相场模拟”。

此外，在这3项应用中已经有2项的性能达到了30-40 PFLOPS，占了整个性能的近一半。

虽然入围不代表最终一定都能当选，但在应用方面，太湖之光显然是做了准备的，而且取得了突破性进展，指责超算面子工程并不公平。

PS：太湖之光三项应用的报道来自于经济参考报今天的一篇报道，文章写的很中肯，不光是报道了中国超算的进展，对超算研发、应用中的一些问题也没有回避，也介绍了一些超算的作用，值得一读。

NVIDIA官方并没有明说这是Pascal架构，不过新一代旗舰超算有两个特性“出卖”了GPU的真实身份：采用下一代IBM Power处理器，此外还将会使用NVLink技术，而能符合这两点的也就Pascal了。

NVLink是NVIDIA与IBM合作开发的一项新技术，旨在突破GPU与CPU、GPU与GPU之间通讯的带宽瓶颈，通过修改信号体系获得比PCI-E  3.0高4倍的带宽（从16GB/s提升到80GB/s应该是每通道1GB/s提升到5GB/s），不仅将GPU与CPU间的数据传输速度提升5-12倍之多，更可以实现GPU间不通过PCI-E总线直接进行点对点互连，这将会为超算系统带来更强大的计算速度。

不过目前这项技术还需要处理器支持，而IBM Power 8系列处理器由于引入了CAPI一致性关联处理器接口得以支持这一项技术，其它平台还没有相关的信息。

不仅如此，如上图所示，大家可以看到Pascal还有一个很重要的特性是采用了3D Memory显存封装技术，这项技术是通过堆叠闪存（Stacked DRAM）并使用硅通孔（TSV）相连接，而且还会封装在GPU SoC上，不仅带来更大的传输带宽，此外还将会有相对更优秀的功耗控制，下一代Telsa加速卡说不定也能做得和PPT上面的一样小呢。

官方预计新旗舰超算的性能将会比当今最强超算系统快3倍，并且会离百亿亿次级（Exascale）计算目标更近一步。当然了，说是这么说，但真要完全组装起来并且投入使用，还要等到2017年呢。

　　NVIDIA和IBM还计划把NVIDIA Tesla GPU和IBM POWER处理器的能力结合起来，为众多的公司提供更有效率的运算能力。通过IBM POWER 8和GPU加速技术的结合，两家公司计划为科学家、工程师、大数据分析师和其他HPC应用带来强大的性能。

　　NVIIDA加速计算的副总裁Ian Buck表示，他们和IBM的合作会把超级电脑的性能带进公司的数据中心，扩展GPU加速的使用，而不只是局限于传统超级电脑和技术计算市场。

　　IBM Power System将会完全支持以NVIDIA CUDA编程模型开发的科学、工程和可视化应用程序，另外IBM计划让超级计算的开发者可以用上其Rational品牌企业软件开发工具，让编程人员更容易开发出尖端应用程序。