西西河

主题:天河1A的一些消息 -- 大龙猫

共:💬6 🌺28
全看树展主题 · 分页首页 上页
/ 1
下页 末页
家园 天河1A的一些消息

最近听到一些关于天河一号A的一些信息,拿来与河友分享。

两周前在AGU秋季年会上,在一个计算方法的专题里,有一位在美华人计算机系主任的报告,他用TH-1A算一个大气环流的模型。因为他是在PESTc的基础上写的程序,所以没有用到GPU,只是在CPU上算了。他的结论是,TH-1A称不上好,但也不算坏。印象里有个数据,用几十个CPU跑一个循环,大概10秒内;用上万个CPU跑,要100秒内;性能下降很多。这就是他说天河不算好的原因吧。

在另一个关于GPU计算的专题里,有个目前GPU计算体系的比较。TH-1A的互联技术是私有的,但接口还是PCIe;TH-1A是一个节点带一个GPU。与之相比,TOP500第四日本人的TSUBAME 2.0,互联是InfiniBand,接口是PCIe;令人吃惊的是,日本人一个节点带三个GPU。众所周知,超级计算机里互联、调度技术是最重要的。显然,日本人的方案里,对互联、调度这块的压力比天河更大。

所以,我不看好天河的互联技术,理由如下:

第一,天河的接口还是PCIe,所以天河的互联技术无论怎么神秘,都不可能超过这个限制;

第二,日本人的方案对互联要求更高,但日本人用的是公开的Infiniband技术;所以估计天河的互联技术不会比Infiniband强;

综上,估计天河的互联技术最可能是仿的Infiniband,但技术没吃透,所以性能差些,造成一个节点带一个GPU的局面。

希望我这个估计是错的!

上个月,LANL的人来学校报告,在讲Jaguar和Roadrunner时,也提到了天河一A。先说Jaguar和Roadrunner的对比吧。

几十个CPU时,Jaguar是超Roadrunner的。但几万个CPU(或核吧,记不清了)时,Roadrunner是超Jaguar的。随着CPU数量的增加,Jaguar效率降低很快,而走鹃保持的更好。从这点上来说,我觉得国防大学的天河技术更象克雷的Jaguar,而不如IBM的蓝血基因。

LANL的人讲完了这两个的对比,然后用一种轻松的语气说,现在这两个已经不行了,中国人的天河是最快的。我理解他的语气是这样的:

第一,美国人在建的超级计算机有比天河快的,只是没建完,而被中国人打了个时间差;

第二,这下子,DOE就可以申请更多的经费了:(

总之,从解决有无的角度,天河1A是成功的;但从实际性能对比的角度,天河还有很长的路要走!

尤其是怎么用好GPU的问题,光跑Lapack是不行的。象PESTc不能跑在GPU上,对天河的推广是很大的限制。但天河能等美国人把PESTc移值到GPU上再说吗?

写到这里,意识到我对互联那一块的估计可能有问题。日本人的方案,单个节点向外的的通信流量是比天河大的,因为要传送三块GPU所需的数据;但因为一个节点内的三个GPU可以通过内部总线通信;这样,系统总流量也许比天河小。总之这块很复杂,我这样的外行就不懂了,还是抛砖引玉吧,恳请河友轻拍:)

关键词(Tags): #天河1A
家园 能不能展开说说?谢谢了

第一,天河的接口还是PCIe,所以天河的互联技术无论怎么神秘,都不可能超过这个限制

为什么PCIe不行?它的限制是什么?这个限制是否真的限制TH-1A的速度?

Jaguar效率降低很快,而走鹃保持的更好

什么是走鹃?

家园 走鹃就是Roadrunner啊

天河的互联是通过PCIe接口进到主板上的,所以最大传输速率不可能超过PCIe的上限。

最初看到天河这个私有的互联技术时,河里有分析说,中国利用通信的先进水平(比如华为),搞出一种新的超级计算机互联技术也说不定。用无线技术作比方,大家都是3G的时候,我们已经上了4G LTE。

但现在看,天河的互联应该还是跟别人在同档的水平,而没有超越。

家园 PCIe很快了

一般电脑的显卡就是用PCIe接口的,如果节点直接的互联能达到PCIe的速度上限,很可观了。

不懂InfiniBand,做了一下google党,貌似现在有用这个代替PCI,做系统总线的趋势啊。

话说,如果计算机内部总线IP化,应该是很有意思的事情把,反正IPv6地址管够

家园 用PCIe接口的话,12X QDR到头了

用PCIe接口的话,12X QDR的Infiniband就到头了。而日本人就用的是Infiniband QDR。

这是PCIe的规范:

16 lane slot:

v1.x: 4 GB/s (32 Gb/s)

v2.x: 8 GB/s (64 Gb/s)

v3.0: 16 GB/s (128 Gb/s)

这是Infiniband的规范:

SDR DDR QDR FDR EDR

1X 2 Gbit/s 4 Gbit/s 8 Gbit/s 14 Gbit/s 25 Gbit/s

4X 8 Gbit/s 16 Gbit/s 32 Gbit/s 56 Gbit/s 100 Gbit/s

12X 24 Gbit/s 48 Gbit/s 96 Gbit/s 168 Gbit/s 300 Gbit/s

数据来自wikipedia。

所以,估计天河的互联技术不是那种超越的技术,只是追赶的技术:(

家园 bluewater应该是更快的机器

NCSA和IBM联手的玩意儿,大约11年上半年投入使用,据说已经被ISU订了。

全看树展主题 · 分页首页 上页
/ 1
下页 末页


有趣有益,互惠互利;开阔视野,博采众长。
虚拟的网络,真实的人。天南地北客,相逢皆朋友

Copyright © cchere 西西河