世界上最大射电望远镜核心数据管理软件首次集成测试完成
31.08.2016 13:09
本文来源: 科学技术委员会
日前，上海天文台安涛研究员带领的SKA团队，在澳大利亚射电天文国际联合研究所和广州超算中心的协作下，在天河-2超级计算平台上成功部署了SKA数据流管理系统并完成了1000个计算节点的大规模集成测试，这是SKA核心软件首次完成大规模集成测试，为将来工程化验证提供了强有力的技术支撑，在国际上引起了广泛的关注和积极的反响，也得到SKA总部赞扬。
探寻宇宙中的第一缕曙光、深入探测引力波、验证爱因斯坦的广义相对论……这些事情，看似遥远，但科学家们也许在2030年将可以初步实现了。因为那时候，一项名为 “平方公里阵列射电望远镜(Square Kilometre Array, 简称SKA)”的国际大科学工程有望全面建成，并踏上宇宙探寻之旅。
这台世界上最大的综合孔径射电望远镜将由十多个国家共同投资65亿欧元兴建。它由分布在南非及南部非洲8个国家的2500个高频碟形天线，以及分布在澳大利亚西部沙漠无线电静默区域的上百万个偶极子低频天线组成，总接收面积达一平方公里。SKA建成后，比目前世界上最大射电望远镜阵列的灵敏度提高约50倍，巡天速度提高约10000倍。我国是SKA首倡国和正式成员国之一，就在不久前，SKA科学中心建设项目被正式列入上海市科技创新“十三五”规划中。
SKA组织总干事菲利普·戴蒙德在3个月前接受本报记者采访时，曾谈到当下SKA面临的最大挑战就是数据处理技术。未来SKA的大数据处理和计算对运算速度和计算复杂度的要求都是前所未有的，它不仅将产生巨大的数据量，每秒钟高达TB量级，已经超出目前整个互联网数据之和，而且要求这些海量数据实时处理，如何传输、计算和存储这些数据会是很大的难题。当时他预测，即使是天河-2这样的超级计算机，也难以应付，至少需要其6倍以上的计算能力。
当前射电天文中最先进的数据分析软件系统所能处理的数据量跟SKA第一阶段产生的数据相比低了两到三个数量级，远远不能满足SKA的数据处理需求。为此，由澳大利亚射电天文国际联合研究所和上海天文台安涛团队组成的联合团队研发了一款数据流管理系统，采用了“数据驱动”的先进设计理念：用软件封装数据并启动处理这些数据所需的程序。这就相当于数据被包装在一个具有活性的软件里，每当一个数据项准备就绪，它就将触发下一个执行任务，该任务不会因为等待数据而空闲运行，这样就大大提高了SKA软件在超算平台上的执行效率。
上海天文台安涛研究员告诉解放日报·上海观察记者，这是中国SKA团队参与国际合作的一项典型成果。在第一步集成测试的成功基础上，下一步将考虑最高用10000节点（注：天河2号的极限能力是16000计算节点）开展全规模验证实验。这款新研发的数据流管理系统将有望成为首批完成工程化验证的SKA科学数据处理核心软件系统。(作者 黄海华) 【来源】上海观察
本文来源: 科学技术委员会
31.08.2016 13:09