海量天文数据如何处理?

什么是暗物质?行星是如何出现的?人类和地球上的生物在宇宙中是孤独的生命吗?要回答以上等等的大问题,平方千米阵小组(下简称“SKA”,SquareKilometre Array)-一个由十个国家成员组成,总部设在英国曼彻斯特大学JordrellBank天文中心的合作项目-正计划着在南非和澳大利亚的沙漠建立上千个射电望远镜和上百万个射电天线阵来收集大量天文数据。如何能够处理这些数据将是那些关于宇宙的奥秘能被揭开前天文学学家们首先需要面对的挑战。

通过SKA小组早先的建设,这些望远镜收集到的数组能够以比特量(相当于10的15次个二进制数字)的速率收集天文数组,这相当于现在全球互联网传输速度的100倍。根据摩尔定律,世界现有最快的超级计算机Exascale到2020年SKA的计划开始运行时方能赶上这运算速度。然而,即使Exascale若干年后将能够在SKA计划的初期拥有其数据数量处理的要求,它将迅速被更多天文望远镜所收集的数据所压得喘不过气来。

大批量的采样正在改变我们处理数据的模式。“直到最近,宇航员才开始通过望远镜的观察,把观察的数据刻在光盘上带回家然后花上几个月的时间来整理这些数据,”澳大利亚联邦科学与工业研究组织的宇航员Ray Norris说道,“下一代的大批采样将产生的数据数量将会大到难以储存和运输,因而对这些采样的分析需要在采集当刻就能进行。”

IBM的Exascale技术中心与荷兰放射天文研究院(ASTRON)合作组成了机构DOME尝试实现SKA所需的数据处理的需求。他们正在研发含有传统超级计算机因子和一种其他的处理器的一款名为“加速器”的混合系统。这款“加速器”运用规律识别算法来辨别射电天文望远镜所收集的最有效的数据并仅传输这部分有效数据进以作数据分析。

“这套系统是有人工学习技能的。通过监控宇航员利用数据的方法,这款“加速器”能够学习如何将不同的数据用几种不同的数量储存,”ASTRON科学主管TonEngbersen解释说。虽然摩尔定律表示只要计算机有足够的处理能力就能处理相应数据容量的数据,另有一条关于计算机的定律也为SKA的计划可行性奠定理论基础,那就是“Koomey定律”(由美国加州斯坦福大学的Jonathan Koomey发现)。该定律是关于计算机处理能力随时间增长的稳定性,它表示一旦固定了计算数量,计算机消耗的电能将以每1.6年减半的速度下降。

因而,拥有如此之多数据的最大的问题并不是数据的存储,而是计算对电的消耗量是否能够有能力处理大量数据。Ton Engbersen的团队正在设计足够有效的计算机在不依靠巨大计算机发动力的情况下承担所需的计算。“即便每次要移除一块数据也要占用计算机电能的,这个过程并不是自己产生的。我们关注的是如何尽量减少去除数据所占的电量,”Engbersen同时解释说,SKA项目原本打算将大批天文数据交给一个数据中心处理,而这将花费大量的电能。

对所搜集的数据进行首批过滤和分析将随之被在收集数据的射电天线旁进行。为了实现这个技术,简易、廉价,并且高效能的数据处理器仍然在探索中。Engbersen的团队将标准的“现有元素”融入了他们的“微”数据处理器。而他们的设置使得他们在与现有的标准相比较时显得更有效。处理器和记忆芯片被尽可能紧密地放置在3D的环境下,通过减少数据传输所需的距离来节省数据处理器的能量。这个步骤就远离传统发动力来源的数组的运行来说非常重要,尽管上述压缩组成部分可能可以帮助减少处理器所需的能量,而处理器过热的问题又被扩大了。为了防止如此紧密的电子设备过热,IBM已经发明了一套利用水来降温的技术。水流被通过微镜的管道通过处理器表面以下几微米,这样,热量就会被有效地通过冷空气流动而扩散,散发率达到10倍以上,并且这种方式还消除了运用风扇降温的不利影响,因为运行风扇也要消耗电能的。这个技术的一项额外的功能是多余的能量加热的水可以被用来淡化地区内的盐水。

这些在处理器身上的技术进步同时也帮助了那些“大科学”项目。同样的,数据处理对互联网的支持也能够被看作是增加了电能效率并加快了处理器速率这两项好处,而这些很可能将在2020年,当大量装置被连接上了互联网时所需的。

摘自 www.isgtw.org 作者:CharlesHarvey │自由科技撰稿人

原文发布于微信公众号 - 大数据文摘(BigDataDigest)

原文发表时间:2014-01-13

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏企鹅号快讯

这一次,你还会接受苹果的道歉吗?

北京时间12月29日凌晨,苹果公司发表声明致歉,承认为了平衡手机性能与电池寿命之间的关系而降低旧款iPhone的处理器速度,表示不会故意缩短任何产品的寿命。同时...

2265
来自专栏吉浦迅科技

不看这篇,别怪GPU大神们不回答你的问题!

本篇改编自 Eric Steven Raymond 的《提问的艺术》 在Lady的GPU应用技术开发QQ群里,当提出一个技术问题时,你能得到怎样的回答? 这取决...

3668
来自专栏java一日一条

一个五年 Android 开发者百度、阿里、聚美、映客的面试心经

先简单说说我最近的面试经历吧。面试的公司很多,其中有让我心血沸腾的经历,也有让我感到失望到无助的经历,我将这些体会都记录下来,细想之后很值得,面了这么多公司,要...

1401
来自专栏云计算D1net

“云”领生活:触手可及的云计算

有一个楚国人出门远行.他在乘船过江的时候,一不小心,把随身带着的剑落到江中的急流里去了.船上的人都大叫:“剑掉进水里了!这个楚国人马上用一把小刀在船舷上刻了个记...

4334
来自专栏大数据文摘

4位神级大牛说“别神化程序员了,编程不需要天赋和激情!”

1K7
来自专栏程序员互动联盟

一个程序员的奋斗历程

也许,你还为你的未来感到迷茫,也许,你还对程序员的历程感到神奇.就让我们来看看这位程序员的奋斗历程好了. 这些日子我一直在写一个实时操作系统内核,已有小成了,...

3938
来自专栏ThoughtWorks

开发者技能修炼的五个等级

第一阶梯:Typer,打字员 每一位开发者在正式踏上开发道路之前,都需要经过毫无编程经验的“第一阶段”。 这时他们对于程序的理解仅限于照着书本或记忆进行有规律的...

3406
来自专栏程序员的知识天地

工作两年的普通二本程序员在天猫、蚂蚁金服、百度等大厂面试中被拒经历

16年毕业于普通二本院校网络相关专业,工作经验两年半,目前就职业于一家普通民营企业。> 由于非985、211学历硬伤,校招进大厂的门槛远高于同届985、211的...

3413
来自专栏程序人生

程序员字典:「牛逼」

昨天发了中国团队的招聘贴 新的冒险,基本要求这一页我是这么写的: ? 作为一个已经命中注定和代码打大半辈子交道的程序员,我们职业生涯的「小」目标大多是 成为一个...

43015
来自专栏大数据挖掘DT机器学习

腾讯,百度,阿里面试经验

腾讯面经 本人IT屌丝一枚,毕业4年,5年经验(大四在腾讯实习一年,实习生工资,工作内容同正式员工一样)。非常幸运,先后收到过腾讯、百度和阿里的offe...

1.1K4

扫码关注云+社区

领取腾讯云代金券