【聚焦】大数据的机会与挑战

迎接大数据时代的来临,要如何运用既有优势,同时克服将到来的挑战呢?大学副教授洪士灏指出,硬软件整合是的机会,但业界的思维必须转型,要从纯硬件的代工制造业,转为有能力针对特定应用,产生最佳的硬软件整合方案,而这也正是面对大数据时代的主要挑战。 以云计算为例指出,要做出成绩,但这几年在并没有明显成果,其中一个原因就是因为用旧思维做高科技,包括不懂软件,以至於只会做硬件,软件赚不了钱;太依赖代工、卖硬件,不会做服务;只会人云亦云、依样画大饼,要靠政府补贴才有竞争力。

云计算虽然已经帮大数据铺好路,但要应用大数据,需要三种人才,分别是能够解决具件问题的领域专家、理解大数据方法论的数据科学家,以及开发系统和应用程式的电脑专家。此外,还需要两种技术,分别是能够大数据分析及大数据系统。 参考国外案例,为了在大数据时代抢得先机,有的是比数据量大,如Google、Facebook、Amazon等,但多半以数字、文字、图片为主,如何蒐集与运用声音、影像、专业知识,便成为其中的关键;另一种方式,则是设立大数据研究机构,培养设计学程、整合跨领域人才等;也有企业透过设置比武擂台的方式,提供数据或问题,用奖金为诱因,吸引专家投入;或是研发与贩售大数据技术。 至於面对大数据时代的机会与挑战,目前还有很多尚未利用大数据解决的问题,业界不要好高骛远,应该要找寻适合耕耘的题目,但业界必须要由OEM/ODM,转型为附加价值更高的解决方案提供业者,利用硬件设计的优势,优化大数据的的软件及应用。 但目前的大数据高级人才相当短缺,各先进国家都在加强训练人才,因此一定要提供高薪机会,才能吸引人才;而因为大数据的技术层次高,必须让大学发挥创新与整合的功能,寻求跨领域团队合作的可能。

值得注意的是,由於应用和数据的价值日益提高,想要取得并不容易,反观系统软件很多都已开放原始码,很大方的提供给识货的人来用。洪士灏认为,需要组一个团队来创造扩大价值,善用人家的技术和软件,学会如何建构系统,并找寻高价值的应用,把这些进阶的系统软件和硬件整合在一起,将应用好好做出来,就是的机会。 整合难度非常高,因为效能好坏差很多,一看就明白,必须了解应用的特性,如数据量及存取模式,或是解决关键的效能瓶颈,如磁碟机、网路及处理机等。 了解大数据的应用特性更是重要。洪士灏指出,要提高处理效率,必须善用分散式处理与 computation-data co-location。由多台机器组成丛集,提高运算量和储存数据量;装置分散式档案系统如HDFS;尽可能在同一节点读取数据、计算、储存结果;在每个节点提供足够的运算能量;利用高速网路进行不同节点间必要的数据交换等。 值得注意的是,大数据的每个应用都有其特性,必须全系统面进行效能分析,才能达到预期目标。储存及网路都可能是瓶颈,但微软却在2012年创下1分钟内完成1.47TB的世界记录,而且使用的机器是之前的记录保持人雅虎的四分之一,却只要三分之一的搜寻时间。

大数据的读写常常都是瓶颈,过去都是用更多的磁碟、更多的交换器来解决,但也导致耗电等问题。如果能把数据放在记忆件,不但性价比要比放到磁碟上省很多,而且可以省不少时间,尤其是数据如果是在TB等级,放在记忆件会比放在磁碟上,来得更有意义。此外,异质运算值得重视,甚至连GPU也可拿来做大数据分析。 其实目前仍有许多大数据分析的需求,如医学影像分析、异质运算系统软件与效能工具、建构台大计资中心高效能大数据丛集、国科会大数据先导计画、植物工厂及资安监控与数据分析,都是大数据分析可以发挥的空间。 大数据的应用或计算其实并不复杂,主要的挑战是数据量太大,如果能设计出加速的方法,就会很有价值。产业其实对软硬件整合并不陌生,在终端设备上也有表现不错的业者,但对於大数据的应用与研究方才起步,缺乏跨领域的团队与经验,唯有改变想法,用软件研发的思维,才能掌握先机,迎接大数据的挑战。

原文发布于微信公众号 - PPV课数据科学社区(ppvke123)

原文发表时间:2015-04-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏织云平台团队的专栏

GOPS·上海站--腾讯运维双雄专场回顾

9月14-15日,GOPS全球运维大会上海站圆满举行,为期两天的运维盛宴,为各位运维人带来了相互交流和学习的绝佳平台。腾讯运维双雄专场也不例外,腾讯社交网络运营...

18720
来自专栏VRPinea

连虚拟化身都没有的你,还敢自诩自己走在时尚科技的尖端?

359100
来自专栏杨熹的专栏

[成功]成功的要诀是什么?是意志力

成功的要訣是什麽?是意志力 ? 优秀的学生和表现差的学生之间,最大的区别并不是智商,只要他们足够认真,坚持,就能学的很好。 在各种测验中,一个人是否成功通过,在...

32940
来自专栏大数据技术学习

想从事大数据、海量数据处理相关的工作,如何自学打基础?

想做数据处理尤其是大数据量处理的相关工作必须兼具计算机科学基础和统计基础。 现在有一个高大上的职业叫数据科学家,有人说数据科学家就是一个比程序员更懂统计的统计...

15660
来自专栏牛客网

2018年春招腾讯面试

76940
来自专栏数据的力量

从新人菜鸟到高级运营:没有捷径,请踏踏实实干

如知友 @刘锤 所说,运营的职业发展曲线的确是阶梯式,不管别的运营成长是否如此,起码我身边接触到好的运营就是这么一步一步成长出来的。如下图:

12840
来自专栏罗超频道

内容分发下半场算法成基本功,竞争将回归内容本质?

近日,主流媒体《人民日报》正在对互联网高度关注。除了对王者荣耀穷追不舍,最近又对一些新闻客户端过度重视算法进行了批评,指出这些新闻客户端通过算法“绑架”了新闻,...

52450
来自专栏数据科学与人工智能

【数据科学】数据科学岗位工作面试指南

结束 Galvanize 全栈专业和数据科学专业课程的学习后,我们的学生将接受面试辅导和实践,经过简历筛选之后介绍给合作伙伴公司。一个数据科学专业的毕业生 Gr...

28370
来自专栏新智元

【谷歌版“黑镜”】Ledger全面收集数据视频曝光,人类易被引导

21270
来自专栏Java架构

同样的工作、同样的做需求,为什么他们能进阿里?

古人云:“活到老,学到老。”互联网算是最辛苦的行业之一,“加班”对工程师来说已是“家常便饭”,同时互联网技术又日新月异,很多工程师都疲于应付,叫苦不堪。以至于长...

9550

扫码关注云+社区

领取腾讯云代金券