【聚焦】大数据的机会与挑战

云计算虽然已经帮大数据铺好路，但要应用大数据，需要三种人才，分别是能够解决具件问题的领域专家、理解大数据方法论的数据科学家，以及开发系统和应用程式的电脑专家。此外，还需要两种技术，分别是能够大数据分析及大数据系统。 参考国外案例，为了在大数据时代抢得先机，有的是比数据量大，如Google、Facebook、Amazon等，但多半以数字、文字、图片为主，如何蒐集与运用声音、影像、专业知识，便成为其中的关键；另一种方式，则是设立大数据研究机构，培养设计学程、整合跨领域人才等；也有企业透过设置比武擂台的方式，提供数据或问题，用奖金为诱因，吸引专家投入；或是研发与贩售大数据技术。 至於面对大数据时代的机会与挑战，目前还有很多尚未利用大数据解决的问题，业界不要好高骛远，应该要找寻适合耕耘的题目，但业界必须要由OEM/ODM，转型为附加价值更高的解决方案提供业者，利用硬件设计的优势，优化大数据的的软件及应用。 但目前的大数据高级人才相当短缺，各先进国家都在加强训练人才，因此一定要提供高薪机会，才能吸引人才；而因为大数据的技术层次高，必须让大学发挥创新与整合的功能，寻求跨领域团队合作的可能。

值得注意的是，由於应用和数据的价值日益提高，想要取得并不容易，反观系统软件很多都已开放原始码，很大方的提供给识货的人来用。洪士灏认为，需要组一个团队来创造扩大价值，善用人家的技术和软件，学会如何建构系统，并找寻高价值的应用，把这些进阶的系统软件和硬件整合在一起，将应用好好做出来，就是的机会。 整合难度非常高，因为效能好坏差很多，一看就明白，必须了解应用的特性，如数据量及存取模式，或是解决关键的效能瓶颈，如磁碟机、网路及处理机等。 了解大数据的应用特性更是重要。洪士灏指出，要提高处理效率，必须善用分散式处理与 computation-data co-location。由多台机器组成丛集，提高运算量和储存数据量；装置分散式档案系统如HDFS；尽可能在同一节点读取数据、计算、储存结果；在每个节点提供足够的运算能量；利用高速网路进行不同节点间必要的数据交换等。 值得注意的是，大数据的每个应用都有其特性，必须全系统面进行效能分析，才能达到预期目标。储存及网路都可能是瓶颈，但微软却在2012年创下1分钟内完成1.47TB的世界记录，而且使用的机器是之前的记录保持人雅虎的四分之一，却只要三分之一的搜寻时间。

大数据的读写常常都是瓶颈，过去都是用更多的磁碟、更多的交换器来解决，但也导致耗电等问题。如果能把数据放在记忆件，不但性价比要比放到磁碟上省很多，而且可以省不少时间，尤其是数据如果是在TB等级，放在记忆件会比放在磁碟上，来得更有意义。此外，异质运算值得重视，甚至连GPU也可拿来做大数据分析。 其实目前仍有许多大数据分析的需求，如医学影像分析、异质运算系统软件与效能工具、建构台大计资中心高效能大数据丛集、国科会大数据先导计画、植物工厂及资安监控与数据分析，都是大数据分析可以发挥的空间。 大数据的应用或计算其实并不复杂，主要的挑战是数据量太大，如果能设计出加速的方法，就会很有价值。产业其实对软硬件整合并不陌生，在终端设备上也有表现不错的业者，但对於大数据的应用与研究方才起步，缺乏跨领域的团队与经验，唯有改变想法，用软件研发的思维，才能掌握先机，迎接大数据的挑战。