IBM系统硬件部首席技术官李永辉 ：大数据实践中的架构挑战及应对之道探索

<数据猿导读>

IBM系统硬件部首席技术官在2016年中国通信大数据大会上发表了以"大数据实践中的架构挑战及应对之道探索"的演讲。演讲中李永辉分别提到了IBM面对数据增长、管理、系统的要求和挑战。他表示，IBM认为，现在我们已经进入了认知系统时代,大数据将会推动商业的发展

数据猿报道，2016年4月20-21日，2016中国信息大数据通信大数据大会在京召开。大会以“开放共享、转型创新”为主题，聚焦通信业大数据产业生态，邀请工信部、院士专家、三大运营商集团及省市大数据相关业务部门领导以及领先的大数据产业领军企业及应用单位代表出席，共同探讨通信业大数据发展带来的产业机遇和挑战。

本次大会主要针对前沿ICT技术与解决方案对运营商大数据能力建设的提升以及业务运营、架构的转型影响，通信业大数据的开放应用以及开放、共享、创新的产业生态等热点话题展开讨论，全景展现运营商大数据能力建设规划与开放应用策略。

本文由“135编辑器”提供技术支持

以下是数据猿现场独家直播“IBM系统硬件部首席技术官李永辉”的发言实录：

李永辉：各位尊敬的嘉宾，大家早上好!今天很高兴代表IBM来参加中国信息通信大数据大会。

今天我给大家带来的内容是《大数据实践中的架构挑战及应对之道探索》。

IBM跟各位一样，也是在大数据领域一直做多方面的调研，也希望做出一些探索。

看一下今天大数据的现状，目前我们看到，在全球范围内，移动互联设备已经超过了60亿。同时，2016年底，我们估算有190亿个网络连接，其中会发展出很多可穿戴设备、车联网等等，这些都在增长。

社交媒体上每天产生的数据量也非常庞大，像Facebook、微信，等等，上面每天都会产生非常庞大的数据。

这个领域，今天很多是电信行业的客户，我们看到很多是对人的，但未来的发展趋势，有很多是机器跟机器的沟通、机器跟人的沟通。

大数据对各行各业的传统产业都产生了演变，原来每个企业都是以一种服务提供给数据，今天已经有很多大数据为基础来预估、判断每个人的喜好。

因此，我们又知道，大数据就像淘金一样，我们要在海量的数据终抓取有用的信息，从而找到智慧和技术，这样我们才能用得上。下面我也向大家报告，IBM在这个领域经历过去几年的收购，在一些领域也作出了一些影响。

接下来，看一下大数据的发展过程中，我们知道大数据分了几个层面：数据当然是最周期的之一，另外是算法、建模，等等，另外是技术架构。我是IBM系统硬件部的，所以在这方面跟大家探讨一下。

首先数据面临的一个难题就是数据量的快速增长，数据的增长如今都是PB级别以上的，我们发现传统的大数据处理方法一般会遇到几个难题，一个是数据分析，这种技术现在已经在市场中陆陆续续的非常成熟了，IBM在去年收购了一家公司可以做到很好的对数据的整理和存储，一般都可以节省一半存储的容量。

IBM也收购过一家公司，在风险管理平台领域做的是最好的，可以把平台统一管理起来。IBM Platform Conductor软件定义平台支持Spark多租户环境。

还有一个挑战是不停的改变软件环境，尤其是开源产品，IBM在Spark领域做了很多投资，可以说这方面的厂家我们是投入最多的厂家。我们在Spark开发过程中，是所有厂家的第一名。另外，我们有300名以上的发明家参与Spark开发。同时，我们致力于培养100万名数据科学家工作者，并且还贡献了SystemML机器学习架构。同时也是人工智能领域AMPLab实验室的创办会员。我们在里面投入了很多支持，Spark也是在这个实验室里面开发出来的。所以可以看到，IBM在这个领域里做了非常多的投入，全球范围内也建立了Spark技术中心，满足客户在这方面的资源需求。

最后做个总结，当我们面对现在这么海量的数据和技术、开源的东西，我们应该怎么样选择发展方向?IBM认为，现在我们已经进入了认知系统时代。我们看得到，大数据会推动商业的发展。

IBM作为一个厂家，我们也做了多方面的尝试，刚才提的只是我们看到的几个典型的挑战，实际我们在实施大数据能力过程中会面临很多挑战。IBM在这个领域里面跟别的厂家不太一样的点在于，我们是从基础科学开始研究，到基础架构、中间件，包括Spark的支持，等等，我们都会有开源的参与。同时，在应用层面我们也加大了关注，IBM过去两年我们收购了大数据领域的很多公司。

可以看到，当我们进入认知时代的时候，IBM在这方面做出了各种各样的努力，希望针对特定的场景能够提供深度的能力整合。

借用3月末4月初的一个大会上AlphaGO相关发言人的发言，Google于OpenPower Summit提及到了采用Power的计划。

今天给大家做的报告分别提到了IBM面对数据增长的挑战、管理的挑战、系统的要求和挑战，乃至最后的应用不停在改变，我们都可以提供支持和配合。在这里，也代表IBM感谢各位在过去一直采用IBM的平台，希望我们今后在这方面还能持续努力，满足各位的要求。

希望今天大家在这儿有很好的学习成果，祝大会圆满成功，谢谢大家!

来源：数据猿（www.datayuan.cn）