2015年5个大数据技术预测

昨日Q2答案：A

Q3: 将原始数据进行集成、变换、维度规约、数值规约是在以下哪个步骤的任务？( ) A. 频繁模式挖掘 B. 分类和预测 C. 数据预处理 D. 数据流挖掘

________________________________________________________

摘要: 　　大数据技术快速进化，各种迹象显示2015年仍将持续。MapR的联合创始人兼CEO John Schroeder预测，在2015年里，五大发展将会主导大数据技术。 　　在短短几年里，大数据技术从炒作的概念变为新数字时代的核心破坏 ...

大数据技术快速进化，各种迹象显示2015年仍将持续。MapR的联合创始人兼CEO John Schroeder预测，在2015年里，五大发展将会主导大数据技术。

　　在短短几年里，大数据技术从炒作的概念变为新数字时代的核心破坏者。2014年，公司里越来越多的大数据举措从测试步入生产。2015年，大数据将在企业里进一步推进，使用更多的用例(特别是实时用例)，Hadoop分布式专家MapR的联合创始人兼CEO John Schroeder说。

　　Schroeder说：“今年，机构将覆盖之前的初次批量实现，进行大数据实时部署。现有的行业领导者和那些后起之秀已经付出了巨大努力，它们通过将新的大数据平台合并到‘动态’数据分析中来影响业务，这些实现将驱动行业的发展。”

　　Schroeder说五大发展将会主导2015。

　　1.数据敏捷性成为焦点

　　对于许多需求来说，遗留的数据库和数据仓库的处理过程过于缓慢和僵化，因此数据敏捷性是大数据技术发展的驱动力之一。在2015年，Schroeder认为，随着机构将他们的注意力从捕获和管理数据转换到使用它们，数据敏捷性将会更加集中。

　　他说：“遗留的数据库和数据仓库如此昂贵，以至于需要DBA对数据进行全面综合和结构化。前期的DBA成本推迟了对新数据源的访问，而随着时间的推移，这刚性的结构也很难改变。最终的结果就是，遗留数据库不够敏捷，不能满足今天多数组织的需要。”

　　他补充说：“最初的数据项目集中在目标数据源的存储。机构将会把自己的注意力转移到数据敏捷性上，而不是关心正在管理着多少数据。执行和分析数据的能力又是如何影响操作的?当用户偏好、市场条件、竞争行为和操作状态发生变化时，如何才能快速适应和响应?这些问题将会在2015年指引大数据的投资和规模。”

　　2.机构从数据湖泊转移到数据处理平台

　　从某种程度上来说，2014年是数据湖泊(或者数据中心)的一年。基于对象的存储仓库以其原生格式(无论是结构化的、非机构化的或半结构化的)保存着原始数据，直到可以使用。数据湖泊有着强烈的价值主张，它们代表着一个可伸缩的基础结构，这样的结构经济(降低了成本)又敏捷。

　　Schroeder认为，随着处理数据的多计算和执行引擎就位，数据湖泊将会在2015年继续发展。它不仅会更有效，它还会创建一个单点管理和一个单点安全。

　　“在2015年，随着机构从批处理转移到实时处理，将Hadoop、数据库和基于文件的引擎集成到他们的大规模处理平台，数据湖泊将会有所发展”，他说。 “换句话说，它并不是关于数据湖泊中支持大量查询和报告的大规模存储。2015年的大趋势是，围绕事件和数据的实时持续访问和处理，以此来获取稳定的状态和及时采取行动。”

　　3.自助服务大数据成为主流

　　大数据工具和服务的进步意味着，在2015年，商业用户和数据科学家访问数据的瓶颈将逐渐缓解，Schroeder说。

　　2015年，IT将会拥抱自助服务大数据，允许商业用户使用大数据自助服务，他说。“自助服务授权开发者、数据科学家和数据分析师直接控制对数据的探索。”

　　“之前，需要IT技术来建立集中的数据结构”，他补充道。“这是一种耗时和昂贵的做法。对于一些用例，Hadoop已经使得企业适应了‘结构准备好’。高级一点的机构将会转移到执行上的数据绑定，远离中心结构，以此来满足持续的需求。自助服务加快机构利用新数据源以及回应机会和威胁。”

　　4.Hadoop供应商整合：新商业模式的发展

　　早在2013年，因特尔引入了它自己的Hadoop版本，声称这个版本将会与原版有所不同，它采用一种增强的方法，将Hadoop直接置入到因特尔的机器中。但是一年后，因特尔放弃了它自己的版本，然后重磅推出Hadoop发行版供应商Cloudera。

　　当时，因特尔注意到，客户们都在观望Hadoop市场如何打开。Hadoop的选择实在是太多了。Schroeder相信，Hadoop供应商的整合在2015年将会继续，而失败者将会停止它们的发行版，将注意力转移到其它地方。

　　“现在，我们已经贡献开源代码20年了，它为市场提供了巨大的价值”，Schroeder说。“技术处于成熟阶段。技术生命周期始于创新和高度差异化产品的创造，止于产品最终商业化。[Edgar F.] Codd于1969年使用创新而建立了关系数据库概念，1986年也导致了Oracle IPO，而起始于1995年的第一个MySQL版本。所以历史上，数据库平台技术成熟之前，为了看到商业化，它花了26年时间的创新。”

　　“在技术成熟周期中，Hadoop是比较早的，自Google发布萌芽的MapReduce白皮书起，仅仅只有十年的时间”，他补充道。“在初级概念发布仅10年后，Hadoop在全球被采用，超越以往任何其它数据平台。Hadoop正在创新阶段，所以供应商误采用‘Red Hat for Hadoop’策略已经在市场上出现了，尤其是因特尔和最近的EMC。”

　　Schroeder相信，2015将会见到一个崭新的、更微妙的开源软件的发展，它们会结合深度创新和社区开发。

　　“开源社区对于建立标准和共识是至关重要的”，他说。“竞争是催化剂，它将Hadoop从最初的批分析处理器转换成一个全功能数据平台。”

　　5.企业架构师不再炒作大数据

　　2015年将会看到，企业架构师会成为焦点，因他们对Hadoop技术的深入理解，得到定义更好和更成熟的大数据应用需求说明，包括像高可用性和业务连续性等元素。

　　“在数据中心中，随着机构快速从试验转移到实际应用，企业架构师将前台和中心转移到实际应用”，Schroeder说。“IT领导在决定适应SLA的基础架构、提供高可用性、业务连续性和适应关键业务需求上就很重要了。在2014年，围绕Hadoop蓬勃发展的生态系统，拥有大量的应用、工具和组件。在 2015年，市场将集中在将Hadoop集成到数据中心，并交付业务结果所需的跨平台差异和架构上。”