企业大数据分析：2014年值得期待的大趋势

【摘要】据国外媒体报道，据市场研究公司idc预测，2015年大数据市场规模将从2010年的32亿美元增长到170亿美元，复合年增长率为40%。大数据是一个庞大的新的领域，其中的数据集可以增长的非常庞大，以至于使用传统的数据库管理工具也很难处理。处理这种问题所需要的新工具、框架、硬件、软件和服务是一个巨大的市场机会。

　　据国外媒体报道，据市场研究公司idc预测，2015年大数据市场规模将从2010年的32亿美元增长到170亿美元，复合年增长率为40%。大数据是一个庞大的新的领域，其中的数据集可以增长的非常庞大，以至于使用传统的数据库管理工具也很难处理。处理这种问题所需要的新工具、框架、硬件、软件和服务是一个巨大的市场机会。随着企业用户越来越多地需要连续不断地访问数据，好的大数据工具集将以最低的成本和接近实时的速度提供可伸缩的、高性能的分析。通过分析这种数据，企业可得到更大的智能以及竞争优势。下面是hadoop和大数据专业厂商mapr共同创始人和首席执行官约翰·施罗德（john schroeder）对2014大数据市场的预测。 1. sql拥有大数据的最大潜力 　　用于hadoop（分布式计算）的sql的发展能够让商业分析师利用自己的技能和选择的sql工具执行大数据项目。开发人员可以选择hive、drill和impala等apache项目，以及选择hadapt、hawq和splice machine等公司的专有技术。 2. 尽管如此 sql还面临挑战 　　sql需要数据结构。而集中的结构化数据可引起延迟并且需要人工管理。sql还限制分析类型。过分强调sql将延迟机构全面利用其数据价值的努力和延迟反应。 3. 身份识别是主要的数据安全问题 　　随着hadoop（分布式计算）中提供的接入控制能力的猛烈攻击，机构迅速认识到线路级身份识别是必要的基础。没有充分的身份识别，任何更高级的控制都很容易被绕过，妨碍预定的安全计划。 4. 数据错误变成学习机会 　　2014年机构将出现许多数据错误。数据错误将表明基础的来源系统的问题吗？数据错误是在下游分析中出现偏差导致的数据提取问题吗？数据错误将表明定义差异或者缺少跨部门和业务部门的一致性吗？2014年将看到解决数据异常问题。 5. 出现可运行的hadoop 　　2014年将看到hadoop在各个行业中的生产部署显著增加。这将显示出hadoop在运营中的实力。在那里，生产应用与分析结合在一起能够提供可以衡量的商业优势，如在客户化零售建议、诈骗检测和试验传感器数据进行规范的维护等应用中提供这些优势。 6. 更多的数据仓库将部署企业数据中心 　　数据中心把数据提取处理和数据从企业数据仓库卸载到hadoop。作为一个核心的中心企业中心，数据中心要便宜10倍，能够对额外的处理或者新的应用进行更多的分析。 7. 新的以数据为中心的应用将成为强制性的 　　利用大数据的能力将在2014年成为竞争的武器。更多的公司将使用大数据和hadoop准确地针对个人消费者的偏爱追逐赚钱的追加销售和交叉销售的机会，更好地缓解风险以及减少生产和开销成本。 8. 数据成为数据中心的核心 　　机构将从开发者过渡到大数据计划中。it部门将越来越多地担负定义支持多种应用的数据基础设施的任务，把重点集中在部署、处理和保护一个机构的核心资产所需要的基础设施方面。 9. 搜索将成为非结构化的查询语言 　　2013年有大量的用于hadoop的sql计划。2014年将是这种非结构化查询语言成为重点的一年。把搜索集成到hadoop将为查找重要信息的企业用户提供一种简单和直观的方法。搜索引擎还是包括推荐引擎在内的许多发现和分析应用的核心。 10. hadoop将获得地位 　　hadoop将继续取代其它it开支，颠覆企业数据仓库和企业存储。例如，甲骨文的主要营收目标在过去的10个季度里有5个季度没有实现。teradata在过去的5个季度有4个季度没有实现营收和利润目标。 11. hadoop仍需要帮助才能成为主流应用 　　更多的机构认识到apache hadoop本身还没有准备好在企业应用。apache hadoop不是为系统管理或者灾难恢复等统一企业it流程设计的。企业将继续推进混合的解决方案，把架构技术创新与apache hadoop的开源软件结合在一起。