弈聪软件卓建超:从技术角度分析大数据分析未来十年发展趋势

如今大数据分析市场与几年前相比已经截然不同，在日前发布的2017年度市场研究报告中，2017年的全球大数据分析市场规模比前一年增长了24.5%，这主要是由于公共云的部署和利用好于预期，以及云计算的平台、工具和其他解决方案都在加速融合。此外企业正在通过大数据分析更快速地脱离实验和验证阶段，并从部署中获得更高的业务价值。展望未来，通过在物联网(IoT)、移动性和其他边缘计算用例中采用大数据分析技术，大部分市场可以保持未来几年的增长。

大数据分析技术

西安弈聪信息技术有限公司(简称：弈聪软件)CEO卓建超从技术角度分析未来十年将推动大数据分析行业发展的主要趋势如下：1、公共云提供商正在扩大其影响力大数据行业正围绕大数据平台提供相应的产品和服务，而大多数软件大数据服务商也在构建解决方案。这些和其他大数据公共云提供商正在提供托管的IaaS和PaaS数据湖，鼓励客户和合作伙伴开发新的应用程序，并帮助客户迁移遗留应用程序。其结果是纯粹的数据平台和NoSQL大数据服务商似乎发展比较平淡，日益被多元化的公共云提供商统治的大型数据领域所边缘化。与私有云相比，公共云的优势继续扩大。公共云正在成为每个客户细分领域首选的大数据分析平台。这是因为公共云解决方案比内部部署堆栈更为成熟，增加了更丰富的功能，而且拥有成本日益增加。公共云正在开发其应用程序编程接口生态系统，并加快他们的管理工具的速度，超过了为内部部署而设计的大数据分析解决方案。2、混合云正在成为企业大数据的过渡站点混合云是大多数大型企业的大数据计划，但主要是作为一种过渡战略。这是因为天平正在向企业倾斜，将更多的大数据资产放在公共云上。认识到这一趋势，传统大数据大数据服务商正在针对混合使用案例优化其产品。出于同样的原因，基于内部部署数据中心的大数据平台正在重建架构，希望部署在公共云中。基于云计算的大数据孤岛融合正在加快企业实现价值的速度。用户开始加快将孤立的大数据资产整合到公共云中的速度。公共云提供商的主导地位正在瓦解困扰企业私有大数据架构的跨业务孤岛。同样重要的是，基于云计算和基于内部部署的大数据解决方案正融合到集成产品中，旨在降低复杂性，并加快实现价值的速度。更多解决方案提供商正在提供标准化的API，以简化访问，加速开发，并在整个大数据解决方案堆栈中实现更全面的管理。

大数据分析技术

3、创新型大数据初创公司将越来越复杂的人工智能应用推向市场创新的应用程序提供商开始通过基于人工智能的解决方案颠覆大数据的竞争格局。来自新的市场进入者的威胁在各个大数据领域都在加速增长，其中大部分创新都是为公共云或混合云部署而设计的。过去几年来，许多新的数据库、流处理和数据科学初创公司已经进入市场。颠覆性大数据方法正在成为已建立平台的可行替代方案。新一代的“独角兽”大数据平台提供商将推出融合了物联网、区块链和流计算的下一代方法。以上的这些新一代的大数据平台将管理端到端的DevOps管道机器学习、深度学习和人工智能的优化。同时大数据平台正在为边缘设备设计人工智能微服务。人们将Hadoop视为一种传统的大数据技术，而不是颠覆性业务应用程序的战略平台。尽管如此，Hadoop是一种成熟技术，广泛用于许多用户的IT组织中的关键用例(如非结构化信息提炼)，并且在许多组织中仍然具有很长的使用寿命。考虑到这一长期前景，大数据服务商通过在独立开发的硬件和软件组件之间实现更平滑的互操作性，不断提高产品性能。用户越来越多地在开放的生态系统中混合和匹配多大数据服务商的大数据部署。一些大数据大数据服务商正在提供包含专有、非标准或非开源组件的解决方案。客户正在利用当今竞争激烈的市场，从大数据分析厂商处获取持续的增强功能。反过来，大数据服务商则将他们的工具解耦为模块化架构，客户可以在各种功能级别交换组件。对于希望通过完整的大数据服务商锁定在过去的市场中获得可持续份额的大数据服务商而言，这是最好的方法。数据库正在通过创新方法进行解构和重组。从架构角度来看，人们以前熟悉的数据库正在减少。人们正在采用流媒体、内存和无服务器大数据分析基础架构。大数据服务商正在探索重新构建核心数据库功能以满足新兴需求的新方法，例如自动化机器学习管道和面向边缘的认知物联网分析。在这一演变过程中，随着更多高性能事务分析功能集成到各种数据平台中，分析和应用程序数据库正在融合。此外，数据库存储引擎正在成为主要用于机器数据的存储库，可通过替代结构(例如键值索引和对象模式)进行寻址。

大数据分析技术

卓建超认为,尽管大数据分析采用的预测看起来很乐观，但仍存在许多持续性的问题，使用户试图最大限度地利用这些技术的投资价值受到挫折。其中最主要的是大数据服务商需要继续简化这些环境的接口、体系结构、功能和工具。这样做会将复杂的大数据分析功能应用于主流用户和开发人员，其中许多人都是缺乏具备必要专业技能的内部IT人员。对于一些IT专业人员来说，大数据分析管理和治理流程仍然过于孤立，成本高昂且效率低下。大数据服务商需要构建预先打包的工作流程，帮助大型专业人员团队更有效、快速和准确地管理数据、元数据、分析和服务定义。大数据分析应用程序开发和运营管道仍然过于耗时，并耗费人力。大数据服务商需要加强其工具的自动化功能，以确保提高用户技术人员的生产力，同时确保即使是技能较低的人员也能处理复杂的任务。大数据分析专业服务对于开发、部署和管理许多自定义应用程序仍然至关重要。这对于跨越混合云的数据驱动型应用程序，涉及不同的平台和工具，以及纳入难以理解的复杂数据流程尤其如此。大数据服务商需要为常用的大数据分析应用程序加强预先打包的应用程序内容，同时为用户提供自助服务的可视化工具，用于指定复杂的业务逻辑，而无需外部帮助。对于企业大数据团队来说，弈聪软件建议是开始将更多的大数据分析开发工作迁移到公共云环境中。这将加速企业利用公共云提供商提供的快速成熟、成本低廉产品的能力。企业应该考虑构建自己的混合云，以确保在未来几年内将其业务顺利过渡到公共云。