首页
学习
活动
专区
工具
TVP
发布

大数据3.0新时代 星环科技的思与行

众所周知,如今的世界正在以加速度进入到智慧时代,特别是随着各项业务的云化深入以及万物互联,数据处理能力的进一步提升,智能算法一次又一次的突破,以及云计算在传统产业的更密集的渗透,逐渐形成了“物理世界信息化、信息世界智能化”的新特征。

不仅如此,随着大数据、云计算、人工智能等新技术的蓬勃发展,三者之间的技术边界也变得越来越模糊,三类技术更相互影响与不断融合。在此背景下,定位于提供大数据和人工智能技术平台的星环科技,首次在业内提出了大数据3.0的新理念。

那么,如何理解大数据3.0?它具备什么样的特征?更为关键的是,大数据3.0新时代的来临,又将对整个业界带来哪些新的挑战与机遇呢?

大数据3.0新时代

在星环科技创始人、CEO孙元浩看来,如果从2006年Apache基金会仿照谷歌在2003年发表的Google File System论文建立Hadoop开源项目,用来解决大规模的数据存储和离线计算的难题算起,那么大数据从技术维度来看,已经经历了三个发展阶段:

星环科技创始人、CEO孙元浩

首先,大数据1.0时代,从2006年到2009年,以MapReduce计算框架为代表,大数据技术广泛应用于大规模结构化数据的批处理。可以看到,大数据1.0时代,开发与运维都有非常高的技术门槛,只有少量的高科技企业能够自建和使用。

其次,大数据2.0时代,从2009年到2015年,以Spark核心计算引擎的出现和在诸多技术竞争中胜出为标志,Spark为主流的计算引擎成功的替代了MapReduce,它解决了结构化数据和实时数据处理的问题。在大数据2.0时代,随着Hadoop生态的不断完善,开发与运维门槛大幅度降低,越来越多的企业开始使用上了大数据。

最后,大数据3.0时代,从2015年发展至今,这个阶段大量的结构化数据的处理问题已经基本解决,业界又开始把关注焦点转到了非结构化数据处理上面,特别是图像、视频、语音、文本的处理。同时,人们又试图用深度学习这样新的思路去解决过去MapReduce和Spark已经解决的问题,这也意味着大数据技术开始进入3.0时代。

在这个全新阶段,可以看到整个市场上已经可以提供完整的大数据产品线,以及提供基于云化方式保证随处可用的大数据服务,开发和运维得以极大的简化,让大数据的落地变得越来越简单和快速,同时也变成了一家企业的创新驱动力。

对此,孙元浩认为,实际上大数据3.0的新理念,不仅表现在技术维度的迭代与进化,也表现在数据本身的扮演的角色以及数据与业务直接的关系都发生了巨大的改变。

例如,从数据的角色转变看,最初它仅是记录物理世界的资料,但随着运用越来越多的新兴技术与不断提高的计算能力相结合,从数据中提取洞察的能力也在显著提高,数据已成为一项重要的资产,并创造价值。而数据资产化之后,对数据资产流通和交易实现其价值,数据最终又称为了资本。

再如,从数据与业务的关系看,它一开始只是支撑业务流程,完成电子化改造,这个阶段科技基本不涉及具体的业务;随后进入技术支撑业务的阶段,数据以图形化表现的形式出现,这个阶段科技被动响应服务需求;如今进入业务数据化阶段,数据的作用被放大,通过数据化运营,让数据成为了驱动业务的重要力量,这个阶段科技主动带动业务的创新,同时还帮助企业寻找更多的新业务机会。

由此可见,在大数据3.0时代,数据已经成为推动数字经济发展以及带动企业创新的重要驱动力,它不仅对既有的业务模式形成颠覆重塑,还将催生一系列大数据新业态和新模式,最终推动整个社会步入数字经济时代。

技术发展走向融合

与此同时,孙元浩表示,大数据进入3.0时代,在技术层面也出现了融合的特征,包括数据平台的融合,开发方式的融合,BI+AI的融合,A+B+C的融合,应用+数据与企业生态应用的融合,具体而言:

第一,数据平台的融合,是指未来的大数据架构将统一数据湖、数据仓库以及数据集市,企业不再需要搭建混合架构,通过新一代的大数据平台即可完成数据的各项服务,这将让大数据简单化、应用化的方向迈出重要一步,同时也让IT架构得以极度简化。

第二,开发方式的融合,是指SQL作为标准的结构化查询语言,具有强大的功能和灵活性,能更有效的开发应用无需了解架构细节。所以,新一代大数据平台应当用SQL支持全部功能,如数据仓库、OLTP数据库、搜索引擎、实时计算、时空数据库、图数据库等。

第三,BI+AI的融合,是指未来的整个数据分析工具链会融合在一起,覆盖从BI到AI的所有功能。换句话说,从数据探索、数据整合、数据预处理、数据监管、数据建模、数据可视化到AI模型训练,整个数据的处理流程都将统一到一个流程之下。

第四,A+B+C的融合,是指大数据未来利用云计算实现资源池化,通过容器技术统一管理和调度,最终变成Pass服务随处可用,同时也支持弹性扩展,由此带来的好处是,数据开发人员可以大规模的使用云端的大数据服务,同时也将大大降低企业的开发与运维的成本。

第五,应用+数据与企业生态应用的融合,是指当数据上云之后,数据资产也得以统一和集中,在此基础上通过数据资产服务、数据服务治理以及AI模型工厂,那么企业就可以随时安装、随时获取数据,驱动业务的创新,而由此形成的数据生态的良性成长,又可以推动整个数据产业的发展。

回头来看,星环科技一直致力于推动大数据技术的不断融合,早在2016年星环科技就率先把大数据技术跟容器化技术融合在一起,希望通过容器技术对外提供大数据的基础服务。

今年,星环科技又正式发布了Transwarp Data Cloud(TDC),即星环大数据云平台,首次实现了大数据+云+人工智能三者之间的成功融合,可以说TDC是全球第一个基于容器云部署的大数据平台产品,它能以公有云、私有云和数据服务云的形式为不同体量、不同业务类型、不同运作模式的企业提供针对性的服务,满足企业对大数据云平台的多种需求。

正如孙元浩所言:“作为大数据和人工智能技术平台的提供商,我们也一直在思考大数据在整个行业中技术发展趋势和应用场景落地,在大数据3.0时代,星环希望继续推动技术层面的不断融合,为整个市场提供更完整的解决方案,让更多的企业也能直接使用大数据技术。”

星环科技的思与行

客观的说,对大数据的利用其实源于多个层面,从底层的技术,到上层的应用,这是一个很长的链条,这些链条上的难题也就成了大数据应用中的“痛点”。

例如,由于各种历史的原因,当下大部分行业和企业,乃至政府机构,不仅内外部数据尚未打通,自己内部的数据也还没有实现整合和标准化,开发和利用更是无从谈起,数据孤岛现象同样屡见不鲜。

此外,大数据的实时、感知和预测等特点确实可以为很多企业在降低成本,缩短生产周期,提升了效率。但是,对大部分企业而言,即使有了收集数据的能力,但对现有数据的优化,数据建模工具的利用等方面,也需要较长的时间来沉淀。

星环科技研发总监刘汪根

换句话说,并非所有的企业都已经走到了大数据3.0时代。对此,星环科技研发总监刘汪根表示,星环科技针对不同行业、不同企业都有着十分具体的落地方式:

一是,针对大型集团企业客户,星环把他们称之为头部用户,由于这部分企业此前已经探索了相应的大数据技术和具体的业务场景,因此可以在这个过程中,结合之前的技术和经验,从而更好的进入大数据3.0时代。

二是,针对区域性或者垂直行业的企业客户。星环将联合这一类企业去建立属于他们的赋能方案,通过输出星环的人工智能和大数据融合技术,打通他们数据和业务之间的联系,帮助这些企业更好的利用好的大数据的技术。

三是,针对长尾企业的客户,星环未来希望可以通过公有云的形式交付大数据服务,通过提供更多的技术,帮助这些行业和企业完成赋能,最终带动这些企业的业务创新。

刘汪根最后强调,在大数据发展迅猛的同时,不同行业、不同企业也处于不同的阶段,所以真正的大数据落地,既要结合行业需求,也要对行业有足够的了解,更要认清企业所处不同的大数据阶段,以此完成“对症下药”。

综上所述,面对大数据3.0的全新时代,星环科技如今正通过更加简单、高效的方式做大数据的技术输出,这无疑将大大加快中国大数据商业化的进程。更为关键的是,星环科技大数据技术落地的过程中,真正立足于行业应用和业务场景,显然将更加有效的帮助更多的中国企业,把大数据的价值推到前所未有的新高度。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180817A1658200?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券