首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

星环科技带着“他们”,重回地球

这一次星环科技重回地球。

记忆犹新。一年前的孙元浩,重穿宇航服。当时,星环科技为数据云,组建了“联邦”,对大数据平台也进行重要升级,四层架构被解构为五层,计算引擎从此与存储引擎分离。一年之后,星环科技返航,而且是带着“他们”,重回地球。

01

一份蛮不讲理的“套餐”

一份套餐,曾经蛮不讲理地摆在你面前。

当你想要一份汉堡时,必须同时喝下一杯可乐,反之也亦然。问题是我只想吃汉堡,或只想喝可乐。大数据基础平台,曾经也是如此不讲道理,计算引擎与存储引擎被紧耦合在一起,数据不管冷热,只要纵向拓展,就需搭配一份计算集群;部门不论多寡,只要有项目启动,就要复制一份存储资源。

显然,这既不合理,也不经济,甚至还不安全。因为有时候用户只需要计算,不需要存储,或者只需要存储,不需要计算。两年前,星环科技已意识到这一点,并下决心对TDH进行重构,即将计算引擎与存储引擎进行分离。

这就是Transwarp Data Hub7.0版本的由来。

其价值如前所述,在TDH7.0平台的支撑下,用户可以丰俭由人,不必选择所谓的套餐。举例说明,企业中的财务、业务、市场、运营、人力资源等不同部门,需对同一份数据进行分析。在传统模式中,用户或排队,夜以继日地分批进行,或将数据复制多分,同步并行完成。前者是对时间资源的浪费,后者是对存储资源的浪费,且存在数据安全风险。

TDH 7.0平台则将计算引擎与存储引擎解耦。财务部门可以得到一个计算集群,运营部门可以在平行空间,也得到一个独立的计算集群,两个部门使用同一份数据,但不必先来后到的排队,也互不干扰。

02

一把钥匙开一把锁

这就是一年前的星环科技

而此次,星环科技重返地球,其对Transwarp Data Hub(TDH,一站式多模型数据管理平台)、Transwarp Data Cloud(TDC,数据云)、KunDB数据库、ArgoDB数据库、Studio大数据工具集、Sophon人工智能平台等各条产品线,均有进行了升级。

其中,TDH7.0版升级至TDH8.0版,存储引擎由4个增加至8个,对10种主流存储模型的兼容性,也进一步得到完善。在8个存储引擎中,星环科技对原有关系型数据存储引擎、宽表存储引擎、搜索引擎、图存储引擎,均进行了优化升级。而地理空间存储引擎被从搜索引擎中拆分独立,键值存储引擎、事件存储引擎、和时序存储引擎则为首次推出。

这就是TDH8.0版的设计精华之一。

举例说明,医疗大数据一直特立独行的存在,数据类型之多,数据模式之复杂,并非其他行业所能比。尤其是在抗疫过程中,用户需同时采集实时数据、历史数据、图片数据、位置数据、事件类数据等不同类型的数据。

此时,星环科技丰富的存储引擎“插件”,就将派上用场,不同存储引擎的组合应用,即可服务于多模态数据。这就是说,星环科技将爱谁谁的固定“套餐”,改变为谁都爱的“自助餐”。用户可以按需使用、自由搭配。

不仅如此。

所谓“一把钥匙开一把锁”,在数据类型单一的应用中,星环科技的存储引擎更可快速解码,计算引擎可以自动选择最优的存储引擎,以实现系统性能最佳、开发成本更低、运营维护更简单。

03

星环科技一点都不复杂

但话题至此,是否感觉星环科技的大数据平台越来越复杂?其实一点都不。存储引擎插件越来越多,用户只会体验到它的在性能、运维等方面变化,但在操作过程中,一点也会感觉不到它的复杂。

其实,从TDH7.0版本开始,其已被称为多模型数据处理平台。在TDH8.0版本中,更是针对多模型数据,形成了统一的SQL编译器、统一的分布式计算引擎、统一的分布式存储管理系统、统一的资源管理框架。

这就要简述数据库的发展历史。传统关系型数据库,针对不同的数据类型,配属不同的计算引擎。但由于计算与存储紧耦合,即使一把锁配备几把不同的钥匙,也很难避免接口也各自为政,很难实现数据共通、跨库关联,而且其所支持的数据类型也十分有限,多在3~6种之间。

当然,还有较为偷懒的方式,通过优化初始存算策略,以支持不同的数据模型,这种方式看似可以忽略不同的数据库,但实则效率较低。此外,还有更偷懒的方式。在原有多个存储引擎之上,增加创建一层统一的系统接口,通过接口“选择”不同的存储引擎,进行数据分发。但此模式同样存在弊端,接口经常不能因材施教,不能将不同的数据类型,最优地与存储引擎相匹配。

显然,星环科技一点都不想狡猾。TDH8.0版本可支撑10种不同类型的数据,而且不同的存储引擎,使用统一的计算引擎Nucleon。计算引擎能根据不同的存储引擎,自动地匹配高性能算法,无需用户手工干预。从而便捷的实现跨库关联,避免数据导入导出。

04

星环科技“科”而不“幻”

这还不是全部。

多模型数据处理平台,肯定不是星环科技唯一的的技术创新。TDH8.0平台的每一层均为解耦设计,可以独立通过容器化一键伸缩。这又引出4年前,乃至8年前,星环科技的一系列技术决定。

其实,星环科技每次进行重大技术选择时,竞争对手都等着在看笑话,但显然笑话并没有出现,吃瓜群众倒是凉了一堆,而星环科技手里的“瓜”,也是越来越甜。

星环科技创立初期,全力于对Spark引擎的改造,并推出了Inceptor分析型数据库。正是基于此数据库,星环科技在TPC-DS测试中一战封神。要知道,在此前12年中,没有一家完整通过全场景测试,更别说通过官方审计。

也几乎是在同时,数据上云已成必然趋势。对此,星环科技选择了以容器技术,重构底层基础架构,并投资研发基于云原生技术的云操作系统Transwarp Cloud Operating System。该系统则取代了Hadoop框架中的“YARN资源调度系统”,数据处理性能大幅提升。这也奠定了星环科技在数据云领域的行业地位。

延伸此思路。

四年前,星环科技以容器化方案,再次对数据平台进行重构。这也是一次充满争议的技术选择。甚至用户都开始怀疑,星环科技是不是选错了路线。但事实证明,正是此次重构后,推出的TDH5.0,以及TDC(数据云),恰又成为一个分水岭。

由此,星环科技从一家大数据公司,升级成为一家数据处理平台和工具的企业,其可围绕数据,提供大数据、小数据、智能分析、数据云等一系列服务。甚至在2017年时,美国的用户也开始寻求与星环科技合作,因为当时还没有任何一家美国公司,能推出类似,且成熟的产品。

在此阶段,星环科技的TDC(数据云)也成为领先时代的产品。其实,传统云计算只是以ICT物理资源为中心,而以数据为中心的数据云,则正在成为企业数字化建设的基础设施,即云计算2.0。显然,星环科技又是率先提出此概念,而此后其也被产业认可,但Cloudera等公司,只是在1~2年后,才推出类似平台。

当然,星环科技并没有停步。也是在此次发布中,星环科技正式推出TDC 2.4版本,这是一个集数据PaaS、分析PaaS、应用PaaS 于一体的数据云。也就是说,在一个PaaS平台上,星环科技可提供包括数据仓库/数据湖、数据治理、数据智能与分析、数据交易与共享等在内的完整的数据解决方案,以及应用生命周期管理能力,实现数据驱动,快速迭代,从而赋能企业持续创新。

05

主角光环从何而来?

由此可见,不管是对Spark引擎的改造、还是淘汰YARN资源调度系统;不管是基于容器技术,重构大数据平台,还是率先推出数据云。星环科技总能做出正确选择,且能将解决方案落地实现。

确实如此。

数据基础设施产业需要原创,更要不害怕走新路。星环科技的主角光环,星环科技每一次正确的选择,都不是“幸运”所能解释。他是在真正了解用户需求后,坚持不懈地进行技术创新,他是在以应用为导向,持之以恒地进行技术驱动。而这次,星环科技又带着“他们”,重返数字地球,这次又是有备而来。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20210324A08M1O00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券