首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Prophecy 3.0如何使企业无须编写SQL代码就能创建数据管道?

译者 | 布加迪

审校 | 重楼

总部位于加州的数据工程公司Prophecy近日宣布了其核心平台的新版本,该平台具有低代码SQL功能。

名为Prophecy 3.0的版本为数据工程师将该平台的范围扩大到了低代码Spark之外,并为企业数据用户提供了一款可视化的拖放式画布,可用来在云数据平台上直接构建数据管道。

以前,这个过程需要他们编写复杂的SQL代码,这会造成延迟和准确性问题,并影响下游的分析和机器学习工作。

低代码SQL:它如何帮助数据管道?

构建数据管道本质上是准备数据进行分析。这意味着为诸多任务编写SQL代码:比如从数据库中提取数据、转换和清理信息以及将其加载到目标数据平台中。对于数据工程师来说,这些都很平常,但是如果数据用户试图自行准备数据(可能是为了满足特定的业务需求),这个过程就可能会成为瓶颈,导致无法及时为计划的分析提供正确的数据。

毕竟,大多数业务用户都是数据专家,而不是专家级数据工程师。

通过为平台添加低代码SQL,Prophecy弥合了这个差距,并为业务数据用户提供可视化的拖放式界面,以构建他们所需的数据管道。一旦使用这款画布,平台的技术就会将表示转换成切实可行的SQL代码(作为开源dbt Core项目),并准备好管道进行分析。

Prophecy的联合创始人兼首席执行官Raj Bains告诉IT外媒VentureBeat:“业务团队可以快速简单地自行准备数据进行分析。这使他们能够更快地交付分析成果,快速适应不断变化的业务需求。更重要的是,这还解放了常常不堪重负的集中式数据平台团队。”

图1. 具有低代码SQL功能的Prophecy 3.0

值得注意的是,该技术也可以反向工作:用户可以在Prophecy中打开现有的dbt Core项目,并将SQL代码编辑为可视化管道,更改回过头来保存为SQL。

Bains补充说:“早期用户也非常高兴低代码开发者和SQL码农现在可以在同一个环境中工作,因为Prophecy可以同时将低代码管道转换成SQL代码、将SQL代码转换成低代码管道。”

统一平台

虽然低代码SQL是新的,但要注意的是,这不是该平台的第一个可视化工具。该公司已经为Spark、Spark Streaming和Apache Airflow(用于数据工作流编排)提供低代码支持——为具有不同专长和需求的用户提供了统一的服务。

Gartner前大数据和高级分析研究副总裁Sanjeev Mohan说:“当不同的数据团队使用不同的工具来构建管道时,这增加了成本、时间和风险……Prophecy 3.0版本可以帮助使用SQL的数据分析师、使用Spark的数据工程师、使用Apache Airflow的DevOps工程师借助统一的低代码平台进行协作。这开辟了新的可能性,比如始终如一地运用数据质量检查,而不必考虑具体的语言,并启用自助服务框架来创建数据产品。”

Eckerson Group的研究副总裁Kevin Petrie表示了同样的观点,他特别指出,往Prophecy的产品组合添加低代码SQL,为面向SQL的数据工程师和面向dbi的分析工程师构建、管理和编排支持现代分析项目的管道提供了新的选择。

他说:“企业继续采用将基于SQL的查询和转换运用于云原生对象存储的湖仓一体平台。通过添加SQL管道功能,Prophecy显著扩大了其潜在市场。”

Prophecy 3.0现已上线,可以在Databricks湖仓一体平台上使用。

https://venturebeat.com/data-infrastructure/how-prophecy-3-0-enables-businesses-to-build-data-pipelines-without-writing-sql-code/

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20230509A03CF000?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券