前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >SQL无处不在,无所不能

SQL无处不在,无所不能

作者头像
herain
发布2022-04-27 19:07:23
4870
发布2022-04-27 19:07:23
举报
文章被收录于专栏:数据指象

数据分析领域常常听说SQL,相信很多数据分析师或多或少都接触过SQL。

但我可以肯定的是,我们一直低估了SQL的存在,低估了SQL的应用场景。

SQL无处不在,多场景多应用:数仓,BI,实时,搜索等

SQL-on-关系型数据库:不止于关系数据库

SQL 是一门 ANSI 的标准计算机语言,用来访问和操作数据库系统。SQL 语句用于取回和更新数据库中的数据。

SQL 可与数据库程序协同工作,比如 MS Access、DB2、Informix、MS SQL Server、Oracle、Sybase 以及其他数据库系统。

SQL-on-Hadoop: Apache Hive

Hive是原始的SQL-on-Hadoop解决方案。它是一个开源的Java项目,能够将SQL转换成一系列可以在标准的Hadoop TaskTrackers上运行的MapReduce任务。

Hive通过一个metastore存储表模式、分区和位置。它支持大部分MySQL语法,同时使用相似的 database/table/view约定组织数据集。

当然,还有很多低延迟SQL-on-Hadoop解决方案,类似impala,presto,drill等。

SQL-on-kylin:Apache Calcite

Apache Kylin 使用 Apache Calcite 做 SQL 解析和优化。

作为一款 OLAP 引擎, Kylin 支持 SELECT 操作,而不支持其它操作例如 INSERT,UPDATE 和 DELETE,因此 Kylin 的 SQL 语法是 Apache Calcite 支持语法的一个子集。

SQL-on-redis:rediSQL

可能最早让sql落到redis上的,应该是spark sql 吧,让redis作为spark的rdd,但这里说到的是另外一个通过module实现的sql on redis。

这牛的东西,值得我们去学习和探索,让SQL之光照耀每一个角落。

SQL-on-HBase: Phoenix

Phoenix是构建在HBase上的一个SQL层,是内嵌在HBase中的JDBC驱动,能够让用户使用标准的JDBC来操作HBase。

Phoenix使用JAVA语言进行编写,其查询引擎会将SQL查询语句转换成一个或多个HBase Scanner,且并行执行生成标准的JDBC结果集。如果需要对HBase进行复杂的操作,那么应该使用Phoenix,其会将SQL语句转换成HBase相应的API。

当然,方法不是唯一的,Trafodion一样可以实现SQL-on-HBase

SQL-on-Elasticsearch:X-Pack SQL

Elasticsearch包含一个X-Pack SQL插件,旨在提供功能强大但轻量级的SQL接口,实时执行类SQL的查询。

无论是使用REST接口,命令行还是JDBC,任何客户端都可以使用SQL在Elasticsearch中实现搜索和聚合数据。

可以将Elasticsearch SQL视为一个翻译器,它既能理解SQL又能理解Elasticsearch DSL,并且利用Elasticsearch实现大规模实时读取和处理数据。当然,也有Apache Calcite

SQL-on-Storm:EasyCount

EasyCount使用SQL描述业务的实时计算的需求,并将SQL转化为基于storm的topology。相对于传统SQL,实时SQL面临诸多挑战,EasyCount通过不同的方法给出自己的解决方案。

不同于传统数据库的SQL任务式运行(有生命周期),EC-SQL是一个持续运行的实例,也就是说一旦提交,就会一直持续不断的运行,除非人为终止,否则不会停止。

EC-SQL是运行在Storm-Yarn之上的,这对于不同业务之间进行资源隔离,任务平衡调度非常有益。

SQL-on-Flink: Flink SQL

Flink SQL是Flink系统内部最高级别的API,也是流批一体思想的集大成者。用户可以通过简单明了的SQL语句像查表一样执行流任务或批任务,屏蔽了底层DataStream/DataSet API的复杂细节,降低了使用门槛。

值得赞扬的是Apache Zeppelin解决Flink SQL平台化的问题。

SQL-on-Kafka: KSQL

KSQL,这是面向Apache Kafka的一种数据流SQL引擎。KSQL降低了数据流处理这个领域的准入门槛,为使用Kafka处理数据提供了一种简单的、完全交互的SQL界面。

KSQL具有这些特点:开源(采用Apache 2.0许可证)、分布式、可扩展、可靠、实时。它支持众多功能强大的数据流处理操作,包括聚合、连接、加窗等等。

一句话:掌握SQL利器,可以走遍数据天下

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2020-10-14,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 数据指象 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • SQL-on-关系型数据库:不止于关系数据库
  • SQL-on-Hadoop: Apache Hive
  • SQL-on-kylin:Apache Calcite
  • SQL-on-redis:rediSQL
  • SQL-on-HBase: Phoenix
  • SQL-on-Elasticsearch:X-Pack SQL
  • SQL-on-Storm:EasyCount
  • SQL-on-Flink: Flink SQL
  • SQL-on-Kafka: KSQL
相关产品与服务
TDSQL MySQL 版
TDSQL MySQL 版(TDSQL for MySQL)是腾讯打造的一款分布式数据库产品,具备强一致高可用、全球部署架构、分布式水平扩展、高性能、企业级安全等特性,同时提供智能 DBA、自动化运营、监控告警等配套设施,为客户提供完整的分布式数据库解决方案。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档