腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

码字搬砖

专栏作者

209

文章

288124

阅读量

32

订阅数

spark sql 生成 json

想通过 spark sql 查询 hive 表然后将相应的字段组装成 sql，类似于 json_object ，不过可惜的是 spark 3.1.x 并没有 json_object 函数，不过还好spark sql 有 to_json 函数

2022-06-22

1.4K0

常见OLAP分类

sql func olap pivot table

1.OLAP分类 📷 2.OLAP常见的一些操作 1.上卷（Roll Up）/聚合：选定某些维度，根据这些维度来聚合事实，如果用SQL来表达就是select dim_a, aggs_func(fact_b) from fact_table group by dim_a. 2.下钻（Drill Down）：上卷和下钻是相反的操作。它是选定某些维度，将这些维度拆解出小的维度（如年拆解为月，省份拆解为城市），之后聚合事实。 3. 切片（Slicing、Dicing）：选定某些维度，并根据特定值过滤这些维度的

2021-11-02

1K0

一文搞懂Flink SQL执行过程

flink 大数据 apache sql

学习了 apache calcite，基本上把 apache calcite 的官网看了一遍，也写了几个小例子，现在该分析一下 Flink SQL 的执行过程了，其中关于 apache calcite 的部分不深究，因为 apache calcite 有些复杂，真的要了解清楚需要大量时间，本次还是聚焦 Flink.

2021-03-17

1.9K0

最近越来越明白了一件事：框架之所以叫框架，必然用到了模板方法，我们只需要实现哪些我们自己需要实现的东西即可。

2021-03-11

5830

一文搞懂 FlinkSQL函数 LAST_VALUE 的原理

刚开始接触 FlinkSQL 时，对 LAST_VALUE 特别好奇，虽然工作当中有在用到，但还是特别的想知道它是怎么实现的，今天终于可以总结一下

2021-02-02

1.2K0

一文搞懂 FlinkSQL 的 KafkaSource

flink 大数据 sql kafka

前面我们了解了写给大忙人看的Flink 消费 Kafka，今天我们一起来看一下 FlinkSQL Kafka 是如何与 Flink Streaming Kafka 结合起来的

2021-02-01

1.4K0

FlinkSQL 平台

sql jar flink 大数据网站

由于公司内部需求较多，并不想每次都写一个 streaming 程序，故而开始搭建 flinksql 平台，基于 jdk1.8，flink1.12.x

2021-01-26

1.1K0

Flink SQL 自定义 Sink

sql 云数据库 Redis python flink 大数据

内部要做 Flink SQL 平台，本文以自定义 Redis Sink 为例来说明 Flink SQL 如何自定义 Sink 以及自定义完了之后如何使用基于 Flink 1.11

2020-10-26

3K0

Antl4 访问者模式返回对象

ide 云数据库 SQL Server sql spark 数据库

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

2019-10-22

6260

Impala原理、使用

hive nat java sql 缓存

简介： impala属于Cloudera，基于内存的，可用户实时的交互式查询。Cloudera建议Impala集群内存最少128G，Impalad与DataNode运行在同一节点上

2018-10-24

1.4K0

sqoop连接sqlServer

sql hive hadoop http

背景：最近公司需要把sqlServer的数据导入到hive中方便数据组的同事进行分析。国内资料相对老套，很多资料针对于sqoop1.3及其以下的，所以记录以下，方便后来者。各位看官，开始喽！！！

2018-10-24

2.1K0

spring注解是如何实现的

spring jvm sql java

用过spring的人都知道，spring简单的通过注解就可以完成很多时间，但这些东西是如何实现的呢以及如何应用到我们自己的代码中？接下来，让我们一起开启注解的旅程。

2018-10-24

9580

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态