Kyuubi最新版本已经发布，本文主要介绍基于Kyuubi SQL网关整合多计算引擎Flink和Spark实践案例总结。另外，翻看Release Notes发现...

大数据生态发展数年，各种组件版本迭代升级在所难免。组件之间、不同版本之间的适配整合升级，尤为重要。本文主要讲述当前火热的数据湖方案Spark+Hadoop+Hu...

Apache Spark是一个优秀的计算引擎，广泛应用于数据工程、机器学习等领域。向量化执行技术在不升级硬件的情况下，既可获得资源节省，又能加速作业执行。Glu...

在多年的学习路上，也掌握了几门比较常见的语言，例如Java、Python以及前端Vue生态中包含的语言。很多时候，各种语言相似功能的框架都会被放在一起比较，来评...

在上一篇告别Zookeeper，两条命令容器化搭建Kafka跟着官方文档使用docker，在云服务器上搭建了一个单节点的Kafka集群，在云服务器上连接成功，当...

在上一篇告别Zookeeper，两条命令容器化搭建Kafka跟着官方文档使用docker，在云服务器上搭建了一个单节点的Kafka集群，在云服务器上连接成功，当...

本文介绍了腾讯游戏社交算法团队研发的能够处理百亿级大规模图数据的分布式网络表征算法，及其在多个游戏业务场景落地应用，并且取得明显的实际业务效果提升。

Spark 的一个组件，用于大规模数据分析的 SQL 查询引擎。Shark 提供了一种基于 SQL 的交互式查询方式，可以让用户轻松地对大规模数据集进行查询和分...

必须设置集群？我才刚入门大数据诶，这么麻烦？劝退，不学了！还好 spark 也支持简单部署：

Spark 于 2009 年诞生于加州大学伯克利分校 AMPLab，2013 年被捐赠给 Apache 软件基金会，2014 年 2 月成为 Apache 的顶...

Apache Spark 是一种开源的大数据处理框架，它在2009年由加州大学伯克利分校的AMPLab开发，并在2010年贡献给了Apache软件基金会。Sp...

DiskStore磁盘存储：spark会在磁盘上创建spark文件夹，命名为（spark-local-x年x月x日时分秒-随机数），block块都会存在这里，然...

spark-shell、spark-sql 都是是一个独立的 spark application，启动几个就要几个application，非常耗资源

1. scala配置 https://www.scala-lang.org/download/2.11.8.html

一. 集群规划 node01为master节点,node02,node03为worker节点

1. 概要     Hadoop的MapReduce及Spark SQL等只能进行离线计算，无法满足实时性要求较高的业务需求，例如实时推荐，实时网站性能分析等...

    当使用Hive时，必须初始化一个支持Hive的SparkSession，用户即使没有部署一个Hive的环境仍然可以使用Hive。当没有配置hive-si...