腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Jed的技术阶梯

专栏作者

220

文章

369129

阅读量

48

订阅数

Apache Kylin-2.6安装部署

hive hbase TDSQL MySQL 版 yarn 大数据

构建过程是一个MapReduce任务，比较耗时，构建之前确保MapReduce History Server是启动的，否则会报错

2021-04-13

9661

011.分布式可视化DAG工作流任务调度系统DolphinScheduler-1.3.3安装部署

hive hadoop spark 数据库云数据库 SQL Server

源码下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/incubator/dolphinscheduler/ 我这里选择1.3.3版本的apache-dolphinscheduler-incubating-1.3.3-src.zip

2020-12-03

1.4K0

004.CM大数据平台实践之常用组件安装

yarn node.js spark hive

每安装完一个组件之后，CM很能会提示某些过期配置需要重启，那么重启服务即可，最终的集群状态如下：

2020-06-16

3150

Hive案例01-行列转换

其中字段意义: id(int) sid(int) subject(string) score(int) 分别代表: 本条记录的ID 学生ID 科目成绩需求: 求数学成绩比语文成绩好的学生的ID

2018-09-13

2.1K0

Hive窗口函数05-GROUPING SETS、GROUPING__ID、CUBE、ROLLUP

Hive窗口函数GROUPING SETS、GROUPING__ID、CUBE、ROLLUP入门

2018-09-13

1.2K0

Hive多用户模式安装

hive hadoop 分布式云数据库 SQL Server linux

hadoop01-hadoop04：hadoop集群 hadoop01：MySQL服务器 hadoop02：Hive服务端 hadoop03-hadoop04：Hive客户端

2018-09-13

1.5K0

Hive单用户模式安装

hive hadoop 分布式云数据库 SQL Server linux

hadoop01-hadoop04：hadoop集群 hadoop01：MySQL服务器 hadoop02：Hive

2018-09-13

1.2K0

Spark性能调优04-数据倾斜调优

spark yarn sql hive java

数据倾斜的原理很简单：在进行shuffle的时候，必须将各个节点上相同的key拉取到某个节点上的一个task来进行处理，比如按照key进行聚合或join等操作。此时如果某个key对应的数据量特别大的话，就会发生数据倾斜。比如大部分key对应10条数据，但是个别key却对应了100万条数据，那么大部分task可能就只会分配到10条数据，然后1秒钟就运行完了；但是个别task可能分配到了100万数据，要运行一两个小时。因此，整个Spark作业的运行进度是由运行时间最长的那个task决定的。

2018-09-13

1.3K0

HBase和Hive整合

hbase hive jar xml zookeeper

1-3步骤不是必须的，如果没有进行1-3步骤的设置，那么想要让hive和hbase整合，每次进入hive命令行后，需要进行如下配置：

2018-09-13

9580

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态