腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

软件开发-青出于蓝

专栏作者

322

文章

453975

阅读量

38

订阅数

Hive on spark下insert overwrite partition慢的优化

spark mapreduce node.js hive

这几天发现insert overwrite partition运行的很慢，看了下是hive on spark引擎，这引擎平时比mapreduce快多了，但是怎么今天感觉比mapreduce慢了好几倍，运行了1h多还没运行完。

2020-08-10

2.5K0

Hadoop之check the logs or run fsck in order to identify the missing blocks

大数据 node.js

由于是/tmp目录下，不是正常的业务数据，我们直接删除，如下List-2，之后再去看hdfs的页面，无此问题了。

2020-03-26

2.4K0

Hadoop ha之Journal Storage Directory nor formatted

node.js hadoop python

情况是这样的，Hadoop ha下，集群QJM的数据丢了，之后启动namenode后报Journal Storage Directory nor formatted，导致namenode启动失败，如下List-1所示:

2020-01-08

2.2K0

OpenJDK之CyclicBarrier

node.js javascript jdk

OpenJDK8，本人看的是openJDK。以前就看过，只是经常忘记，所以记录下

2019-10-24

4330

OpenJDK之CountDownLatch

jdk javascript node.js

OpenJDK8，本人看的是openJDK。以前就看过，只是经常忘记，所以记录下

2019-10-24

5090

Presto之分布式安装查询Hive

node.js hadoop hive

工作需要使用Presto，记录下。Presto需要Hive，安装Hive的步骤略，可参考我的这篇博客。

2019-07-29

1.3K0

Centos7上Glusterfs集群安装

如下List-1所示三台机器，hostname分别是node1/node2/node3，之后将List-1的内容写入/etc/hosts

2019-07-09

9780

Glusterfs的peer/volume/brick

查看peer的情况，当前的glusterfs集群中，有当前节点和11、12三个节点组成。

2019-07-08

1.4K0

Spark集群安装原

spark node.js bash bash 指令 ssh

Spark的版本1.6.0，Scala的版本2.12，jdk版本1.8。最近使用spark，在这里记录下。

2019-04-15

4700

sofa-rpc负载均衡之随机算法分析(Random)

图1 RandomLoadBanlancer的类继承图

2019-04-15

5560

Kubernates之从Harbor上拉去镜像创建服务

容器 node.js kubernetes 容器镜像服务

搭建好Kubernates后(一个master节点和俩个node节点)，如果要创建服务，就需要镜像，如果不配置Kubernates从镜像仓库拉取，那么就需要将镜像传到每个节点上(master和所有node)，很麻烦，效率很低，所以我们的目标是配置Kubernates，让其从Harbor上拉取镜像。

2019-04-15

1K0

kubernates之部署springboot

kubernetes 容器镜像服务 node.js

最近开始接触kubernates，在上面部署了下springboot，记录下。

2019-04-15

5740

Guava之eventBus异步事件总线的使用及源码分析

javascript node.js http

List-1.1中，方法subscribe是接收者，方法test_sendMsg中post消息后，方法subscribe就会收到消息。这是因为方法subscribe上有注解Subscribe。

2019-04-15

2.3K0

Spark之伪分布式搭建、伪分布式Hadoop、Hive安装

spark https yarn 网络安全 node.js

之后进入$SPARK_HOME/sbin下，执行start-all.sh，可以看下是否启动成功，之后去看localhost:8080，可以看到spark的界面。

2019-04-15

6840

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态