腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

大数据-Hadoop、Spark

专栏作者

88

文章

141291

阅读量

39

订阅数

FsImage Analyse Tool

yarn node.js 大数据 hadoop bash

该工具提供自动化解析HDFS集群FSImage文件，并解析成文本文件存储在HDFS中；解析后的信息通过Hive映射成表，并通过Hive进行相关信息统计，使用有数生成相关报表。

2021-01-08

8340

ReadProcessor read fields took xx ms

node.js hadoop 大数据 linux

cd /opt/log/xdp/hadoop-hdfs/hdfs_datanode

2021-01-08

9170

Spark History Server自动删除日志文件

spark node.js hadoop 面向对象编程

公司的计算平台上，写入spark-history目录日志文件数超过设定阈值（1048576），导致任务失败。

2021-01-04

2.5K0

Presto Hive连接器

hive 大数据存储 hadoop 缓存

Presto仅使用前两个组件：数据和元数据。它不使用HiveQL或Hive执行环境的任何一部分。

2020-10-29

2.1K0

HBase基准测试

hadoop 大数据 node.js hbase TDSQL MySQL 版

su hdfs ./hbase org.apache.hadoop.hbase.PerformanceEvaluation sequentialWrite 1

2020-09-03

1.2K0

spark2.4.4-CDH6.3.0编译

在之前的文章中描述了Spark+CDH的编译步骤， spark-2.1.0-bin-2.6.0-cdh5.x源码编译

2019-11-15

1.3K0

【Hive】ERROR exec.DDLTask: java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nati...

hive hadoop 面向对象编程

1/在$HADOOP_HOME/lib/native下面放了2.5.0-native-snappy.tar.gz，这是HDFS存储压缩所需的本地lib包。 cd ~/app/hadoop-2.5.0-cdh5.3.6/lib/native/

2018-07-25

8920

Hive的安装与使用-1

html5 专用宿主机 hadoop hive 云数据库 SQL Server

1.下载tar包，在客户端窗口上执行 wget -c http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0.tar.gz 2.解压到app目录下 tar -zxvf hive-1.1.0-cdh5.7.0.tar.gz -C ~/app 3.配置~/.bash_profile export HIVE_HOME=/home/hadoop/app/hive-1.1.0-cdh5.7.0 export PATH=$HIVE_HOME/bin:

2018-04-26

7660

Kafka+Logstash整合

kafka bash bash 指令 hadoop zookeeper

1.启动ZK ./zkServer.sh start 2.daemon形式启动Kafka kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties 3.创建topic：zk kafka-topics.sh --create --zookeeper hadoop:2181 --replication-factor 1 --partitions 1 --topic logstash_topic 4.发送消息：broker kaf

2018-04-26

1K0

zookeeper安装

zookeeper ssh hadoop shell

1.环境前置说明： MAC电脑：自带的ssh终端 ssh hadoop@hadoop-machine ssh hadoop@192.168.21.166 Windws系统：CRT，XShell客户端远程服务器：CentOS 6.7 hadoop-machine(192.168.21.166)是远程服务器的hostname 如果想在本地通过ssh hadoop@hadoop-machine远程登录，那么本地的hosts肯定要添加ip和hostname的映射 192.168.21.16

2018-04-26

8310

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态