腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
大数据-Hadoop、Spark
专栏成员
举报
88
文章
145428
阅读量
39
订阅数
订阅专栏
申请加入专栏
全部文章(88)
spark(18)
其他(15)
linux(14)
hadoop(10)
hive(10)
大数据(9)
sql(7)
java(6)
node.js(6)
TDSQL MySQL 版(5)
http(5)
kubernetes(5)
hbase(5)
数据库(4)
云数据库 SQL Server(4)
yarn(4)
zookeeper(4)
打包(3)
apache(3)
容器镜像服务(3)
tcp/ip(3)
python(2)
javascript(2)
bash(2)
scala(2)
ubuntu(2)
专用宿主机(2)
容器(2)
编程算法(2)
存储(2)
html5(2)
jvm(2)
ssh(2)
面向对象编程(2)
windows(2)
https(2)
微服务(2)
kafka(2)
image(2)
png(2)
负载均衡(1)
go(1)
html(1)
云数据库 Redis(1)
jar(1)
tomcat(1)
maven(1)
负载均衡缓存(1)
bash 指令(1)
spring(1)
访问管理(1)
命令行工具(1)
es 2(1)
人工智能(1)
网站(1)
日志数据(1)
缓存(1)
shell(1)
网络安全(1)
jdk(1)
yum(1)
dns(1)
jdbc(1)
rpc(1)
kernel(1)
gcc(1)
kerberos(1)
数据分析(1)
数据结构(1)
nat(1)
emr(1)
flink(1)
file(1)
jmx(1)
list(1)
ls(1)
memory(1)
output(1)
sort(1)
time(1)
日志(1)
搜索文章
搜索
搜索
关闭
FsImage Analyse Tool
yarn
node.js
大数据
hadoop
bash
该工具提供自动化解析HDFS集群FSImage文件,并解析成文本文件存储在HDFS中;解析后的信息通过Hive映射成表,并通过Hive进行相关信息统计,使用有数生成相关报表。
sparkle123
2021-01-08
894
1
ReadProcessor read fields took xx ms
node.js
hadoop
大数据
linux
cd /opt/log/xdp/hadoop-hdfs/hdfs_datanode
sparkle123
2021-01-08
980
0
Spark History Server自动删除日志文件
spark
node.js
hadoop
面向对象编程
公司的计算平台上,写入spark-history目录日志文件数超过设定阈值(1048576),导致任务失败。
sparkle123
2021-01-04
2.7K
0
Presto Hive连接器
hive
大数据
存储
hadoop
缓存
Presto仅使用前两个组件:数据和元数据。它不使用HiveQL或Hive执行环境的任何一部分。
sparkle123
2020-10-29
2.1K
0
HBase基准测试
hadoop
大数据
node.js
hbase
TDSQL MySQL 版
su hdfs ./hbase org.apache.hadoop.hbase.PerformanceEvaluation sequentialWrite 1
sparkle123
2020-09-03
1.3K
0
spark2.4.4-CDH6.3.0编译
hadoop
打包
在之前的文章中描述了Spark+CDH的编译步骤, spark-2.1.0-bin-2.6.0-cdh5.x源码编译
sparkle123
2019-11-15
1.3K
0
【Hive】ERROR exec.DDLTask: java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nati...
hive
hadoop
面向对象编程
1/在$HADOOP_HOME/lib/native下面放了2.5.0-native-snappy.tar.gz,这是HDFS存储压缩所需的本地lib包。 cd ~/app/hadoop-2.5.0-cdh5.3.6/lib/native/
sparkle123
2018-07-25
940
0
Hive的安装与使用-1
html5
专用宿主机
hadoop
hive
云数据库 SQL Server
1.下载tar包,在客户端窗口上执行 wget -c http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0.tar.gz 2.解压到app目录下 tar -zxvf hive-1.1.0-cdh5.7.0.tar.gz -C ~/app 3.配置~/.bash_profile export HIVE_HOME=/home/hadoop/app/hive-1.1.0-cdh5.7.0 export PATH=$HIVE_HOME/bin:
sparkle123
2018-04-26
805
0
Kafka+Logstash整合
kafka
bash
bash 指令
hadoop
zookeeper
1.启动ZK ./zkServer.sh start 2.daemon形式启动Kafka kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties 3.创建topic:zk kafka-topics.sh --create --zookeeper hadoop:2181 --replication-factor 1 --partitions 1 --topic logstash_topic 4.发送消息:broker kaf
sparkle123
2018-04-26
1K
0
zookeeper安装
zookeeper
ssh
hadoop
shell
1.环境前置说明: MAC电脑:自带的ssh终端 ssh hadoop@hadoop-machine ssh hadoop@192.168.21.166 Windws系统:CRT,XShell客户端 远程服务器:CentOS 6.7 hadoop-machine(192.168.21.166)是远程服务器的hostname 如果想在本地通过ssh hadoop@hadoop-machine远程登录, 那么本地的hosts肯定要添加ip和hostname的映射 192.168.21.16
sparkle123
2018-04-26
845
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档