腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
大数据平台TBDS
完全兼容hadoop体系的商业化、完备化和企业化大数据平台
专栏成员
举报
26
文章
152209
阅读量
130
订阅数
订阅专栏
申请加入专栏
全部文章(26)
大数据处理套件 TBDS(9)
hive(7)
hadoop(5)
hbase(5)
大数据(4)
云数据库 SQL Server(3)
yarn(3)
bash(2)
node.js(2)
数据库(2)
sql(2)
apache(2)
bash 指令(2)
存储(2)
kafka(2)
其他(1)
java(1)
python(1)
单片机(1)
oracle(1)
ruby on rails(1)
linux(1)
mapreduce(1)
专用宿主机(1)
云数据迁移(1)
TDSQL MySQL 版(1)
开源(1)
数据迁移(1)
shell(1)
网络安全(1)
spark(1)
面向对象编程(1)
jdbc(1)
zookeeper(1)
https(1)
5g(1)
迁移(1)
Elasticsearch Service(1)
搜索文章
搜索
搜索
关闭
HDFS 线程参数DataXceiver 引发的故障
yarn
node.js
linux
hive
大数据
腾讯云大数据团队服务的某个大客户,hadoop集群超过300台服务器。因为大数据平台承载的业务程序非常多(每天超过5万次任务运行在yarn)、datanode的IO压力很大,在今天下午datanode出现大面积故障。通过日志查找,发现以下信息:
mikealzhou
2019-03-15
13.5K
4
Hive万亿级表联合分析故障排查与优化过程
sql
yarn
node.js
大数据
hive
随着大数据技术日趋成熟,行业生态愈发完善,腾讯云大数据团队服务的大客户越来越多。在笔者服务的众多大客户之中,PB级海量数据已经成为常态。笔者负责大数据技术支持的某个腾讯云大数据项目,单张数据表的行数超过万亿级、数据量PB级,而且还需要对万亿级数据表做表与表的多维分析。比如本文介绍的故障排查过程,客户提交的就是 “万亿级大表 join 普通表” 的海量数据关联多维分析任务。这类任务,如果不对大数据平台进行优化,往往很容易运行失败,而且排查过程异常艰难。
mikealzhou
2019-03-10
3K
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档