mikealzhou

LV1
  • 原创分享签约作者

发表了文章

20年通信&互联网&IT行业大变迁

本文转自:http://www.txrjy.com/thread-1082341-1-1.html

mikealzhou
关注了用户

harryxqfeng

腾讯 · 高级工程师 (已认证)

腾讯云大数据解决方案架构师

0 文章0 回答9 关注者
关注了用户

洛杉矶

腾讯 · 高级工程师 (已认证)

个人号:shenghuoquanlw3, 公众号:shenghuoquanlwo

14 文章0 回答41 关注者
关注了用户

mikezou

大数据基础产品团队,T4技术专家

1 文章1 回答14 关注者
关注了用户

sundyxiong

腾讯 · 高级开发工程师 (已认证)

腾讯云高级工程师

9 文章0 回答41 关注者
关注了用户

liubang01

6 文章0 回答38 关注者
关注了用户

wellgao

emr hadoop

1 文章0 回答3 关注者
关注了用户

袁宋

腾讯科技(深圳)有限公司 · 大数据架构师 (已认证)

4 文章1 回答8 关注者
关注了用户

Aron 陈豪朗

腾讯 · 大数据AI产品架构师 (已认证)

大数据AI产品架构师

5 文章0 回答18 关注者
关注了用户

傻二哥

腾讯 · 高级工程师 (已认证)

腾讯云大数据高级工程师,十年大数据从业经验。

0 文章0 回答4 关注者
发表了文章

mapreduce报错:java.io.IOException: Split metadata size exceeded 10000000

客户在用hive sql做几张表的组合分析,使用mr引擎。 因为其中有一张表超过5万个分区,数据总量超过8千亿条,因此运行过程中出现失败,报错如下所示:

mikealzhou
SQLHiveMapReduce
发表了文章

HDFS 线程参数DataXceiver 引发的故障

腾讯云大数据团队服务的某个大客户,hadoop集群超过300台服务器。因为大数据平台承载的业务程序非常多(每天超过5万次任务运行在yarn)、datanode的...

mikealzhou
YarnNode.jsLinuxHive大数据
发表了文章

hive export报错找不到DistCpOptions类

从上述报错,浏览社区没得到任何有价值的信息。通过查看hive的源码,也没有有效的信息。因此,我们需要查看hive的详细日志。

mikealzhou
HiveJava单片机Hadoop面向对象编程
发表了文章

Hive万亿级表联合分析故障排查与优化过程

随着大数据技术日趋成熟,行业生态愈发完善,腾讯云大数据团队服务的大客户越来越多。在笔者服务的众多大客户之中,PB级海量数据已经成为常态。笔者负责大数据技术支持的...

mikealzhou
SQLYarnNode.js大数据Hive
发表了文章

kafka增加topic的备份数量

本文将介绍如何利用kafka-reassign-partitions.sh命令增加主题的备份数量。

mikealzhou
KafkaBashBash 指令
发表了文章

spark sql简单查询千亿级库表导致的问题

根据常理判断,简单的 select * limit 不会造成内存溢出的。因此,我们用hive原生sql查询,发现不存在这个问题。

mikealzhou
其他
发表了文章

TBDS大数据集群迁移实践总结

这次迁移算是TBDS集群的第一次完整迁移案例,包括用户的业务数据,平台应用,从项目启动到最后完成迁移差不多耗费了1个月的时间。

mikealzhou
发表了文章

hbase因为数据空洞故障导致读写缓慢

腾讯云某客户的开发者反馈,大数据集群的hbase读写非常缓慢。我们使用测试程序,也复现该问题。因此,我们需要对hbase集群进行全面检测。

mikealzhou
httpsRuby on Rails网络安全大数据HBase
发表了文章

WAL文件过多导致hbase master无法启动

近期腾讯云某家大客户的hbase master一直无法启动,经过仔细诊断之后发现是由于hbase的WAL文件非常多(达到15TB),导致hbase在zk的...

mikealzhou
HBase分布式数据库BashBash 指令存储
预约了直播

极客说第二期--新一代大数据技术:构建PB级云端数仓实践

2018-10-18回顾中

个人简介

个人成就

  • 影响力总排行第 364 名
  • 原创分享签约作者
    • 原创分享签约作者

  • 获得 155 次赞同
  • 文章被阅读 48.9K 次
  • 文章获得 4 次首页推荐

扫码关注云+社区

领取腾讯云代金券