腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

大数据技术架构

纯大数据技术分享，HBase/Kafka/Flink等技术栈，原理与实践，源码分析等。欢迎订阅公众号：大数据技术架构

专栏作者

149

文章

317600

阅读量

95

订阅数

蚂蚁绊倒大象？不起眼的小文件竟拖了Hadoop大佬的后腿

大数据 spark hive mapreduce node.js

在使用Hadoop过程中，小文件是一种比较常见的挑战，如果不小心处理，可能会带来一系列的问题。HDFS是为了存储和处理大数据集（M以上）而开发的，大量小文件会导致Namenode内存利用率和RPC调用效率低下，block扫描吞吐量下降，应用层性能降低。通过本文，我们将定义小文件存储的问题，并探讨如何对小文件进行治理。

大数据技术架构

2021-03-05

1.5K1

从 Elasticsearch 来看分布式系统架构设计

node.js Elasticsearch Service 系统架构分布式存储

分布式系统类型多，涉及面非常广，不同类型的系统有不同的特点，批量计算和实时计算就差别非常大。这篇文章中，重点会讨论下分布式数据系统的设计，比如分布式存储系统，分布式搜索系统，分布式分析系统等。

大数据技术架构

2019-08-16

7080

入门教程 | 从安装部署开始学习 Elasticsearch

Elasticsearch Service tomcat jdk 网站 node.js

Elasticsearch 是目前最流行的搜索引擎，学习 ES 的第一步便是安装部署。本文内容包含以下三部分：

大数据技术架构

2019-08-16

9840

HBase案例 | 20000个分区导致HBase集群宕机事故处理

hbase TDSQL MySQL 版大数据 node.js 缓存

这是几个月前遇到的一次HBase集群宕机事件，今天重新整理下事故分析报告。概况的说是业务方的一个10节点HBase集群支撑百TB级别的数据量，集群region数量达 23000+，最终集群支持不住业务压力，带来了一次惨痛的宕机事件。

大数据技术架构

2019-08-16

2.1K0

Hadoop、Spark、Kafka面试题及答案整理

node.js spark kafka mapreduce 大数据

一个Kafka的Message由一个固定长度的header和一个变长的消息体body组成。

大数据技术架构

2019-08-16

1.1K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态