腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
大数据技术架构
纯大数据技术分享,HBase/Kafka/Flink等技术栈,原理与实践,源码分析等。欢迎订阅公众号:大数据技术架构
专栏作者
举报
149
文章
312421
阅读量
95
订阅数
订阅专栏
申请加入专栏
全部文章
sql
hbase
spark
大数据
kafka
数据库
TDSQL MySQL 版
存储
hive
apache
缓存
https
api
编程算法
分布式
Elasticsearch Service
hadoop
云数据库 SQL Server
文件存储
消息队列 CMQ 版
网络安全
flink
mapreduce
jvm
数据湖
python
zookeeper
数据处理
node.js
云数据库 Redis
http
数据分析
linux
mongodb
开源
windows
云计算
java
搜索引擎
lucene/solr
网站
日志数据
jdk
数据结构
实时数仓
javascript
bash
scala
html
打包
ide
unix
bash 指令
云数据库 MongoDB
企业
数据迁移
socket编程
数据可视化
系统架构
es
负载均衡
区块链
数字货币
机器学习
tensorflow
ios
swift
c++
react
ecmascript
android
oracle
nosql
tomcat
全文检索
负载均衡缓存
nginx
容器镜像服务
神经网络
深度学习
专用宿主机
批量计算
数据备份
容器
devops
运维
压力测试
爬虫
jdbc
hashmap
tcp/ip
scrapy
rpc
rabbitmq
微服务
特征工程
性能测试
数据集成
搜索文章
搜索
搜索
关闭
Spark调优 | Spark OOM问题常见解决方式
mapreduce
spark
bash
bash 指令
linux
Spark常见的问题不外乎OOM。我们首先看一下Spark 的内存模型:Spark在一个Executor中的内存分为三块,一块是execution内存,一块是storage内存,一块是other内存。
大数据技术架构
2021-11-23
1.6K
0
Spark性能调优指北:性能优化和故障处理
spark
mapreduce
数据库
sql
文件存储
Spark 官方推荐,Task 数量应该设置为 Spark 作业总 CPU core 数量的 2~3 倍。
大数据技术架构
2021-08-25
838
0
蚂蚁绊倒大象?不起眼的小文件竟拖了Hadoop大佬的后腿
大数据
spark
hive
mapreduce
node.js
在使用Hadoop过程中,小文件是一种比较常见的挑战,如果不小心处理,可能会带来一系列的问题。HDFS是为了存储和处理大数据集(M以上)而开发的,大量小文件会导致Namenode内存利用率和RPC调用效率低下,block扫描吞吐量下降,应用层性能降低。通过本文,我们将定义小文件存储的问题,并探讨如何对小文件进行治理。
大数据技术架构
2021-03-05
1.4K
1
Spark速度比MapReduce快,不仅是内存计算
spark
mapreduce
作为Hadoop的分布式计算框架,MapReduce扮演着分布式计算的任务,适用于离线批计算任务。Spark本身不具备存储数据功能,通常基于HDFS。我们经常会在各类文章中看到类似这样的描述:Spark是基于内存计算的,其速度远快于Hadoop的MapReduce。本文旨在讨论这一结论背后的原因。
大数据技术架构
2020-05-29
1.8K
0
Hive 调优,先掌握这几种优化模式
linux
mapreduce
hive
Hive和MapReduce中拥有较多在特定情况下优化的特性,如何利用好相关特性,是Hive性能调优的关键。本文就介绍那些耳熟但不能详的几种Hive优化模式。
大数据技术架构
2020-03-25
453
0
Hadoop、Spark、Kafka面试题及答案整理
node.js
spark
kafka
mapreduce
大数据
一个Kafka的Message由一个固定长度的header和一个变长的消息体body组成。
大数据技术架构
2019-08-16
1.1K
0
Spark Shuffle的技术演进
spark
bash
bash 指令
mapreduce
https
本文原文 http://www.leonlu.cc/profession/19-spark-shuffle ,作者 LeonLu
大数据技术架构
2019-08-16
911
0
没有更多了
社区活动
Python精品学习库
代码在线跑,知识轻松学
点击查看
【玩转EdgeOne】征文进行中
限时免费体验,发文即有奖~
立即参加
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品·最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档