腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
ICT售前新说
专栏作者
举报
111
文章
144708
阅读量
40
订阅数
订阅专栏
申请加入专栏
全部文章（111）
tcp/ip（17）
虚拟化（13）
网络安全（11）
编程算法（9）
sdn（9）
sql（8）
安全（8）
智慧城市（7）
数据库（6）
网站（6）
存储（6）
http（4）
运维（4）
解决方案（4）
负载均衡（3）
负载均衡缓存（3）
自动化（3）
大数据（3）
云计算（3）
ipv6（3）
it（3）
管理（3）
数据中心（3）
云服务器（2）
linux（2）
态势感知（私有云）（2）
缓存（2）
spark（2）
openstack（2）
数据分析（2）
数据湖（2）
教育（2）
app（2）
web（2）
人脸识别（1）
官方文档（1）
云数据库 SQL Server（1）
api（1）
VPN 连接（1）
SSL 证书（1）
文字识别（1）
人脸核身（1）
日志数据（1）
企业（1）
智慧司法（1）
数据安全（1）
分布式（1）
hadoop（1）
hive（1）
dns（1）
ddos（1）
udp（1）
windows（1）
物联网（1）
数据结构（1）
https（1）
sas（1）
安全治理（1）
5g（1）
云桌面（1）
智能制造（1）
Anycast 公网加速（1）
ip（1）
mesh（1）
min（1）
point（1）
vr（1）
备份（1）
服务（1）
集群（1）
架构（1）
连接（1）
路由器（1）
网络（1）
信息安全（1）
终端（1）
搜索文章
搜索
搜索
关闭
必须要懂的Spark内存管理模型
spark
Apache Spark是目前大数据领域主流的内存计算引擎，无论是在批处理还是实时流处理方面都有着广泛的应用。我们跑作业的时候，首先要给Spark Job分配一定的资源，比如一个executor分配5G内存，有时候我们会纠结于executor的内存有多少用于了实际计算。因此就需要了解一下Spark的内存管理，还有就是掌握了Spark的内存模型对于优化我们的作业也至关重要。
ICT售前新说
2019-10-31
762
0
Apache Parquet 干货分享
大数据
sql
hive
spark
Parquet 是一种面向分析的、通用的列式存储格式，兼容各种数据处理框架比如 Spark、Hive、Impala 等，同时支持 Avro、Thrift、Protocol Buffers 等数据模型。
ICT售前新说
2019-09-04
3.3K
0
没有更多了
社区活动
RAG七天入门训练营
鹅厂大牛手把手带你上手实战
立即学习
Python精品学习库
代码在线跑，知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客，速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档