腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
牛肉圆粉不加葱
专栏作者
举报
94
文章
85204
阅读量
19
订阅数
订阅专栏
申请加入专栏
全部文章(94)
其他(50)
spark(28)
java(7)
人工智能(6)
sql(4)
yarn(4)
编程算法(4)
jvm(4)
api(3)
apache(3)
缓存(3)
微信(3)
python(2)
scala(2)
linux(2)
apt-get(2)
存储(2)
hive(2)
zookeeper(2)
rpc(2)
大数据(2)
数据结构(2)
https(2)
机器学习(1)
javascript(1)
node.js(1)
css(1)
json(1)
ide(1)
github(1)
神经网络(1)
深度学习(1)
批量计算(1)
TDSQL MySQL 版(1)
http(1)
网络安全(1)
markdown(1)
安全(1)
机器人(1)
数据分析(1)
数据处理(1)
windows(1)
hbase(1)
kafka(1)
task(1)
搜索文章
搜索
搜索
关闭
Spark 内存管理的前世今生(下)
spark
微信
缓存
在《Spark 内存管理的前世今生(上)》中,我们介绍了 UnifiedMemoryManager 是如何管理内存的。然而,UnifiedMemoryManager 是 MemoryManager 而不是 MemoryAllocator 或 MemoryConsumer,不进行实质上的内存分配和使用,只是负责可以分配多少 storage 或 execution 内存给谁,记录各种元数据信息。
codingforfun
2018-08-24
998
0
Spark 内存管理的前世今生(上)
spark
微信
缓存
作为打着 “内存计算” 旗号出道的 Spark,内存管理是其非常重要的模块。作为使用者,搞清楚 Spark 是如何管理内存的,对我们编码、调试及优化过程会有很大帮助。本文之所以取名为 "Spark 内存管理的前世今生" 是因为在 Spark 1.6 中引入了新的内存管理方案,而在之前一直使用旧方案。
codingforfun
2018-08-24
1.2K
0
Structured Streaming 编程指南
微信
spark
Structured Streaming 是一个基于 Spark SQL 引擎的、可扩展的且支持容错的流处理引擎。你可以像表达静态数据上的批处理计算一样表达流计算。Spark SQL 引擎将随着流式数据的持续到达而持续运行,并不断更新结果。你可以在Scala,Java,Python或R中使用 Dataset/DataFrame API 来表示流聚合,事件时间窗口(event-time windows),流到批处理连接(stream-to-batch joins)等。计算在相同的优化的 Spark SQL 引擎上执行。最后,通过 checkpoint 和 WAL,系统确保端到端的 exactly-once。简而言之,Structured Streaming 提供了快速、可扩展的、容错的、端到端 exactly-once 的流处理。
codingforfun
2018-08-24
2K
0
没有更多了
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
立即发文
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档