首页视频利用Intel Optane PMEM技术加速大数据分析

利用Intel Optane PMEM技术加速大数据分析原创

播放3
徐铖 | 《利用Intel Optane PMEM技术加速大数据分析》@网易数帆技术沙龙 议题介绍:分享如何使用Intel开源项目Optimized Analytics Package (OAP)加速Spark、Flink的性能,介绍现有Spark框架在内存管理、Shuffle实现等层面性能有进一步提升的空间。以及如何更好利用新硬件,比如利用Intel Optane PMEM(持久化内存)技术,发挥Optane的持久特性、原地擦写、字节寻址和低延迟等独特价值上,Spark有诸多进一步优化的功能点。 嘉宾简介:徐铖,Intel资深软件开发工程经理,现供职于Intel上海研发有限公司,现主要专注于大数据领域中基于英特尔平台技术进行优化。在这之前从事过Intel Hadoop发行版的核心开发以及相应大数据领域的社区工作,是Apache Commons/ORC/Hive的Committer也是Spark的Contributor,同时也是《持久内存架构与工程实践》的作者之一。

我来说两句

0 条评论
登录 后参与评论

作者

网易数帆
1
31分13秒
Kyuubi:开源企业级Serverless Spark框架
370
2
42分42秒
ClickHouse在有赞的使用和优化
606
3
50分12秒
利用Intel Optane PMEM技术加速大数据分析
3
4
32分6秒
网易云音乐数仓建设之路
614
5
32分34秒
网易数据产品实践
600

相关推荐

30秒
【宣传片】QQ浏览器2021AI算法大赛
638
2时27分
Elastic Meetup 2021 深圳站
1.6K
21分4秒
【赵强老师】大数据基础入门
1.2K
1分1秒
清洁低碳环保新能源,3D 光伏与光热发电站可视化
940
4分9秒
4分钟快速创建数据可视化报告
1.2K
1时1分
数据可视化图表美化实战
584

扫码关注云+社区

领取腾讯云代金券