腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

腾讯大数据的专栏

专栏作者

323

文章

451278

阅读量

124

订阅数

Firestorm 0.2.0发布：首个支持混合存储的开源Remote Shuffle Service

文件存储 spark 缓存数据分析性能测试

01 背景 Firestorm自2021年11月上线开源 0.1.0 版本后，该项目受到了业界的广泛关注。 Firestorm是为了加速分布式计算引擎能上云的重要组件，同时也能解决在大Shuffle场景下，计算任务由于Shuffle过程异常而导致的任务失败。（更详细的背景可以参考此文[Firestorm - 腾讯自研Remote Shuffle Service在Spark云原生场景的实践]）目前Firestorm迎来了0.2.0 版本的正式发布，而Firestorm也成为了第一个支持混合存储的开源Re

腾讯大数据

2022-02-15

1.2K0

天穹SuperSQL如何把腾讯 PB 级大数据计算做到秒级？

sql hive 大数据缓存

天穹SuperSQL是腾讯自研，基于统一的SQL语言模型，面向机器学习智能调优，提供虚拟化数据和开放式计算引擎的大数据智能融合平台。在开放融合的Data Cloud上，业务方可以消费完整的数据生命周期，从采集-存储-计算-分析-洞察。还能够满足位于不同数据中心、不同类型数据源的数据联合分析/即时查询的需求。 Presto在腾讯天穹SuperSQL大数据生态中，定位为实现秒级大数据计算的核心服务。主要面向即席查询、交互式分析等用户场景。Presto服务了腾讯内部的不同业务场景，包括微信支付、QQ、游戏等关键业

腾讯大数据

2022-01-23

1.7K0

腾讯北大合作的稀疏大模型训练加速方案HET入选国际顶会VLDB

缓存 angel 深度学习机器学习神经网络

近日，腾讯TEG数据平台部机器学习团队与北京大学-腾讯协同创新实验室，合作研发了全新的稀疏大模型训练加速解决方案HET，其研究成果《HET: Scaling out Huge Embedding Model Training via Cache-enabled Distributed Framework》已被国际顶会VLDB 2022录用。HET提出了一种新颖的基于Embedding缓存的训练方法，能够显著降低稀疏大模型分布式训练时通信开销，提升模型训练整体效率。 HET目前已正式开源： https://

腾讯大数据

2021-11-19

5980

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态