腾讯大数据的专栏-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

腾讯大数据的专栏

专栏成员

328

文章

479332

阅读量

125

订阅数

Firestorm - 腾讯自研Remote Shuffle Service在Spark云原生场景的实践

spark serverless 大数据存储 sql

图片来源：pexels 背景 Firestorm Shuffle是分布式计算框架用来衔接上下游任务的数据重分布过程，在分布式计算中所有涉及到数据上下游衔接的过程都可以理解为shuffle。针对不同的分布式框架，shuffle有几种实现形态：基于文件的pull based shuffle，如MapReduce、Spark。这种shuffle方式多用于类MR的框架，比如MapReduce、Spark，它的特点是具有较高的容错性，适合较大规模的批处理作业。由于实现的是基于文件的shuffle方案，因此失败

腾讯大数据

2021-11-19

3.1K0

开箱即用，腾讯数据湖计算为海量数据分析赋能

hive sql 私有网络容器服务 serverless

导读 / Introduction 数据湖解决了海量异构数据的入湖和存储需求。通过对海量数据的分析挖掘，提升对数据的洞察，助力数字化决策，进而促进业务发展，是每个企业构建数据湖的根本目的所在。随着业务迭代的不断加速，企业对数据时效性和数据分析敏捷性提出了更高的要求。为此，腾讯云推出了数据湖计算(Data Lake Compute，DLC)。DLC采用存储和计算分离的架构，结合腾讯云对象存储COS和弹性容器服务EKS，打造了一个开箱即用、弹性扩展、按量付费的交互式分析服务。图1 DLC架构图高性

腾讯大数据

2021-05-13

1.4K0

腾讯云副总裁刘煜宏：腾讯云原生产品每日调用次数已超百亿

运维容器 kubernetes 云计算 serverless

前言 7月31日，腾讯云副总裁刘煜宏在2020云原生技术大会上表示：“腾讯云原生产品API每日调用量已经超过100亿次，拥有超过100万的开发者，同时服务超过50万的客户，腾讯云实际上已经成为国内服务开发者最多的云原生平台。” 因为能够极大的帮助企业降低云计算方面的部署成本和运维难度，云原生代表了云计算的下一重要方向。作为本次大会钻石供应商，腾讯云在云原生领域有着系统的布局和广泛的实践，并且基于对用户需求的把握，提供了目前国内最为完备的产品矩阵。公有云方面，腾讯云围绕着Kubernetes、容器和

腾讯大数据

2020-08-06

1.5K0

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态