腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

腾讯大数据的专栏

专栏作者

324

文章

455246

阅读量

124

订阅数

大数据云原生能力成熟度模型，重磅发布！

大数据编程算法运维文件存储存储

为了分享过去一年云原生产业联盟（CNIA）在标准建设、评估测试、技术研究、实践合作等方面的工作成果、探索行业最新趋势动态，云原生产业联盟于2023年1月9日举办了2022年度线上年会，发布了“大数据云原生能力成熟度模型”，并进行了标准解读。云原生时代，数据系统的技术架构正在多样化用户需求的驱动下快速演进。容器、Serverless、CI/CD、Kubernetes等云原生技术与大数据系统的深度融合，可以有效应对海量、异构、实时的用户数据处理请求。充分利用云原生平台能力实现大数据系统的“云原生”转型升级，已

腾讯大数据

2023-01-30

1.6K0

实时湖仓一体规模化实践：腾讯广告日志平台

spark 日志数据存储数据湖文件存储

1. 背景 1.1 整体架构腾讯广告系统中的日志数据流，按照时效性可划分为实时和离线，实时日志通过消息队列供下游消费使用，离线日志需要保存下来，供下游准实时（分钟级）计算任务，离线（小时级/天级/Adhoc）分析处理和问题排查等基于日志的业务场景。因此，我们开发了一系列的日志落地处理模块，包括消息队列订阅 Subscriber，日志合并，自研 dragon 格式日志等，如下图所示： Subscriber：Spark Streaming 任务，消费实时数据，落地到 HDFS，每分钟一个目录，供下游准实时

腾讯大数据

2022-09-20

1K0

Firestorm 0.2.0发布：首个支持混合存储的开源Remote Shuffle Service

文件存储 spark 缓存数据分析性能测试

01 背景 Firestorm自2021年11月上线开源 0.1.0 版本后，该项目受到了业界的广泛关注。 Firestorm是为了加速分布式计算引擎能上云的重要组件，同时也能解决在大Shuffle场景下，计算任务由于Shuffle过程异常而导致的任务失败。（更详细的背景可以参考此文[Firestorm - 腾讯自研Remote Shuffle Service在Spark云原生场景的实践]）目前Firestorm迎来了0.2.0 版本的正式发布，而Firestorm也成为了第一个支持混合存储的开源Re

腾讯大数据

2022-02-15

1.2K0

没有更多了

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态