腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

腾讯大数据的专栏

专栏作者

323

文章

452034

阅读量

124

订阅数

Ozone社区的领航者：腾讯Ozone EC的方案剖析

node.js 大数据大数据存储存储编程算法

[导语] EC(Erasure Coding, 纠删码) 是现代分布式存储系统一个重要的能力。它可以保证在相同数据持久度的基础上大幅提高存储空间利用率，对降低存储成本有极为重要的意义。腾讯大数据存储团队全程参与了 Ozone 社区 EC 的设计与开发，并先于社区在内部完成了 EC offline recovery 的开发和测试。本文主要讲解 EC 在 Ozone 中的设计与实现，并讨论其中的利弊权衡。 0.引言 Apache Ozone 做为 Hadoop 生态的下一代分布式存储系统，是 Hadoop 生态

腾讯大数据

2022-08-26

7400

腾讯内部实践分享 | 千节点Alluxio 集群助力游戏 AI 业务

node.js 分布式压力测试存储游戏

图片来源：Pexels 本文作者：郑兵、毛宝龙、潘致铮 Alluxio 是一个面向 AI 以及大数据应用，开源的分布式内存级数据编排系统。随着大数据和 AI 业务向 Kubernetes 等容器管理平台迁移，将 Alluxio 作为中间层，为数据查询及模型训练等场景加速，成为各厂商的首选方案。 Alluxio 在游戏 AI 离线对局业务中解决的问题可以抽象为：分布式计算场景下的数据依赖问题，传统的数据依赖的解决方式有：镜像打包，这种方式隔离性比较好，但使用镜像缓存能力有限，数据更新频繁，每次都要重

腾讯大数据

2021-10-18

1.3K0

快速上手联邦学习——腾讯自研联邦学习平台PowerFL实战

联邦学习 kubernetes 编程算法 yarn node.js

导语：近10年，机器学习在人工智能领域迅猛发展，其中一个关键的推动燃料就是人类社会积累的大量数据。然而，尽管数据规模在总体上快速增长，绝大部分数据却分散在各个公司或部门内，导致数据被严重隔离和碎片化；也正因为此，各个组织间有很强的数据合作意愿，可是基于数据隐私和安全的考量，要在合规的情况下实现数据合作面临着诸多挑战。基于上述原因形成的数据孤岛正严重阻碍着各方协同数据共同构建人工智能模型，也因此迫切需要一种新的机制来解决上述问题。联邦学习应运而生，通过这一新兴技术，可以在确保用户隐私和数据安全的前提下，各

腾讯大数据

2020-10-26

3.4K0

向成熟化迈进 - 腾讯Ozone千台能力突破

存储 node.js 大数据 http jdk

背景介绍腾讯目前在HDFS上存储了海量的数据，但HDFS在可扩展性上的缺陷，以及对小文件的不友好，限制了HDFS在许多场景下的应用。为了寻找能解决这些问题的存储系统，Ozone走入了我们的视野。Ozone是继HDFS的下一代统一数据湖对象存储系统，数据湖是一种在系统或存储库中以自然格式存储数据的方案，它有助于以各种模式和结构形式配置数据，通常是对象块或文件。 HDFS缺陷 Apache Hadoop HDFS从出现到现在经过10多年的发展，已经到了非常成熟的状态，广泛应用于业界，解决海量文件的存储需

腾讯大数据

2020-07-23

2K0

TBase Quick Start

数据库 sql node.js https 网络安全

什么是TBase TBase是一个提供写可靠性，多主节点数据同步的关系数据库集群平台。你可以将TBase配置一台或者多台主机上，TBase数据存储在多台物理主机上面。数据表的存储有两种方式，分别是distributed或者replicated ，当向TBase发送查询 SQL时，TBase会自动向数据节点发出查询语句并获取最终结果。 TBase采用分布式集群架构（如下图），该架构分布式为无共享(share nothing)模式，节点之间相应独立，各自处理自己的数据，处理后的结果可能向上层汇总或在节点间

腾讯大数据

2019-11-18

1.7K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态