腾讯大数据的专栏-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

腾讯大数据的专栏

专栏成员

328

文章

479288

阅读量

125

订阅数

助力成本优化，腾讯全场景在离线混部系统Caelus正式开源

大数据容器 kubernetes

导读 / Introduction 11月4日，在2021腾讯数字生态大会上，腾讯正式宣布开源全场景在离线混部系统Caelus。 Caelus由腾讯大数据团队联合腾讯多个业务部门共同研发，旨在解决大数据资源缺口问题，通过Caelus在离线混部，扩充大数据任务可用资源，发挥空闲资源更大价值。在腾讯内部，Caelus混部方案已经被大规模应用到广告、存储、大数据、机器学习等多个业务，平均提升30% 资源利用率，节省了上亿成本。近年来，随着互联网业务的发展，大数据类任务的资源需求呈指数级增长，资源成本问题突

腾讯大数据

2021-11-10

1.2K0

星火计划 | 腾讯Caelus在离线混合部署技术沙龙火热报名中

kubernetes 大数据腾讯云开发者社区容器

导语：对于多数企业来说，随着业务的发展和应用服务需求的提升，集群规模会越来越大。与此同时，资源利用率低也成为一个比较常见的问题，这无疑将造成极大的成本浪费。因此，寻找一个合适的资源利用率提升方案，成为技术人员的关键任务。在离线混合部署技术是当前比较常见的利用率提升方案之一，在线业务和离线业务对资源的需求不同且往往错峰使用，将这两种业务混合部署在一起，能够有效提升资源利用率。但相应也会带来管理复杂度的提升，提出新的技术挑战。腾讯大数据多年来探索混部技术，积累了丰富的实践经验，实现了一套基于Kuberne

腾讯大数据

2021-05-21

6690

Caelus—全场景在离线混部解决方案

kubernetes 容器 https 网络安全

引言:集群管理的一个重要目标是提高资源利用率，随着集群规模的扩大，基础设施成本上涨，资源利用率问题逐步突显，为降低成本，混部技术应运而生。本篇文章结合腾讯技术团队在混部方面的落地和实战经验，来介绍各类场景下在线离线混部的相关概念、面临的问题及混部技术方案，抛砖引玉，供大家交流。混部背景各大厂商都有自己的集群管理平台，典型的是以k8s（kubernetes）为代表的容器云平台，集群管理的一个重要目标便是提高资源利用率，随着集群规模的扩大，机器成本增加，资源利用率问题开始变得越来越重要。造成集群利用率低的

腾讯大数据

2020-12-14

8.5K3

快速上手联邦学习——腾讯自研联邦学习平台PowerFL实战

联邦学习 kubernetes 编程算法 yarn node.js

导语：近10年，机器学习在人工智能领域迅猛发展，其中一个关键的推动燃料就是人类社会积累的大量数据。然而，尽管数据规模在总体上快速增长，绝大部分数据却分散在各个公司或部门内，导致数据被严重隔离和碎片化；也正因为此，各个组织间有很强的数据合作意愿，可是基于数据隐私和安全的考量，要在合规的情况下实现数据合作面临着诸多挑战。基于上述原因形成的数据孤岛正严重阻碍着各方协同数据共同构建人工智能模型，也因此迫切需要一种新的机制来解决上述问题。联邦学习应运而生，通过这一新兴技术，可以在确保用户隐私和数据安全的前提下，各

腾讯大数据

2020-10-26

3.7K0

腾讯云副总裁刘煜宏：腾讯云原生产品每日调用次数已超百亿

运维容器 kubernetes 云计算 serverless

前言 7月31日，腾讯云副总裁刘煜宏在2020云原生技术大会上表示：“腾讯云原生产品API每日调用量已经超过100亿次，拥有超过100万的开发者，同时服务超过50万的客户，腾讯云实际上已经成为国内服务开发者最多的云原生平台。” 因为能够极大的帮助企业降低云计算方面的部署成本和运维难度，云原生代表了云计算的下一重要方向。作为本次大会钻石供应商，腾讯云在云原生领域有着系统的布局和广泛的实践，并且基于对用户需求的把握，提供了目前国内最为完备的产品矩阵。公有云方面，腾讯云围绕着Kubernetes、容器和

腾讯大数据

2020-08-06

1.5K0

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态