腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

腾讯大数据的专栏

专栏作者

323

文章

451805

阅读量

124

订阅数

助力成本优化，腾讯全场景在离线混部系统Caelus正式开源

大数据容器 kubernetes

导读 / Introduction 11月4日，在2021腾讯数字生态大会上，腾讯正式宣布开源全场景在离线混部系统Caelus。 Caelus由腾讯大数据团队联合腾讯多个业务部门共同研发，旨在解决大数据资源缺口问题，通过Caelus在离线混部，扩充大数据任务可用资源，发挥空闲资源更大价值。在腾讯内部，Caelus混部方案已经被大规模应用到广告、存储、大数据、机器学习等多个业务，平均提升30% 资源利用率，节省了上亿成本。近年来，随着互联网业务的发展，大数据类任务的资源需求呈指数级增长，资源成本问题突

腾讯大数据

2021-11-10

1.1K0

星火计划 | 腾讯Caelus在离线混合部署技术沙龙火热报名中

kubernetes 大数据腾讯云开发者社区容器

导语：对于多数企业来说，随着业务的发展和应用服务需求的提升，集群规模会越来越大。与此同时，资源利用率低也成为一个比较常见的问题，这无疑将造成极大的成本浪费。因此，寻找一个合适的资源利用率提升方案，成为技术人员的关键任务。在离线混合部署技术是当前比较常见的利用率提升方案之一，在线业务和离线业务对资源的需求不同且往往错峰使用，将这两种业务混合部署在一起，能够有效提升资源利用率。但相应也会带来管理复杂度的提升，提出新的技术挑战。腾讯大数据多年来探索混部技术，积累了丰富的实践经验，实现了一套基于Kuberne

腾讯大数据

2021-05-21

6430

Caelus—全场景在离线混部解决方案

kubernetes 容器 https 网络安全

引言:集群管理的一个重要目标是提高资源利用率，随着集群规模的扩大，基础设施成本上涨，资源利用率问题逐步突显，为降低成本，混部技术应运而生。本篇文章结合腾讯技术团队在混部方面的落地和实战经验，来介绍各类场景下在线离线混部的相关概念、面临的问题及混部技术方案，抛砖引玉，供大家交流。混部背景各大厂商都有自己的集群管理平台，典型的是以k8s（kubernetes）为代表的容器云平台，集群管理的一个重要目标便是提高资源利用率，随着集群规模的扩大，机器成本增加，资源利用率问题开始变得越来越重要。造成集群利用率低的

腾讯大数据

2020-12-14

7.9K3

腾讯云副总裁刘煜宏：腾讯云原生产品每日调用次数已超百亿

运维容器 kubernetes 云计算 serverless

前言 7月31日，腾讯云副总裁刘煜宏在2020云原生技术大会上表示：“腾讯云原生产品API每日调用量已经超过100亿次，拥有超过100万的开发者，同时服务超过50万的客户，腾讯云实际上已经成为国内服务开发者最多的云原生平台。” 因为能够极大的帮助企业降低云计算方面的部署成本和运维难度，云原生代表了云计算的下一重要方向。作为本次大会钻石供应商，腾讯云在云原生领域有着系统的布局和广泛的实践，并且基于对用户需求的把握，提供了目前国内最为完备的产品矩阵。公有云方面，腾讯云围绕着Kubernetes、容器和

腾讯大数据

2020-08-06

1.4K0

Docker会是改变世界的那只“箱子”吗？

容器镜像服务容器

“很多时候，我们面临未来的预测和期望，其实很多答案已经存在在历史中。” 改变世界的“箱子” “没有集装箱，就不会有全球化。”，《经济学家》这个评论可以说是对于这个普通的箱子的历史性地位的一个总结。1956年4月26日，当集装箱之父麦克莱恩第一次将集装箱这种方式用于货物运输时，他肯定想像不到他的这个看似普通的发明，会对这个世界的影响如此深远。因为如果把全球经济比作一个高速运转的复杂的机器，那么以集装箱为核心的现代运输体系就是带动这台机器高速运转的齿轮和传送带。这只普通的箱子，技术含量不高，也并不复杂。

腾讯大数据

2018-01-26

8110

微信小程序从使用到分析快速解析

微信数据处理容器

腾讯大数据

2017-09-08

1.6K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态