腾讯云主办首个云原生百科知识直播节目——《云原生正发声》,每周二晚19:30 开播。《云原生正发声》围绕云原生技术领域,覆盖实时的云原生技术实践、性能优化、前沿趋势、当前热点、案例分享、大咖分享、开发者成长路径、就业方向选择等等内容。 【云原生正发声】开播至今,已推出4期啦~本月干货主题更精彩! 6月初初到来,我们集结了一批技术专家,为技术爱好者们精心策划了一场大数据云原生专场——腾讯基于K8s的全场景在离线混部技术实践。 腾讯大数据,基于多年在混部技术积累的实践经验与基于 Kubernetes 的全场景
腾讯云主办首个云原生百科知识直播节目——《云原生正发声》,每周二晚19:30 开播。《云原生正发声》围绕云原生技术领域,覆盖实时的云原生技术实践、性能优化、前沿趋势、当前热点、案例分享、大咖分享、开发者成长路径、就业方向选择等等内容。 随着企业各项业务快速发展,离线计算集群规模和提交作业量持续增长,资源利用率问题日益凸显,因此混部应运而生。引入混部的离线作业在一些大规模场景下,K8s的调度器性能瓶颈问题也尤为严重。 本期将由腾讯高级工程师“马林”和我们分享“K8s 高性能调度器设计与实现”。 如果你也想知
徐蓓,腾讯云容器技术专家,腾讯云异构计算容器负责人,多年云计算一线架构设计与研发经验,长期深耕 Kubernetes、在离线混部与 GPU 容器化领域,Kubernetes KEP Memory QoS 作者,Kubernetes 积极贡献者 摘要 qGPU 是腾讯云推出的 GPU 共享技术,支持在多个容器间共享 GPU 卡资源,提供百分比算力与 MB 级显存细粒度分配和强隔离能力,并且搭配业界独有的 GPU 在离线混部技术,在充分保证业务安全、稳定的前提下,将 GPU 利用率提升到了极致。 qGPU 已服
这几天把跨年搞的和人生分水岭似的🤪 2023年的你有什么不一样了吗? 是不是还和去年一样的造型? 新姿(知)势(识),学起来 腾讯云开发者社区带着干货来了 腾讯云×尚硅谷大数据研究院强强联手 重磅推出新年第一弹 腾讯云EMR数仓教程发布 腾讯云开发者社区“公开课”直达: https://mc.tencent.com/JLIcWlY0 扫码加入“腾讯云大数据EMR交流群” 免费获取全套教程 群内提供腾讯云官方大数据团队导师全程指导及技术交流 本教程由腾讯云官方与尚硅谷大数据研究院联合推出,分为实时
不同企业上云后,其成本节省程度是不一的。从 IT 资源成本节省量来看,低的企业不到 10%,高的企业可达 60%-70%。究竟为何会造成这么大的差异?又有什么组织管理手段和产品技术手段可以降低企业上云成本?
云通信 IM 的终端用户需要随时都能够得知最新消息,而由于安卓手机使用深度定制 Android 系统,对于第三方 App 自启动权限管理很严格,默认情况下第三方 App 都不会在系统的自启动白名单内,App 在后台时容易被系统 kill,因此推荐在安卓设备上集成对应的厂商推送,依赖厂商的系统级服务,推送到达率较高。
作者 | 王涛 仅用三年时间,基于腾讯云 TKE 底座,腾讯自研业务容器化规模已达到千万核级别的 CPU 资源规模。面对如此海量的异构资源和复杂多样的业务场景,腾讯是如何做到资源利用率 65% 的?在调度编排、弹性伸缩、应用管理、稳定性保障等方面,腾讯又有哪些秘籍?在 ArchSummit 2022 全球架构师峰会(深圳站)上,腾讯云自研上云容器平台负责人王涛发表了题为《如何管理超千万核资源的容器规模》的演讲,为大家逐一揭秘。 腾讯自研业务容器化上云历程 腾讯自研业务容器化上云的技术路线经历了多个阶段
腾讯云主办首个云原生百科知识直播节目——《云原生正发声》,每周二晚19:30 开播。《云原生正发声》围绕云原生技术领域,覆盖实时的云原生技术实践、性能优化、前沿趋势、当前热点、案例分享、大咖分享、开发者成长路径、就业方向选择等等内容。 【云原生正发声】开播至今,已推出4期啦~第五期干货主题更精彩! 腾讯大数据,基于多年在混部技术积累的实践经验与基于 Kubernetes 的全场景在线离线混部解决方案,对 K8s 零入侵,兼容各种场景(容器化、非容器化等),已经在腾讯内部业务多方落地,节约了上亿成本。 这些
2021年5月29-31日Qcon软件大会在北京国家会议中心举行。自2007年3月份开始举办以来,已经有超万名有多年从业经验的技术人员参加过QCon大会。QCon 内容源于实践并面向社区,演讲嘉宾依据热点话题,面向5年以上工作经验的技术团队负责人、架构师、工程总监、开发人员分享技术创新和实践。 云计算平台带来 IT 基础设施巨大变革,每一次 IT 基础设施的变革都会激发开发人员去思考能够充分发挥新平台优势的软件设计和开发方法。“云原生”就是一种充分利用云计算模式的优点来构建和运行应用的方法。 无论是构建
“刚在A云买了一台云服务器,腾讯云就开始打折了!原来环境好不容易搭好的,不能说没就没呀!” 都9102年了,云上的操作你了解了吗? 如何优雅而快速的“弃车保帅”, 完成服务器的华丽转身? 正解:服务迁移一下。 2017年的自建机房 - 2019年的云服务器 2017年的数据存储 - 2019年的云存储 2017年的数据迁移 - 2019年的服务迁移 终于, 不会在正打算拷贝数据的时候出现⬇️的疑惑了... 什么是服务迁移 「服务迁移」是腾讯云为方便用户上云而研发的免费迁
2022年,搜狐智能媒体完成了迁移腾讯云的弹性计算项目,其中大数据业务整体都迁移了腾讯云,上云之后的整体服务性能、成本控制、运维效率等方面都取得了不错的效果,达到了预期的降本增效目标。
【云原生正发声】 目前已开展了十一期分享会,腾讯各位大咖带领大家由浅入深全方位了解云原生!涵盖热点技术最佳实践和技术优化内容分享! 小云费九牛二虎之力,给大家整理出了这份合集(视频+PPT,PPT获取方式见文末),看看哪个是你的心头爱~(别忘了文末还有活动奖品哦) 以下为往期11期直播合集 第一期:如何在 Istio 服务网格中管理所有七层流量? 第二期:多种模式下的深度学习弹性训练 第三期:云原生时代的应用开发方式变革 第四期:云时代软件技术演进之路 第五期:腾讯基于 K8s 的全场景在线离线
刚刚获悉,在全球研究机构Forrester最新发布了2023年第二季度《The Forrester Wave™: Cloud Data Warehouses》报告,吸引众多国际顶尖云数据仓库厂商参与其中,腾讯云以全栈云原生数据仓库解决方案成功入选 “竞争者”阵营,成为国内唯二入选的云厂商。
詹雪娇,腾讯云产品经理,主要负责 EKS 相关产品和运营工作,以及容器服务日志/审计/事件模块。 在容器化的应用场景中,大数据计算是其中很大并且业务应用在逐渐增加的一个热门领域,包括越来越多的人工智能企业,都在使用容器技术来支持业务中的大量计算任务。降低成本、提升资源利用率也是当前这部分用户非常期待而又迫切的需求。 那么,容器的 Serverless 化的出现,可以很大程度上帮助大数据计算需求的用户迅速解决这些问题。为此,腾讯云推出了弹性容器 EKS 的解决方案,甚至可以达成离线计算业务的成本降低 65%
看过这篇文的读者们,你想要的直播干货来了! 【qGPU 容器产品全量上线,重磅发布 GPU 在离线混部功能】 该篇文章由腾讯云容器技术专家徐蓓所写,分享并介绍了腾讯云推出的 GPU 共享技术—— qGPU,支持在多个容器间共享 GPU 卡资源,提供百分比算力与 MB 级显存细粒度分配和强隔离能力,并且搭配业界独有的 GPU 在离线混部技术,在充分保证业务安全、稳定的前提下,将 GPU 利用率提升到了极致。 【云原生正发声】第十五期,我们邀请到了该篇文的作者——腾讯云容器技术专家徐蓓,来和大家分享 TKE
11月4日,在2021腾讯数字生态大会上,腾讯正式宣布开源其全场景在离线混部系统Caelus。 Caelus由腾讯大数据团队联合腾讯多个业务部门共同研发,旨在解决大数据资源缺口问题,通过Caelus在离线混部,扩充大数据任务可用资源,发挥空闲资源更大价值。在腾讯内部,Caelus混部方案已经被大规模应用到广告、存储、大数据、机器学习等多个业务,平均提升30% 资源利用率,节省了上亿成本。 近年来,随着互联网业务的发展,大数据类任务的资源需求呈指数级增长,资源成本问题突出。但各大权威机构的调研数据显
随着技术的创新和应用场景的拓展,以云原生数据湖为代表的新一代数据技术架构既解决大数据“存”的问题,同时在“用”的维度上也产生了更大的价值。 在分布式计算框架中,shuffle的性能和稳定性一直是核心优化点。随着云原生、存算分离和在离线混部等新场景的出现,对于shuffle更是有了新的需求, 腾讯自主研发Firestorm,是国内第一个开源的RSS。支持存算分离,云原生部署,稳定提升计算效率,支持多计算引擎。 而大数据离线任务不仅数量庞大,还有复杂的依赖关系,大数据调度系统高效地将各类大数据任务链路匹配合
300+参评项目,100+入围项目,10000+开发者公开票选,20+专家评审,10+主编团打分,历经数月打磨,由 InfoQ 发起组织的【 2020 中国技术力量年度榜单评选】结果揭晓: 腾讯云大数据云原生技术脱颖而出,荣获 2020年度十大云原生创新技术 早前,在2020年7月可信云大会上 腾讯云大数据云原生已荣获评年度技术最佳实践 那么腾讯云大数据云原生究竟凭什么能连续拿走两座大奖呢? 大数据云原生作为当前行业内热门的钻研话题,未来发展前景及趋势均不可小觑。各大云厂商、大型互联网企业都在尝试
导读 / Introduction 11月4日,在2021腾讯数字生态大会上,腾讯正式宣布开源全场景在离线混部系统Caelus。 Caelus由腾讯大数据团队联合腾讯多个业务部门共同研发,旨在解决大数据资源缺口问题,通过Caelus在离线混部,扩充大数据任务可用资源,发挥空闲资源更大价值。在腾讯内部,Caelus混部方案已经被大规模应用到广告、存储、大数据、机器学习等多个业务,平均提升30% 资源利用率,节省了上亿成本。 近年来,随着互联网业务的发展,大数据类任务的资源需求呈指数级增长,资源成本问题突
【云原生正发声】 目前已开展了十四期分享会,腾讯各位大咖带领大家由浅入深全方位了解云原生!涵盖热点技术最佳实践和技术优化内容分享! 小云费九牛二虎之力,给大家整理出了这份合集(视频+PPT,PPT获取方式见文末),看看哪个是你的心头爱~ (别忘了文末可以抢红包封面哦) 以下为往期14期直播合集 第一期:如何在 Istio 服务网格中管理所有七层流量? 第二期:多种模式下的深度学习弹性训练 第三期:云原生时代的应用开发方式变革 第四期:云时代软件技术演进之路 第五期:腾讯基于 K8s 的全场景在线离线
随着企业各项业务快速发展,离线计算集群规模和提交作业量持续增长,资源利用率问题日益凸显,因此混部应运而生。引入混部的离线作业在一些大规模场景下,K8s的调度器性能瓶颈问题也尤为严重。 6月29日晚19:30,腾讯高级工程师“马林”和我们分享“K8s 高性能调度器设计与实现”,一起探讨离线混部场景中调度系统的需求、痛点与优化。 扫描下图海报中【二维码】可一键报名,或点击底部【阅读原文】进入报名链接!等你上车~ · 往期直播视频回顾 · (建议保存收藏哦) 第一期:多种模式下的深度学习弹性训练
随着企业各项业务快速发展,离线计算集群规模和提交作业量持续增长,资源利用率问题日益凸显,因此混部应运而生。引入混部的离线作业在一些大规模场景下,K8s的调度器性能瓶颈问题也尤为严重。 今晚19:30,腾讯高级工程师“马林”和我们分享“K8s 高性能调度器设计与实现”,一起探讨离线混部场景中调度系统的需求、痛点与优化。 扫描海报中【二维码】可一键报名,或点击底部【阅读原文】进入报名链接!等你上车~ · 往期直播视频回顾 · (建议保存收藏哦) 第一期:多种模式下的深度学习弹性训练 第二期:如何
上周举行的腾讯云知识分享,雁栖学堂湖存储专题第八期 GooseFS 数据湖存储数据成本迁移篇已经圆满结束了。 腾讯云存储团队高级产品经理林楠,带我们一起探讨了如何将本地大数据集群上的数据迁移到公有云对象存储服务中。腾讯云提供了多种迁移服务方式,用户可以根据业务需求,按需选择适合自己业务的迁移方案。 本次分享将从以下四个维度来介绍的数据湖存储迁移方案: 一、数据迁移流程; 二、迁移服务平台; 三、离线迁移; 四、大数据迁移; 数据迁移流程 首先,我们来看一下迁移的全流程、目的、以及评估方式;
腾讯云主办首个云原生百科知识直播节目——《云原生正发声》,每周二晚19:30 开播。《云原生正发声》围绕云原生技术领域,覆盖实时的云原生技术实践、性能优化、前沿趋势、当前热点、案例分享、大咖分享、开发者成长路径、就业方向选择等等内容。 【云原生正发声】六月份直播专场6月15日的基于K8s全场景在离线混部方案的分享,大受观众喜爱,在短短10分钟的互动问答环节,竟有20余名参与者留言提问。 由于时间关系,讲师并未全部回答,但有部分关于”CPU资源利用“、”为什么要做服务器层面的资源QoS“等问题都涉及到我们接
近日,由InfoQ 发起并组织的“2020 中国技术力量年度榜单”评选结果正式揭晓,腾讯云强势入围四大榜单,最终斩获六项殊荣:腾讯开源联盟主席、TARS基金会董事主席单致豪荣获“十大开源杰出贡献人物”,腾讯开源项目TencentOS Tiny、ncnn荣登“十大开源新锐项目”,腾讯小程序云开发、腾讯大数据云原生与在离线混合部署项目双双入选“2020年度十大云原生创新技术方案”,由腾讯微服务平台TSF提供支撑的人保财险核心中台业务项目获评“2020 年度十大云原生行业落地典范”。此次腾讯云的入选,代表了业界
Cloudreve是一款开源的网盘软件,支持服务器本机、腾讯云COS等多种存储方式,提供离线下载、拖拽上传、在线预览等功能,可以帮助用户快速搭建个人或多人使用的网盘系统。Lighthouse Cloudreve应用镜像集合了Cloudreve、Nginx、MariaDB、宝塔Linux面板和Aria2。省去了安装Docker和Cloudreve的步骤,鼠标点一点,五分钟将您的Lighthouse变身云盘!
数字时代,云计算正在以中枢神经的角色成为企业数字化转型的胎生力量,而云原生技术作为云计算中枢神经整体实现的关键技术内核正在对数字经济基础设施底座的粘性、韧性、弹性发挥决定作用,利用云原生技术、架构、理念构建数字化新底座正在成为各行各业数字化转型的实践重点。
随着业务数据量的剧增,传统MySQL在数据存储上变得越来越吃力,NoSQL因其良好的性能、扩展性、稳定性逐渐成为业务选型的首要考虑。TcaplusDB是腾讯云推出的一款全托管NoSQL数据库服务,旨在为客户提供极致的数据据存储体验,详细信息请参考官方文档。本文主要介绍如何将MySQL数据迁移到TcaplusDB。
腾讯云主办首个云原生百科知识直播节目——《云原生正发声》,每周二晚19:30 开播。《云原生正发声》围绕云原生技术领域,覆盖实时的云原生技术实践、性能优化、前沿趋势、当前热点、案例分享、大咖分享、开发者成长路径、就业方向选择等等内容。 上周我们分享了"Caelus—基于K8s全场景在离线混部技术实践"的技术专题,受到技术开发爱好者们的踊跃追捧及频繁的在线问答交流。 还没有收看的同学也不用着急,我们所有的分享都有直播回放,手指滑倒底部,就可以看到【云原生正发声】的全部直播回放哦~ 上次直播的交流过程中,很多
腾讯乘车卡能帮大伙省钱,那怎么开通怎么用?方法很简单,只要一直看我们的公众号西城知道,就学点装逼潮流技能,都不是事!
用户在腾讯云上自建的ES集群或者在其它云厂商购买的ES集群,如果要迁移至腾讯云ES,用户可以根据自己的业务需要选择适合自己的迁移方案。如果业务可以停服或者可以暂停写操作,可以参考离线迁移的四种方案。
董晓聪,作业帮基础架构负责人,主要负责架构研发、运维、DBA、安全等工作。基于开源的力量,和云厂商一起完成作业帮技术体系的云原生重塑。 项目背景 作业帮教育科技(北京)有限公司成立于2015年,一直致力于用科技手段助力教育普惠,运用人工智能、大数据等前沿技术,为学生提供更高效的学习解决方案。随着业务需求的发展,作业帮的 IT 系统面临巨大挑战,现有基础平台架构已经无法满足快速增长的业务需求。业务对快速迭代、急速弹性、调用链追踪、统一的监控日志平台、提升计算资源利用率等需求迫在眉睫。 2019年下半年,作业
本文介绍了在容器云环境下,如何通过Gaia Stack实现应用和基础设施的自动化管理,包括资源管理、应用部署、网络管理、存储管理、运维管理和日志管理等方面的内容。同时,文章还介绍了Gaia Stack的架构和主要功能,以及其在腾讯云私有云环境中的应用场景。
消息推送是通信类手机应用的基础功能,同时消息推送作为一种高效的营销手段,其投放精准、成本低廉的特点,也备受其他各类App运营者的青睐,是手机应用非常重要的流量渠道之一。通过消息推送这一手段,App可以将用户留在自己的平台上,降低获客成本,保持App活跃度,提升用户粘性和用户留存率。对于大部分移动App来说,消息推送已成为一项必备功能。
在之前的文章Elasticsearch跨集群数据迁移之离线迁移中,我们介绍了如何在离线场景下把自建的ES集群或者在其它云厂商购买的ES集群迁移至腾讯云的ES, 但是如果在迁移过程中业务不能中断或者不能够暂停写操作,就必须采用其它的方案进行迁移。2020年5月份,腾讯云ES上线的新版本中,对集群节点所在的网络进行了优化,使得集群节点能够反向访问到用户VPC下的ip,因此采用集群融合的方式可以实现在线不停服地迁移自建ES集群至腾讯云ES。
腾讯云原生年度精选文章,读这一篇就够了! 感谢这一年的遇见与陪伴,我们帮大家总结了全年精选文章,涵盖产品信息、技术实践、用户案例等内容,恭祝大家新的一年大展宏“兔”!“兔”飞猛进! Tips:文末有红包封面 及互动礼品 等你来领! 腾讯云原生2022精华合集 腾讯云原生产品中心总经理邹辉谈腾讯自研业务云原生上云历程 登云之路|腾讯大规模云原生技术实践案例图鉴 资料下载|你可能遇到的8个开发运维难题,用云原生解决! 腾讯云原生 2022 年终总结 腾讯云原生核心技术产品 节点管理新范式 Hou
Red Hat Enterprise Linux 在众多Linux版本中历史悠久,因为其安全和稳定,获得不少企业的青睐,特别在外企中获得广泛的使用。腾讯云是业界主流的云平台之一,虽然支持多种Linux操作系统,包括腾讯自研的TencentOS,但是当前并没有Redhat Linux镜像,这就需要客户自行定制。本文将该操作过程进行记录和总结,从而方便后继客户使用。
王玉君,腾讯云后台工程师,拥有多年大规模Kubernetes集群的开发运维经验。目前负责腾讯云TKE大规模Kubernetes集群的大数据应用托管服务。 谭春强,腾讯云后台工程师,拥有两年大数据EMR集群管控运维经验,目前负责腾讯云大数据EMR组件的容器化方向。 1.引言 随着云原生概念的兴起,越来越多的企业投身于云原生转型的浪潮,以解决传统应用面临的弹性能力不足、资源利用率较低、迭代周期较长等问题。通过云原生技术(如容器,不可变基础设施和声明式API等),使得企业在公有云、私有云和混合云等云环境构建和运
腾讯云原生TKE是一款基于 Kubernetes 构建的高度可扩展的高性能容器管理服务,是腾讯集团对内和对外统一的云原生技术底座,实现了云上云下、任意位置、任意类型资源的统一管理,运行了数千万核心规模的业务,支撑着多款国民级互联网应用的稳定运行,创造了国内最大规模的云原生上云实践。
注:本文转载自公众号腾讯云。 你或许也有过这样的想法... 出门来不及的时候,要是有十双手一起收拾就好了 这么多人,为什么没有100条队 今天这工作量,需要1000个我一起才做得完 其实,你的电脑每一秒都在面对这样的难题。 为了把你眼前的图像显示出来,它需要给几百万个像素点,算出每秒几十帧的像素值。 一秒钟就是几亿次并行计算。 这还只是把画面显示出来。如果是渲染一段3D动画,计算量就更大了。 能同时完成这么多计算却依然不卡,靠的就是GPU(图形处理器)。 相对于CPU,它拥有大量的算术逻辑单元,
QQ音乐是腾讯音乐旗下一款领先的音乐流媒体产品,平台打造了“听、看、玩”的立体泛音乐娱乐生态圈,为累计注册数在8亿以上的用户提供多元化音乐生活体验,畅享平台上超过3000万首歌曲的海量曲库。优质服务的背后,是每天万亿级新增音乐内容和行为数据,PB数据量级的数据计算服务。
腾讯云近期发布的《腾讯云技术实践精选集 2021》,旨在将过往积累的成功技术和解决方案经验,向外部技术同仁赋能输出,推动产业升级,促进业务创新。
自建开源大数据平台会随着企业数据的增长遇到:性能慢、扩容周期长、平台稳定性差、运维难、投入成本高等问题。在这里我们将从 EMR 的简介、EMR与自建Hadoop对比优势、自建迁移上云的实践案例来介绍 EMR 是如何解决这些问题的。
随着腾讯云ES集群稳定性越来越高、产品体验越来越好。有越来越多的外部客户希望将自建的ES集群迁移到腾讯云上来。本文将介绍一种腾讯云ES在业界独有的业务不停服无感知的迁移方案--在线融合迁移方案。本方案目前已经迁移了上百套客户自建ES集群上云。下面将结合我们在给客户迁移过程中总结出的宝贵经验,来详细介绍下在线融合迁移技术方案的基本原理、核心优势、迁移步骤和注意事项。
前言 上篇《减少碳排放上万吨是什么样的高科技?》结合腾讯TencentOS团队在混部方面的落地实战经验,重点介绍混部概念以及TencentOS Server大规模容器集群混部服务器QoS产品“如意”。 “如意”最大实现了动态的资源调度和抢占,空闲时高优先级容器借资源借给低优先级容器使用,需要时再快速抢回来,整个过程在服务器内部完成,容器集群调度层面无需感知和干预,真正做到了提升资源利用率和业务隔离的统一,CPU利用率也从混部前的15%提升到现在45%左右,可使上万台服务器节省电能近2亿度,相当于减少碳排放
领取专属 10元无门槛券
手把手带您无忧上云