首页
学习
活动
专区
工具
TVP
发布

腾讯云原生团队

专栏成员
547
文章
804366
阅读量
196
订阅数
云原生场景下,如何缓减容器隔离漏洞,监控内核关键路径?
导读:OpenCloudOS 社区是由操作系统、软硬件厂商与个人共同倡议发起的操作系统社区项目,提供自主可控、绿色节能、安全可靠、高性能的下一代云原生操作系统,与生态伙伴一起打造中立的操作系统开源生态。 作为社区重要的技术方向,OpenCloudOS 社区的云原生操作系统自研了一系列的云原生特性,本文主要介绍 CgroupFS 和 SLI。 一、CgroupFS 特性 1、方案背景 容器的隔离主要是依赖 Linux 操作系统的 Namespace 和 Cgroup,与依赖硬件辅助虚拟化的虚拟机隔离不同,前者
腾讯云原生
2023-02-16
8560
将云原生进行到底:腾讯百万级别容器云平台实践揭秘
林沐,腾讯云高级工程师,负责腾讯自研业务上云平台的建设和有状态服务容器化标准的制定,专注于大规模服务场景云原生实践的推广。 导读|基于 K8s 的云原生容器化已经在腾讯内部海量业务中大范围落地实践。业务从传统的虚拟机部署形态无缝切换到容器部署形态,运行在 K8s 上的应用从无状态服务扩展到有状态服务,这个过程经历了哪些改造?同时,K8s 如何经受住业务形态复杂多样、模块数量庞大的考验?遇到哪些新的挑战?如何优化?效果怎么样?腾讯云高级工程师林沐将为你解答。 在线业务资源容器化部署的问题与优化方案 腾讯平台
腾讯云原生
2023-01-10
9170
详解K8s资源拓扑感知调度、资源优化策略最佳实践
在云原生场景下,为了使CPU利用率更高,以及各容器之间不会由于激烈竞争而引起性能下降,容器的资源分配需要更精细化。 中国信通院、腾讯云、FinOps产业标准工作组联合发起的《原动力x云原生正发声 降本增效大讲堂》系列直播活动,腾讯星辰算力平台高级工程师方睿分享了Kubernetes资源拓扑感知调度。 资源竞争与资源感知问题 从CPU的体系结构上来看,现代CPU多采用NUMA架构和方式。 NUMA架构是非对称的,每个NUMA node上会有自己的物理CPU内核,以及每个NUMA node之间也共享L3 Cac
腾讯云原生
2022-09-06
3.7K0
扩展Kubernetes到无限|Virtual Kubelet子项目:tensile-kube介绍
近期,腾讯游戏Tenc容器团队对外开源了Kubernetes(K8s)多集群调度方案tensile-kube, 本文将简单介绍tensile-kube。 tensile-kube 名称由来 tensile名为可扩展的,可延伸的,同时tensile中也包含了tencent 和 tenc的意思。 tensile-kube 诞生背景 腾讯游戏Tenc(容器)计算平台线上有数十个K8s集群,这些集群都存在一些碎片资源,无法得到有效利用。常见的场景是:一个作业需要N个资源,但是现有集群A、B、C等所剩资源都不满足N
腾讯云原生
2022-04-14
1.4K0
容器网络防火墙状态异常导致丢包排查记录
作者杨玉玺,2011年至今一直从事底层网络研发,目前就职腾讯云 TKE 团队,专注 K8s 底层网络。先后就职于阿里云、金山云从事 VPC 虚拟化网络研发,对高性能网络优化,复杂网络问题排查有非常丰富的经验。 导语 K8s容器网络涉及诸多内核子系统,IPVS,Iptable,3层路由,2层转发,TCP/IP协议栈,这些复杂的内核子系统在特定场景下可能会遇到设计者最初也想不到的问题。 本文分享了iptable防火墙状态异常导致丢包的排查记录,这个排查过程非常曲折,最后使用了在现在的作者看来非常落伍的工具:sy
腾讯云原生
2022-04-14
1.3K0
揭秘日活千万腾讯会议全量云原生化上TKE技术实践
作者王涛,腾讯云高级工程师,从事云计算行业8年,拥有5年多容器研发经验,近两年主要负责腾讯自研业务上云的大规模云原生平台的研发设计工作。 腾讯会议,一款联合国都Pick的线上会议解决方案,提供完美会议品质和灵活协作空间,广泛应用在政府、医疗、教育、企业等各个行业。大家从文章8天扩容100万核,腾讯会议是如何做到的?[1]都知道腾讯会议背后的计算资源已过百万核,如此体量的业务,如何通过云原生技术提升研发和运维效率,是一个非常有价值的课题。这里我将为大家揭秘腾讯自研上云容器平台TKEx在支持腾讯会议全量云原生化
腾讯云原生
2022-04-14
9940
SuperEdge 和 FabEdge 联合在边缘 K8s 集群支持原生 Service 云边互访和 PodIP 直通
SuperEdge 研发团队 FabEdge 研发团队 腾讯云容器中心边缘计算团队 背景 在边缘计算的场景下,边缘节点和云端为单向网络,从云端节点无法直接访问边缘节点,导致了以下的问题: 云端无法访问边缘端的 service 边访问云端 service 需要以 nodeport 的形式 云边端 podIp 无法直通 2021 年 8 月 2 日,博云正式开源 FabEdge 边缘网络方案。FabEdge 主要解决边缘计算场景下,容器网络配置管理复杂、网络割裂互不通信、缺少服务发现、缺少拓扑感知能力、无法提
腾讯云原生
2021-10-29
5040
云原生的弹性 AI 训练系列之二:PyTorch 1.9.0 弹性分布式训练的设计与实现
高策,腾讯高级工程师,Kubeflow 社区训练和自动机器学习工作组 Tech Lead,负责腾讯云 TKE 在 AI 场景的产品研发和支持工作。 背景 机器学习工作负载与传统的工作负载相比,一个比较显著的特点是对 GPU 的需求旺盛。在之前的文章中(公有云上构建云原生 AI 平台的探索与实践 - GOTC 技术论坛分享回顾 和 云原生的弹性 AI 训练系列之一:基于 AllReduce 的弹性分布式训练实践)介绍过,目前 GPU 的显存已经不足以跟上模型参数规模的发展。随着 Transformer 等新
腾讯云原生
2021-08-26
1.3K0
SuperEdge 高可用云边隧道有哪些特点?
作者李腾飞,腾讯容器技术研发工程师,腾讯云TKE后台研发,SuperEdge核心开发成员。 背景 在边缘集群中,边缘端和云端为单向网络,云端无法主动连接边缘端,常见的解决方案是边缘端主动和云端(tunnel server)建立长连接,云端通过长连接将请求转发到边缘端。在云端隧道 server 实例扩容后需要考虑新增的实例对已有的边缘端长连接转发的影响。出于系统稳定性的考虑,能通过云边隧道采集到边缘端的监控信息。 社区方案ANP[1] 隧道云端 Server 自动扩缩容 ANP 主要用于代理转发 apise
腾讯云原生
2021-08-05
9040
SuperEdge 云边隧道新特性:从云端SSH运维边缘节点
李腾飞,腾讯容器技术研发工程师,腾讯云TKE后台研发,SuperEdge核心开发成员。 王冬,腾讯云TKE后台研发工程师,专注容器云原生领域,SuperEdge 核心开发人员,现负责腾讯云边缘容器TKE Edge私有化相关工作。 背景 在边缘集群的场景下边缘节点分布在不同的区域,且边缘节点和云端之间是单向网络,边缘节点可以访问云端节点,云端节点无法直接访问边缘节点,给边缘节点的运维带来很大不便,如果可以从云端SSH登录到边缘节点可以简化节点的运维工作。针对这一需求,SuperEdge[1] 项目扩展了
腾讯云原生
2021-06-30
9200
腾讯云TKE-基于 Cilium 统一混合云容器网络(下)
魏后民,腾讯云后台开发工程师,关注容器、Kubernetes、Cilium等开源社区,负责腾讯云 TKE 混合云容器网络等相关工作。 王昌宇,腾讯云高级工程师,关注OpenStack、Kubernetes,ServiceMesh等社区,负责TCNS高性能网络研发。 徐凌云,腾讯云高级工程师,关注 Linux 内核网络、Cilium等开源社区,负责 TCNS 高性能网络研发。 前言 在 腾讯云TKE - 基于 Cilium 统一混合云容器网络(上) 中,我们介绍 TKE 混合云的跨平面网络互通方案和 TK
腾讯云原生
2021-06-28
1.7K0
打破内网壁垒,从云端一次添加成百上千的边缘节点
李腾飞,腾讯容器技术研发工程师,腾讯云TKE后台研发,SuperEdge核心开发成员。 王冬,腾讯云TKE后台研发工程师,专注容器云原生领域,SuperEdge 核心开发人员,现负责腾讯云边缘容器TKE Edge私有化相关工作。 背景 在边缘计算的场景中,边缘节点分布在不同的区域,而且大多数边缘节点是藏在NAT网络背后的,且边缘节点和云端之间是单向网络(边缘节点可以访问云端,云端无法直接访问边缘节点)。这种场景下如何批量的将众多的边缘节点添加到一个边缘集群是一个问题?如果有一种机制,让用户可以从云端批量
腾讯云原生
2021-06-25
6430
腾讯TencentOS 十年云原生的迭代演进之路
蒋彪,腾讯云高级工程师,10+年专注于操作系统相关技术,Linux内核资深发烧友。目前负责腾讯云原生OS的研发,以及OS/虚拟化的性能优化工作。
腾讯云原生
2021-06-18
1.8K0
用 edgeadm 一键安装边缘 K8s 集群和原生 K8s 集群
王冬,腾讯云TKE后台研发工程师,专注容器云原生领域,SuperEdge 核心开发人员,现负责腾讯云边缘容器TKE Edge私有化相关工作。 梁豪,腾讯TEG工程师,云原生开源爱好者,SuperEdge 开发者,现负责TKEX-TEG容器平台运维相关工作。 姚树标,新浪微博软件工程师,开源项目爱好者,superEdge开发人员,现负责微博活动平台的设计及研发工作。 背景 目前,很多边缘计算容器开源项目在使用上均存在一个默认的前提:用户需要提前准备一个标准的或者特定工具搭建的 Kubernetes 集群,
腾讯云原生
2021-05-18
8710
一文读懂 SuperEdge 云边隧道
李腾飞,腾讯容器技术研发工程师,腾讯云TKE后台研发,SuperEdge核心开发成员。 杜杨浩,腾讯云高级工程师,热衷于开源、容器和Kubernetes。目前主要从事镜像仓库,Kubernetes集群高可用&备份还原,以及边缘计算相关研发工作。 SuperEdge 介绍 SuperEdge 是 Kubernetes 原生的边缘容器方案,它将 Kubernetes 强大的容器管理能力扩展到边缘计算场景中,针对边缘计算场景中常见的技术挑战提供了解决方案,如:单集群节点跨地域、云边网络不可靠、边缘节点位于 NA
腾讯云原生
2021-05-17
1K0
一文读懂 SuperEdge 分布式健康检查(云端)
杜杨浩,腾讯云高级工程师,热衷于开源、容器和Kubernetes。目前主要从事镜像仓库、Kubernetes集群高可用&备份还原,以及边缘计算相关研发工作。 前言 SuperEdge 介绍 SuperEdge 是基于原生 Kubernetes 的边缘容器管理系统。该系统把云原生能力扩展到边缘侧,很好的实现了云端对边缘端的管理和控制,极大简化了应用从云端部署到边缘端的过程。同时 SuperEdge 设计了分布式健康检查机制规避了云边网络不稳定造成的大量pod迁移和重建,保证了服务的稳定。 SuperEdge
腾讯云原生
2021-03-23
1K0
一文读懂 SuperEdge 分布式健康检查 (边端)
杜杨浩,腾讯云高级工程师,热衷于开源、容器和Kubernetes。目前主要从事镜像仓库、Kubernetes集群高可用&备份还原,以及边缘计算相关研发工作。 前言 SuperEdge 介绍 SuperEdge 是基于原生 Kubernetes 的边缘容器管理系统。该系统把云原生能力扩展到边缘侧,很好的实现了云端对边缘端的管理和控制,极大简化了应用从云端部署到边缘端的过程。同时SuperEdge设计了分布式健康检查机制规避了云边网络不稳定造成的大量pod迁移和重建,保证了服务的稳定。 SuperEdge 分
腾讯云原生
2021-03-18
9800
一文读懂 SuperEdge 拓扑算法
杜杨浩,腾讯云高级工程师,热衷于开源、容器和Kubernetes。目前主要从事镜像仓库、Kubernetes集群高可用&备份还原,以及边缘计算相关研发工作。 前言 SuperEdge 介绍 SuperEdge 是基于原生 Kubernetes 的边缘容器管理系统。该系统把云原生能力扩展到边缘侧,很好的实现了云端对边缘端的管理和控制。同时 superedge 自研了 service group 实现了基于边缘计算的服务访问控制,极大简化了应用从云端部署到边缘端的过程。 SuperEdge service g
腾讯云原生
2021-03-16
5540
ImageApparate(幻影)镜像加速服务让镜像分发效率提升 5-10 倍
李昂,腾讯高级开发工程师,主要关注容器存储和镜像存储相关领域,目前主要负责腾讯容器镜像服务和镜像存储加速系统的研发和设计工作。 李志宇,腾讯云后台开发工程师。负责腾讯云 TKE 集群节点和运行时相关的工作,包括 containerd、docker 等容器运行时组件的定制开发和问题排查。 洪志国,腾讯云架构师,负责 TKE 产品容器运行时,K8s,容器网络,mesh 数据面等基础组件研发。 背景 在业务普遍已经完成容器化的大环境下,不同的业务场景对于容器启动需求也是不同的,在离线计算和一些需要快速增加计算资
腾讯云原生
2021-02-25
1.2K0
容器服务 TKE 存储插件与云硬盘 CBS 最佳实践应用
蔡靖,腾讯高级后台开发工程师,拥有多年大规模 Kubernetes 集群开发运维经验。目前负责腾讯云TKE存储组件的功能特性实现,以及稳定性与性能的提升。 引言 随着自研上云的深入,越来越多的有状态服务对于在 TKE 集群中使用云上存储能力的需求也越来越强烈。 目前腾讯云容器服务 TKE (Tencent Kubernetes Engine)[1]已支持在 TKE 集群中的应用使用多种存储服务,包括云硬盘 CBS[2]、文件存储 CFS[3]以及对象存储 COS[4]。TKE 通过两种存储插件(In-Tr
腾讯云原生
2020-12-17
1.9K0
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档