晏子怡，腾讯云容器产品经理，在Kubernetes 弹性伸缩、资源高效利用领域有丰富的实战经验。 背景 公有云的发展为业务的稳定性、可拓展性、便利性带来了极大帮助。...这种用租代替买、并且提供完善的技术支持和保障的服务，理应为业务带来降本增效的效果。...对于计算密集型业务和内存密集型业务，可以使用亲和性调度，为业务分配更合适的节点，有效提升资源利用率。具体方式可参考后文中的在离线混部和亲和性调度。...因为集群整体资源的使用量直接决定了账单费用，这种集群级别的弹性扩缩将真正节省使用成本。...同理，还可以在集群中管理异构节点（比如 GPU 机器），在需要 GPU 资源的工作负载中指定需要GPU资源的量，调度机制则会帮助你寻找合适的节点去运行这些工作负载。
例如：原生 Kubernetes 的调度需要根据容器对资源的请求（Request），一个容器到底需要多少资源量？集群整体的资源量该设置成多少？节点数多少才合适？ 如何达到真正的智能扩缩？...如何查看容器的成本状况？目前集群本身可以查看资源使用量、利用率情况，但这些资源对应的账单具体是多少？...然而此时集群的资源使用率可能是非常低的，此时更合适的操作是 VPA。...ProphetPilot 会统一进行数据计算，准确推荐出容器的资源消耗，并给出合适的资源配置建议；让容器的 Request 逼近 Usage，从而让调度器按照 Usage 调度资源。...总之，在资源层面，ProphetPilot 会分析用户集群的节点规格分布，资源使用效率，最终推荐客户最合适的计费模式、节点规格配置。
而公有云环境完美满足这些需求，因为企业可以在公有云中快速的获得和更改他们的评估环境，通过有限的使用成本在Poc周期内使用它们，更不用说可以避免买错硬件的问题了。...随着时间的推移，企业可能会同时拥有on cloud和on-premise的集群，以便找到最适合业务和技术需求的合适的功能集，从而企业数据中心将会跨这两个环境。...[fa9umx9bhr.jpeg] 对于偶尔执行的批处理作业，弹性云环境可能比专用的长时间运行的集群更加划算。...Cloudera将继续成为下一代企业数据管理和分析的行业标准，无论数据和工作负载在哪里。...它为中央IT提供单一的玻璃管理经验，以降低成本和提供敏捷性，并为最终用户提供自助服务和弹性扩展集群，同时确保可审计性。
而云服务器是在一组集群服务器上虚拟出多个类似独立服务器的部分，集群中每个服务器上都有云服务器的一个镜像，从而大大提高了虚拟服务器的安全稳定性，除非所有的集群内服务器全部出现问题，云服务器才会无法访问。...3云服务器架构与传统服务器相比优势在哪里？ 高度的灵活性： 服务器的硬件配置可以根据需要（不同时期的网络配置）灵活配置与扩展，如CPU、内存、SSD数据盘。...低成本： 支持月付、年付，灵活计费方式，无需押金，按需弹性扩容，只需为使用的存储能力、计算能力与资源支付费用，需要多大就买多大，不会造成资源的浪费。...价格： 在选择云主机时，必须根据价格，从硬件配置、定价模式、定价策略、宽带价格、硬件配置、价格等与云主机双线云主机的性能和价格指数进行评估和考虑，切记不要太片面一味看价格或看配置，这样才能买到合适的云主机...可以根据网站的规模选择合适的配置，一般应用选择1G内存，超过50g的硬盘配置是足够的。如果对云服务器租用配置要求较高，你可以选择4G内存。
Kubernetes 特点： 轻量级：消耗资源小 开源，来自Google 内部15年工程经验 弹性伸缩 负载均衡：IPVS Kubernetes涵盖的内容 Pod 控制器：各种控制器的特点以及使用定义方式...服务发现： SVC 原理及其构建方式 存储：多种存储类型的特点 并且能够在不同环境中选择合适的存储方案 调度器：调度器原理 能够根据要求把Pod 定义到想要的节点运行 安全：集群的认证 鉴权...APACHE 服务组件 APISERVER： 所有服务访问统一入口 CrontrollerManage：维持副本期望数目 Scheduler： 负责介绍任务，选择合适的节点进行分配任务...ETCD：键值对数据库 储存K8S集群所有重要信息（持久化） Kubelet：直接跟容器引擎交互实现容器的生命周期管理 Kube-proxy：负责写入规则至 IPTABLES、IPVS实现服务映射访问的...INGRESS可以实现七层代理 FEDERATION：提供一个可以跨集群中心多K8S统一管理功能 PROMETHEUS：提供K8S集群的监控能力 ELK：提供 K8S集群日志统一分析介入平台
阿基米德可以管理任意规模的应用，进行弹性扩展，从若干节点到数万节点，自由切换。阿基米德可以为整个集群轻松实现弹性扩展，轻松应对业务的爆发式增长。 ?...应用开发者不需要关心自己的应用部署在哪里，阿基米德会结合应用的资源申请请求和历史资源使用情况，通过机器学习技术对应用进行画像和分类，从多个资源维度和时间维度对应用的资源使用情况进行描述和预测，智能化的对应用进行动态部署和调度...阿基米德数据中心操作系统可以在同一个容器云集群上部署离线计算与分析、定时批量处理和实时流式计算等不同类型的大数据应用，可以在集群中混合部署Hadoop、Spark、Kafka、Hbase、Storm 、...每日调度百万台容器实例运转，每日为离线计算提供多达3000万核小时的计算资源，服务履约率达到98.3%。在保证业务的正常运行下，集群的平均资源利用率提升3倍。...作为集团众多业务的底层标准容器服务提供者，阿基米德通过做出更好的容器分配、组合决策为上层应用提供高质量SLA保障的同时，使集群整体的资源利用率达到最优，显著降低IT成本。 彻底惊呆了！
它简化了应用程序的部署和管理过程，并提供了高可用性、弹性扩展和自我修复等功能，使得容器化应用程序在生产环境中更加可靠和高效。...Scheduler（调度器）： Scheduler是Kubernetes集群中的另一个控制平面组件，负责将Pod调度到合适的节点上执行。...Controller Manager负责监控和管理集群中各种资源对象，Scheduler负责将Pod调度到合适的节点上，而Kubelet负责管理节点上的容器和Pod。...它会定期与Master节点同步，确保节点上运行的Pod与集群状态一致。 容器生命周期管理：Kubelet监控容器的运行状态，包括容器的创建、启动、停止和重启等。...弹性扩缩： 自动扩缩容：根据系统负载情况和预设规则，自动进行节点或容器实例的扩缩容。这可以根据需求动态调整资源规模，提高系统的弹性和可伸缩性。
但缺点也非常明显：海量的节点维护工作：众多测试集群、生产集群大量节点的日常维护节点 OS、内核、容器运行时的维护节点 K8s 组件的维护和升级为提升集群资源利用率进行复杂的节点扩缩容工作难以避免的容器隔离性问题...在包年包月超级节点、按量计费超级节点与普通节点共用的场景下，调度器会智能优先调度到最合适的资源上，帮助最大化实现资源的有效利用。...企业只需要计算固定和弹性资源的总使用量，购买合适的包年包月固定资源并配合弹性资源进行使用。预付费的包年包月计费也更适合企业财务部门的资源预算模式。...按量计费模式下，可弹性使用节点资源，使用后按节点内实际使用的 CPU 内存按量计费。按量计费模式适用于弹性算力场景，可通过添加按量计费的超级节点，在业务高峰时使用弹性资源，进一步降低集群的资源成本。...支持在公有云或 IDC 的标准 Kubernetes 集群、Serverless 集群中使用，可通过简单的开启方式，将固定和弹性算力调度到超级节点上，其调度模式完全兼容原集群的调度范式，可让原集群平滑进行
应用中间件性能分析和调优 应用中间件容器即我们常说的Weblogic, Tomcat等应用中间件容器或Web容器。应用中间件调优一个方面是本身的配置参数优化设置，一个方面就是JVM内存启动参数调优。...新内存模型已经替换为Metaspace) -XX:PermSize #设置最小永久代空间(注：新内存模型已经替换为Metaspace) -Xss #设置每个线程的堆栈大小 那么这些值究竟设置多大合适...第二个点也是我们经常谈的比较多的点，就是我们的业务系统在进行架构设计的时候，特别是面对非功能性需求，我们都会谈到系统本身的数据库，中间件都采用了集群技术，能够做到弹性水平扩展。...那么这种弹性水平扩展能力是否又真正解决了性能问题？ 实际上我们看到对于数据库往往很难真正做到无限的弹性水平扩展，即使对于Oracle RAC集群往往也是最多扩展到单点的2到3倍性能。...对于应用集群往往可以做到弹性水平扩展，当前技术也比较成熟。 当中间件能够做到完全弹性扩展的时候，实际上仍然可能存在性能问题，即随着我们系统的运行和业务数据量的不断积累增值。
应用中间件性能分析和调优 应用中间件容器即我们常说的Weblogic, Tomcat等应用中间件容器或Web容器。应用中间件调优一个方面是本身的配置参数优化设置，一个方面就是JVM内存启动参数调优。...设置最大永久代空间(注：新内存模型已经替换为Metaspace) -XX:PermSize设置最小永久代空间(注：新内存模型已经替换为Metaspace) -Xss设置每个线程的堆栈大小 那么这些值究竟设置多大合适...第二个点也是我们经常谈的比较多的点，就是我们的业务系统在进行架构设计的时候，特别是面对非功能性需求，我们都会谈到系统本身的数据库，中间件都采用了集群技术，能够做到弹性水平扩展。...那么这种弹性水平扩展能力是否又真正解决了性能问题？ 实际上我们看到对于数据库往往很难真正做到无限的弹性水平扩展，即使对于Oracle RAC集群往往也是最多扩展到单点的2到3倍性能。...对于应用集群往往可以做到弹性水平扩展，当前技术也比较成熟。 当中间件能够做到完全弹性扩展的时候，实际上仍然可能存在性能问题，即随着我们系统的运行和业务数据量的不断积累增值。
应用中间件性能分析和调优 应用中间件容器即我们常说的Weblogic, Tomcat等应用中间件容器或Web容器。...新内存模型已经替换为Metaspace) -XX:PermSize设置最小永久代空间(注：新内存模型已经替换为Metaspace) -Xss设置每个线程的堆栈大小 */ 那么这些值究竟设置多大合适...系统本身水平弹性扩展是否完全解决性能问题 第二个点也是我们经常谈的比较多的点，就是我们的业务系统在进行架构设计的时候，特别是面对非功能性需求，我们都会谈到系统本身的数据库，中间件都采用了集群技术，能够做到弹性水平扩展...那么这种弹性水平扩展能力是否又真正解决了性能问题？ 实际上我们看到对于数据库往往很难真正做到无限的弹性水平扩展，即使对于Oracle RAC集群往往也是最多扩展到单点的2到3倍性能。...对于应用集群往往可以做到弹性水平扩展，当前技术也比较成熟。 当中间件能够做到完全弹性扩展的时候，实际上仍然可能存在性能问题，即随着我们系统的运行和业务数据量的不断积累增值。
DLC采用存储和计算分离的架构，结合腾讯云对象存储COS和弹性容器服务EKS，打造了一个开箱即用、弹性扩展、按量付费的交互式分析服务。...使用开源版本的Presto，首先要仔细研究文档，然后选择合适的机型部署，并对Presto的各项参数进行配置调优，才能搭建起一套可以正常工作的集群，运行过程中遇到各种性能问题也得从头研究解决。...DLC计算资源调度完全基于腾讯云弹性容器服务EKS。...弹性容器服务是一种全托管的Kubernetes服务，通过腾讯云自研的轻量虚拟化技术保证更快的资源创建效率，结合DLC定制的镜像预热功能，可以在几秒内创建一个新的Presto集群，当集群空闲时也可以在几秒内删除集群...总结与展望 DLC 腾讯云数据湖计算DLC基于Presto和弹性容器服务EKS构建了敏捷高效的数据湖分析与计算服务。
随着业务的增⻓和突发的报表计算需求，为了解决为离线集群预留资源，腾讯云EMR团队和容器团队联合推出Hadoop Yarn on Kubernetes Pod，以提⾼容器资源使用率，降低资源成本，将闲时容器集群...弹性扩缩容主要聚焦于如何利⽤云原生资源，快速扩容资源以补充算力。离在线混合部署模式的目的是为了充分使用在线集群的空闲资源，尽可能减少为离线集群预留空闲资源的频次。...在线TKE集群中，当资源紧张时会对容器进行驱逐。为了避免Appliction重新计算，浪费资源的现象，必须提供AM可以指定能否分配到POD 类型资源。...同时开发资源统计模块动态统计分区可用资源，为App分配最合适的分区。 ?...基于Hadoop Yarn on Kubernetes Pod 方案，将离线任务自动扩容至云上集群，与TKE在线业务集群混合部署，充分利用云上波谷时段的闲置资源，提高离线业务的算力，并利用云上资源快速的弹性扩容能力
和images 容器给应用程序开发环境带来很大的便利，从根本上解决了容器的环境依赖，打包等问题，然而，Docker带来的容器打包的便利，同时也带来了以下的挑战： 容器如何调度，分发 多台机器如何协同工作...execution，批处理执行，通过job和cronjob提供单次批处理任务和循环计划任务功能的实现 Horizontal scaling,横向扩展功能，包含有HPA和AS，即应用的基于CPU利用率的弹性伸缩和基于平台级的弹性伸缩...1.3 kubernetes架构解析 image.png kubernetes包含两种角色：master节点和node节点，master节点是集群的控制管理节点，作为整个k8s集群的大脑。...负责集群所有接入请求(kube-apiserver)，在整个集群的入口； 集群资源调度(kube-controller-scheduler)，通过watch监视pod的创建，负责将pod调度到合适的node...LoadBalancer和Ingress)，存储管理(Volume，如云盘，NAS接入)，需要由公有云厂商实现具体的细节，kubernetes提供实现接口的接入，如腾讯云目前提供CVM的node管理，节点的弹性伸缩
随着业务的增⻓和突发的报表计算需求，为了解决为离线集群预留资源，腾讯云EMR团队和容器团队联合推出Hadoop Yarn on Kubernetes Pod，以提⾼容器资源使用率，降低资源成本，将闲时容器集群...弹性扩缩容主要聚焦于如何利⽤云原生资源，快速扩容资源以补充算力。离在线混合部署模式的目的是为了充分使用在线集群的空闲资源，尽可能减少为离线集群预留空闲资源的频次。...在线TKE集群中，当资源紧张时会对容器进行驱逐。为了避免Appliction重新计算，浪费资源的现象，必须提供AM可以指定能否分配到POD 类型资源。...同时开发资源统计模块动态统计分区可用资源，为App分配最合适的分区。...基于Hadoop Yarn on Kubernetes Pod 方案，将离线任务自动扩容至云上集群，与TKE在线业务集群混合部署，充分利用云上波谷时段的闲置资源，提高离线业务的算力，并利用云上资源快速的弹性扩容能力
随着业务的增⻓和突发的报表计算需求，为了解决为离线集群预留资源，腾讯云EMR团队和容器团队联合推出Hadoop Yarn on Kubernetes Pod，以提⾼容器资源使用率，降低资源成本，将闲时容器集群...弹性扩缩容主要聚焦于如何利⽤云原生资源，快速扩容资源以补充算力。离在线混合部署模式的目的是为了充分使用在线集群的空闲资源，尽可能减少为离线集群预留空闲资源的频次。...在线TKE集群中，当资源紧张时会对容器进行驱逐。为了避免Appliction重新计算，浪费资源的现象，必须提供AM可以指定能否分配到POD 类型资源。...同时开发资源统计模块动态统计分区可用资源，为App分配最合适的分区。...在线集群闲时CPU占用 离在线混部后CPU占用 五、总结 本文提出了基于YARN针对云原生容器化的优化与实践，在混合部署云原生环境中，极大地提高了任务运行的稳定性，高效性，有效提高了集群资源利用率，节约硬件成本
由于PolarDB Serverless理论上最大的计算能力是256核（8 * 32 PCU），ECS也要尽量买大一些规格的。...数据库代理区域，已经默认创建了主地址和集群地址，直接用集群地址就可以测试。因为 Serverless的只读节点是动态伸缩的，因此没有创建自定义地址的必要性。...这说明PolarDB Serverless触发弹性后，性能获得提升。 点击控制台左侧的性能监控标签，可以看到集群监控中展示了 Serverless监控指标项。...停止 sysbench 压测，稍等一段时间，再调整合适的时间范围，刷新监控。随着压力的停止，规格从5 PCU逐步阶梯式的降低回1 PCU。...参数调整完，确保内存资源已经被释放，才会真正调小容器的 Mem规格，当 Mem上限调小后，相当于分母变小，计算出来的内存使用率则会上升。
本文涉及Kubernetes集群管理技术的部分，相关的技术实践可参考此前发布的《美团点评Kubernetes集群管理实践》。 一、背景 HULK是美团的容器集群管理平台。...在这种背景下，我们希望打造一个容器集群管理平台来解决上述的痛点问题，于是HULK项目就应运而生了。...HULK平台包含容器以及弹性调度系统，容器可以统一运行环境、提升交付效率，而弹性调度可以提升业务的资源利用率。...其中： 容器弹性：可以让接入的业务按需使用容器实例。 服务画像：负责应用运行情况的搜集和统计，如CPU/IO使用、服务高峰期、上下游等信息，为弹性伸缩、调度系统提供支持。...而本文将重点阐述容器编排（调度系统）和容器弹性（弹性伸缩平台），以及团队遇到的一些问题以及对应的解决方案，希望对大家能有所启发。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
云直播
对象存储
