在之前文章中我们介绍了基于iptable方式实现的k8s集群中cluster ip类型和node port类型service的负载均衡。其本质上是当网络数据包从pod的network namespace中通过linux veth pair设备进入到host宿主中的network namespace时,经过iptable一系列的NAT转换,把service的cluster ip和端口DNAT成pod的ip和端口。同时leverage linux iptable的random模块,实现了对pod的负载均衡,然后再交由host对目标pod的路由策略来实现将数据包发往pod。当然,这一切都是在linux内核空间实现的,和应用程序的用户空间没有关系。在这里我们主要介绍基于ipvs的cluster ip类型service的实现原理。如果对于ipvs不熟悉的同学可以浏览一下网站http://www.linuxvirtualserver.org/,大名鼎鼎的LVS负载均衡就是基于ipvs来实现的。
也许大家会觉得奇怪:为什么Linux kernel把对ARM big·Lttile的支持放到了cpufreq的框架中?
在上一篇文章里我们主要介绍docker的安装,这里我们主要介绍安装etcd集群安装。这里我们采用下载二进制binary制作linux systemd的方式安装,安装完成之后开启开启双向ssl验证。另外etcd集群的安装方式主要有3种,静态的集群安装(就是预先知道有集群中多少台etcd,在每一台etcd里都配置指向其它的etcd来形成集群)。基于已经存在的etcd利用服务发现机制安装。基于dns的服务发现机制安装。这里我们以学习为目的采用第一种方式安装,当然对于应用环境还是基于服务发现的机制比较好(这里我们机器有限,就不自己搭建一个bind dns服务来做服务发现安装了)。
ElasticSearch是一款开源搜索引擎,广泛应用于全文搜索、日志分析、数据可视化等领域。本文将介绍如何在Linux系统上安装ElasticSearch。
etcd 是云原生架构中重要的基础组件,由 CNCF 孵化托管。etcd 在微服务和 Kubernates 集群中不仅可以作为服务注册与发现,还可以作为 key-value 存储的中间件。
来源:http://www.linuxidc.com/Linux/2015-02/114243.htm
1. 简介 InnoDB Cluster 的搭建可以分为两种情况: (1)实验环境 使用 sandbox 沙箱模拟数据库实例,这个非常简单,可以参考之前的一篇文章《体验 MySQL InnoDB Cluster》,也可以看 mysql 的官方文档,其中就是使用 sandbox 来介绍搭建过程的 (2)真实多服务器节点环境 真实环境下的搭建要更复杂一些,过程中我也遇到了一些问题,这方面的资料还很少,花费了不少时间才搭建成功 下面总结了多节点 InnoDB Cluster 搭建的详细过程,供有需要的朋友参考 2
TiDB 是平凯星辰 PingCAP 公司自主设计、研发的开源分布式关系型数据库,是一款同时支持在线事务处理与在线分析处理 (Hybrid Transactional and Analytical Processing, HTAP) 的融合型分布式数据库产品,具备水平扩容或者缩容、金融级高可用、实时 HTAP、云原生的分布式数据库、兼容 MySQL 协议和 MySQL 生态等重要特性。
随着 Kubernetes 越来越流行,不管大公司还是小公司都往 Kubernetes 迁移,每个公司最少有两套集群(测试和生产),但是多个集群就有多个 Kubeconfig 用户授权文件。虽然官方文档中有介绍多个 Kubeconfig 文件合并成一个 Kubeconfig,但是对于一些新手来说,看得不是很明白。
在之前我们团队发布了TiDB基于X86和ARM混合部署架构的文章:TiDB 5.0 异步事务特性体验——基于X86和ARM混合部署架构,最近有朋友问到离线模式下如何对混合部署的TiDB集群进行升级,因此用本文来做一个梳理总结。
目前我们使用版本为kafka_2.9.2-0.8.1(scala-2.9.2为kafka官方推荐版本,此外还有2.8.2和2.10.2可以选择)
本次系列使用的所需部署包版本都使用的目前最新的或最新稳定版,安装包地址请到公众号内回复【K8s实战】获取
在前面的几篇文章里我们介绍了基于iptables和ipvs模式下cluster ip类型的service和node port类型的service实现原理,这里我们做一下回顾总结和对比,相关文章可以参考如下:
原创内容,转载请注明出处 博主地址:https://aronligithub.github.io/ 前言 在经过上一篇章关于etcd相关技术概述的铺垫,这个篇章就是介绍以及演示单台etcd部署以
本文档介绍创建 kubeconfig 文件 下载 kubectl $ wget https://dl.k8s.io/v1.6.0/kubernetes-client-linux-amd64.tar.gz $ tar -xzvf kubernetes-client-linux-amd64.tar.gz $ cp kubernetes/client/bin/kube* /usr/bin/ $ chmod a+x /usr/bin/kube* 创建 kubectl kubeconfig 文件 # export K
适用场景:利用本地 Mac 或者单机 Linux 环境快速部署 TiDB 集群。可以体验 TiDB 集群的基本架构,以及 TiDB、TiKV、PD、监控等基础组件的运行。
接着上篇文章继续讲解,前面一个linux服务器已经有了8001和8004节点,现在继续新增两个linux服务器,并且分别加上两个节点。
Redis 借鉴了 Linux 操作系统对于版本号的命名规则:版本号第二位如果是奇数,则为非稳定版本(例如2.7、2.9、3.1),如果是偶数,则为稳定版本(例如2.6、2.8、3.0、3.2)。当前奇数版本就是下一个稳定版本的开发版本,例如 2.9 版本是 3.0 版本的开发版本。所以我们在生产环境通常选取偶数版本的 Redis,如果对于某些新的特性想提前了解和使用,可以选择最新的奇数版本。
4c8g;centos7.9;防火墙放行 30000~32767;指定hostname
Etcd是coreos开发的分布式服务系统,内部采用raft协议作为一致性算法。作为一个高可用的配置共享、服务发现的键值存储系统,Etcd有以下的特点:
Linux非常有意思,它的KISS原则,本意是好的,但是增加了使用者的记忆负担。不像是python,一个os.dir可以看到所有的函数。
HACMP,全称为IBM High Availablity Cluster Multiprocessing。
要想搭建一个最简单的Redis集群,那么至少需要6个节点:3个Master和3个Slave。为什么需要3个Master呢?如果你了解过Hadoop/Storm/Zookeeper这些的话,你就会明白一般分布式要求基数个节点,这样便于选举(少数服从多数的原则)。
本文档记录自己的学习历程! 创建高可用 etcd 集群 kuberntes 系统使用 etcd 存储所有数据,本文档介绍部署一个三节点高可用 etcd 集群的步骤,这三个节点使用以下机器: 192.168.1.121 192.168.1.122 192.168.1.123 TLS 认证文件 需要为 etcd 集群创建加密通信的 TLS 证书,这里复用之前创建的 kubernetes 证书 # cp ca.pem kubernetes-key.pem kubernetes.pem /etc/kubernete
最近,在线上遇到了一个TiDB版本升级的需求,之前一直没有遇到过,参照官方文档,对已有的几套集群做了下升级,也总结了一些自己的经验,这里分享出来。
Coreos 安装及配置 本文由Vikings(http://www.cnblogs.com/vikings-blog/) 原创,转载请标明.谢谢! 目前国内使用coreos的场景还不多,搜索coreos中文资料基本都大同小异。最近几日再和其它攻城狮讨论问题时,有人提出希望看到一篇介绍coreos和安装方面的文章,正好本人最近也在研究coreos,也就共享一些经验。权当抛砖引玉。 首先咱们明确一下coreos是用来做什么的。coreos也是一款os,但它是一款面向云的轻量级OS。coreos是以lin
需要加入KubeFATE开源项目讨论群的同学,请关注本公众号后回复 “kubefate” 即可。
redis是一个开源的key-value数据库。主要用来做数据缓存,本篇文章介绍redis的单机搭建,进而到redis的集群搭建,刚接触的可以先搭建单机版的,再搭建集群版的。
只有一台机器,又想玩一下 istio 怎么办呢?本文将介绍如何使用 minikube 来安装 istio。
上面的架构图并没有具体说明SLB是什么,实际上上面的架构图翻译成下面这种看起来是不是很熟悉。
单机的elasticsearch做数据存储,必然面临两个问题:海量数据存储问题、单点故障问题。
安装cfssl 此工具生成证书非常方便, pem证书与crt证书,编码一致可直接使用
刘晨,腾讯云高级后台开发工程师,TKEStack 社区核心成员,负责 TKEStack 的设计开发维护及混合云项目相关工作。 胡晓亮,腾讯云专家工程师,专注云原生领域。目前负责开源社区TKEStack和腾讯云原生分布式云产品的设计和开发工作。 前言 TKEStack 提供了多集群管理能力,其中导入集群功能通过推送模式由 TKEStack 管控集群(global cluster)直连第三方集群的 api-server 进而统一纳管部署在 IDC,公有云或边缘的第三方集群。 但在实际生产环境中, 管控集群和第
更多关于kubernetes的深入文章,请看我csdn或者oschina的博客主页。 介绍 kubeadm一共提供了5个子命令: kubeadm init kubeadm join kubeadm token kubeadm reset kubeadm version 这个可以在k8s v1.5.0 代码中cmd/kubeadm/app/cmd/cmd.go:29看到: func NewKubeadmCommand(f cmdutil.Factory, in io.Reader, out, err io.W
K8S 如火如荼的发展着,越来越多人想学习和了解 K8S,但是由于 K8S 的入门曲线较高很多人望而却步。 然而随着 K8S 生态的蓬勃发展,社区也呈现了越来越多的部署方案,对于生产环境就有好几种部署方案,对于测试、学习环境也同样衍生出了好几种方式。
栗子:hdfs getconf -confKey fs.defaultFS 查看 hdfs 的 uri 地址。
阅读本文前,建议先阅读下这两篇文章:《NAND Flash基础知识简介》、《Flash写入性能下降问题》。
在《研发工程师玩转Kubernetes——使用污点(taint)驱逐Pod》、《研发工程师玩转Kubernetes——使用Node特性定向调度Pod》和《研发工程师玩转Kubernetes——Node亲和性requiredDuringSchedulingIgnoredDuringExecution几种边界实验》中,我们介绍了Node的亲和性。后面几节我们将介绍Pod的亲和性和反亲和性。 Pod的亲和性和反亲和性通过Pod的标签来识别,而不是通过Node的标签。比如标题中“利用Pod反亲和性控制一个Node上只能有一个Pod”可以翻译成:只能将Pod调度到不存在该Pod标签的Node上。
下面是集群正常启动过程示例: 注: 各节点先依次启动cman再依次启动rgmanager,注意启动顺序。
etcd是一个高可用的分布式键值存储系统,被广泛应用于容器化、云原生等场景中,作为Kubernetes的数据存储后端,负责存储Kubernetes的各种资源对象。本文将介绍etcd集群的原理和部署文档。
Oracle可以说是一款最"开放"的商业数据库,就是因为他提供了很全面的文档体系,能公开的文档,都可以从官网上找到,而且检索便捷。
Elasticsearch是一个基于Lucene构建的开源搜索引擎,简称ES。它是使用Java语言开发的,并提供了简单易用的RestFul API,是一种流行的企业级搜索引擎。
因项目需要,要引入redis做缓存,就在centos7下亲自安装了一遍redis,刚好趁着这个机会就来把redis的概念以及单机版和集群版redis安装步骤记录下来,在此和大家一起分享。
前言:今天下载了Node.js最新版代码,并为Node.js的TCP模块增加了SO_RESUEPORT的能力,本文介绍一下具体的实现,关于SO_RESUEPORT的知识可以参考之前的文章或者网上文章。
最近需要研究Ceph,也部署了一下环境,本文分为1,2,3,4章为概念介绍,第5章为实践环节。
作为一款开源产品,MySQL拥有全面的知识文档,这是目前其他开源产品与其无法相比的一点。
要学习使用Ceph,首先需要有一个Ceph集群,本文通过ceph-deploy一个自动化部署Ceph的工具部署一个Ceph集群,掌握Ceph集群部署的方法。
领取专属 10元无门槛券
手把手带您无忧上云