你能保守秘密吗?希望如此,因为在这个博客中,我揭示了 Kubernetes 秘密的秘密。首先,我将深入研究 Kubernetes 的秘密机制,然后转向如何保护它们。
现在安装 Kubernetes 集群已经变得越来越简单了,出现了很多方案,各种方案都有自己适合的使用场景。虽然我们也可以很快速在云环境下面启动一个 Kubernetes 集群,但是对于开发人员通常更喜欢能够快速上手的东西,Kubernetes in Docker(KinD)这个工具就可以通过创建容器来作为 Kubernetes 的节点,只需要在机器上安装 Docker 就可以使用,它允许我们在很短的时间内就启动一个多节点的集群,而不依赖任何其他工具或云服务商,这就使得它不仅对本地开发非常有用,而且对 CI/CD 也很有帮助。
Kubernetes 提供了 Secret 对象用于承载少量的机密/敏感数据,在实际使用中,有几种常规或者非常规的方式能够获取到 Secret 的内容:
在Kubernetes中,使用Helm安装Zookeeper集群是一个非常方便的过程。Zookeeper是一个分布式的协调服务,用于协调集群中的应用程序。
如果你经常使用 Kubernetes,那么应该对 Helm 和 Kustomize 不陌生,这两个工具都是用来管理 Kubernetes 资源清单的,但是二者有着不同的工作方式。
为了一次性能够部署多套Kubernetes对象,我们使用Helm并把所有的charts都存放在单独的Git仓库里。为了能够部署一套完整的多个服务构成的应用栈,我们使用了叫作Umbrella的chart。它支持声明依赖并且允许我们使用一条命令行来启动我们的API和对应的服务。
Cluster API[1] 是一个 Kubernetes 子项目,它将声明式、Kubernetes 风格的 API 引入到集群的创建、配置和管理中。Cluster API 支持在 AWS, Azure, GCP, vSphere, KubeVirt 等多种环境中创建和管理 Kuberenetes 集群,并负责提供部署集群所需的基础设施(例如 VPC, 虚拟机, 负载均衡等等)。此外 Cluster API 也支持在本地以 Kind(Kubernetes in Docker) 的方式快速创建用于测试的集群。
Helm是Kubernetes的一个包管理器,它可以用于安装和管理Kubernetes应用程序。在安装Nginx Ingress Controller之前,我们需要先安装Helm。
本文从实践角度介绍如何结合我们常用的 Gitlab 与 Jenkins,通过 K8s 来实现项目的自动化部署,示例将包括基于 SpringBoot 的服务端项目与基于 Vue.js 的 Web 项目。
K8S上的应用对象,都是由特定的资源描述组成,包括deployment、service等。都保存各自文件中或者集中写到一个配置文件。然后kubectl apply –f 部署。
在本文中,您将学习如何创建 Helm chart 并将其发布到公共存储库中。我们将为基于 Spring Boot REST 的应用程序准备一个 Helm Chart 作为练习。目标是拥有一个完全自动化的过程来构建、测试和发布它。为此,我们将在 CircleCI 中定义一个管道。此 CI/CD 管道将在公共Artifact Hub[1]中发布 Helm Chart。
Helm是Kubernetes的最受欢迎的软件包管理工具。它允许DevOps团队对Kubernetes应用程序进行版本控制,分发和管理。尽管可以使用标准的kubectl命令和Kubernetes清单YAML文件,但是当组织从事微服务体系结构时-数百个容器相互交互-这就需要对Kubernetes清单进行版本化和管理。
在微服务场景中,使用同一模式开发的应用会变的很多,我们会使用相同的 docker 基础镜像进行应用打包。但对于部署场景,我们需要写很多类似的 yaml 文件,由此,我们希望将不同之处使用变量抽取出来,并与通用模板进行整合。
Question❓ 众所周知k8s是一个优秀的支持云原生应用的平台,其中拥有非常多的资源类型pod、deployment、service、ingress、namespace等等。并且k8s的部署方式是声明式的,这就造成了我们在使用k8s部署服务的时候就要去指定资源的规格了(spec)比如资源名称,期望的副本数,文件挂载等等,定义的这些规格、元信息等就要被写进部署文件里(通常是yml格式),这么多的资源类型加上这么多的规格约定,就导致了我们在部署k8s服务的时候就有可能经常涉及繁杂的yml文件(有时候既费体力
手动在Jenkins Server上面创建一个Jenkins Agent节点,选择JNLP 类型。然后获取Jenkins Agent与Master连接所需要的JENKINS_AGENT_NAME 和JENKINS_AGENT_SECRET信息。
GitOps 是使用 Git 作为基础设施和应用程序配置的来源,利用 Git 工作流,实现 Git 仓库中描述配置的自动化。我们知道基础设施配置和应用程序配置经常都需要访问某种敏感资产,也就是我们通常说的 Secrets(比如身份认证 Token、私钥等),才能正确运行、访问数据或以其他方式与第三方系统以安全的方式进行通信。但是如果直接在 Git 中存储 Secrets 数据显然是非常不安全的行为,我们也不应该这样做,即使是有访问权限控制的私有 Git 仓库。
部署 Kerberos 认证的 HDFS 本来就是一件比较麻烦的事,那么如果遇到 K8S 呢?也就是需要把 HDFS 部署到 K8S 集群上,并且带有 Kerberos 认证的呢,那恐怕就既要懂的 Hadoop 安全集群的搭建又要一点 K8S 的实践基础。
我们希望借助本文,让读者了解到如何在 Kubernetes 中使用可信镜像,其中依赖两个著名的 CNCF 开源项目:Notary 和 OPA。主要思路是使用 OPA 策略来定义自己的内容限制策略。
前面分别写到了 JenkinsPipeline语法概要 和 Dockerfile语法概要,最近又重新拾起了Helm Chart,刚好回忆一下其语法 ~
此时的应用还不能外部访问: 指非集群结点,不能访问该应用,同一个 pod 共享网络与存储空间、因此 pod 内部访问其他的容器,ip 地址是 127.0.0.1
helm3移除了tiller这个组件,默认通过~/.kube/config与集群进行交互,也就是说使用了与kubctl相同的上下文访问权限,若不在默认位置可通过–kubeconfig参数进行指定,按照官方安装文档安装即可直接使用
Argo CD 是一个用于部署和管理 Kubernetes 应用程序的开源工具。本文将介绍如何使用 Argo CD 部署和管理 Helm Charts、Helmfiles 以及来自 Git 仓库的 Helm Charts。
● kubernetes上的应用对象,都是由特定的资源描述组成,包括Deployment、Service等,都保存在各自文件中或者集中写在一个配置文件,然后通过kubectl apply -f 部署。如果应用只由一个或几个这样的服务组成,上面的部署方式就足够了。但是对于一个复杂的应用,会有很多类似上面的资源描述文件,例如微服务架构应用,组成应用的服务可能多达几十、上百个,如果有更新或回滚应用的需求,可能要修改和维护所涉及到大量的资源文件,而这种组织和管理应用的方式就显得力不从心了。并且由于缺少对发布过的应用进行版本管理和控制,使得kubernetes上的应用维护和更新面临诸多的挑战,主要面临以下的问题:
客座文章最初由Eficode Praqma云基础设施和DevOps顾问Michael Vittrup Larsen在Eficode Praqma上发表。
Vault 是用于处理和加密整个基础架构秘钥的中心管理服务。Vault 通过 secret 引擎管理所有的秘钥,Vault 有一套 secret 引擎可以使用。
除了Deployment,k8s还有 StatefulSet 、DaemonSet 、Job 等 类型资源。我们都称为 工作负载。
MinIO是一个开源的对象存储服务器,可运行在本地、数据中心或公共云环境中。MinIO提供了AWS S3兼容的API,使得应用程序可以轻松地与MinIO进行集成。而MinIO Operator是一个Kubernetes Operator,它可以在Kubernetes集群中自动化部署和管理MinIO实例。
Harbor 是由 VMware 开源的一款云原生制品仓库,Harbor 的核心功能是存储和管理 Artifact。Harbor 允许用户用命令行工具对容器镜像及其他 Artifact 进行推送和拉取,并提供了图形管理界面帮助用户查看和管理这些 Artifact。在 Harbor 2.0 版本中,除容器镜像外,Harbor 对符合 OCI 规范的 Helm Chart、CNAB、OPA Bundle 等都提供了更多的支持。
我们利用 Kubernetes 来动态运行 Jenkins 的 Slave 节点,可以和好的来解决传统的 Jenkins Slave 浪费大量资源的缺点。之前的示例中我们是将项目放置在 Github 仓库上的,将 Docker 镜像推送到了 Docker Hub,这节课我们来结合我们前面学习的知识点来综合运用下,使用 Jenkins、Gitlab、Harbor、Helm、Kubernetes 来实现一个完整的持续集成和持续部署的流水线作业。
大家好,我是小碗汤,今天分享一篇搭建一个高可用镜像仓库的教程。详细中夹杂着简单~。篇幅较长,兄弟们不妨耐心看完~
第一点就是,既然有了 Kustomize,使用碎片来拼接复杂的 YAML 就很方便了,设想以下情况:
之前用 4 台机器安装了一个 1 master(及 etcd) 3 node 的 K3S 集群,并在其上使用 Helm 安装了 Rancher 2.6.3 版本。
让我们在 Kubernetes 上创建一个CI/CD(持续集成和持续部署)解决方案,使用 Jenkins 作为构建工具,并使用 Traefik 作为用于灵活应用程序部署和路由的入口。
前面我写了关于k8s环境部署的几篇文章,k8s部署还是比较麻烦的,所以是有必要考虑一键部署的方案,这里借助ansible playbook来实现k8s环境的一键部署,实现快速部署的目的。关于k8s传统部署详细过程可以参考以下文章:
由于工作原因,已经断更了很长时间,进来有几篇也都是零零散散不成体系。趁着节前的这点时间,有了一点空隙,捡起来这个停更几个月的系列。
在这篇文章中,我们将探讨如何使用Elasticsearch作为向量数据库,结合RAG技术(检索增强生成)来实现问答体验。我们会使用LlamaIndex和一个本地运行的Mistral LLM模型。
本文是旧文更新,由于 cert-manager-webhook-dnspod 之前的作者很久没有继续维护,chart 包已不兼容最新的 cert-manager ,所以博主决定自己开发一个,支持最新版 cert-manager,且接入腾讯云API密钥 (DNSPod 被腾讯收购,官方推荐用腾讯云标准的云 API 密钥方式,而不用 apiID 和 apiToken)。本文内容中使用的 cert-manager-webhook-dnspod 也替换成了新开发的版本,开源地址: https://github.com/imroc/cert-manager-webhook-dnspod
Helm 的使用是比较简单的,但是要让我们自己开发一个 Chart 包还是有不小难度的,主要还是 go template 的语法规则不够人性化,这里我们用一个完整的实例来演示下如何开发一个 Helm Chart 包。
* drone-runner启动参数很多,下面解释下: + DRONE_RPC_PROTO: 用于连接 Drone 服务器的协议 + DRONE_RPC_HOST: 提供 Drone 服务器的主机名 + DRONE_RPC_SECRET: 用于向 Drone 服务器进行身份验证的共享密钥 + DRONE_RUNNER_CAPACITY: 限制运行器可以执行的并发管道的数量 + DRONE_RUNNER_NAME: 设置runner的名字
链接|https://itnext.io/ai-and-kubernetes-open-source-tools-powered-by-ai-for-kubernetes-59d0fc29213e
构建一个复杂应用系统的监控和告警系统,涉及到从前端、各类后端语言的 API、网关、消息队列(MQ)、缓存(Cache)以及数据库(DB)等多个组件。自动绘制应用系统的组件拓扑图并关联对应组件的状态是一个复杂的过程,通常需要以下几个步骤:
Helm 是 Kubernetes 的包管理器,Helm 由客户端组件 helm 和服务端组件 Tiller 组成, 能够将一组K8S资源打包统一管理。
将机器学习(ML)模型部署到生产环境中的一个常见模式是将这些模型作为 RESTful API 微服务公开,这些微服务从 Docker 容器中托管,例如使用 SciKit Learn 或 Keras 包训练的 ML 模型,这些模型可以提供对新数据的预测。然后,可以将它们部署到云环境中,以处理维护连续可用性所需的所有事情,例如容错、自动缩放、负载平衡和滚动服务更新。
K3s 是 Rancher 发布的经过完全认证的 Kubernetes 发行版。K3s 易于使用且更轻量,全部组件都打包在了一个二进制文件里。并且这个二进制文件小于 100 MB。
1. 方便客户端维护– 每个请求方不用管理多个api url,统一访问api-gateway即可
随着 Kubernetes 1.14 的发布,大家发现原来只是 Kube 兴趣小组的 Yaml 管理工具 kustomize 被集成到 kubectl 中,从此大家可以利用 kubectl apply-k 将指定目录的 kustomization.yaml 应用到集群中。
本指南将引导您在 Kubernetes 集群上设置渐进式交付 GitOps 管道。
它本质上就是一个Go的template模板。Helm在Go template模板的基础上,还会增加很多东西。如一些自定义的元数据信息、扩展的库以及一些类似于编程形式的工作流,例如条件语句、管道等等。这些东西都会使得我们的模板变得更加丰富。
领取专属 10元无门槛券
手把手带您无忧上云