在之前的文章“利用群晖的File Station+SFTP实现第三方人员快速获取服务器应用日志”的基础上
最近由于一些原因,做服务器资源调整,其中一台服务器是做NFS服务,通过NFS挂载到其他几台服务器做共享,服务器内存从8G调整到了4G,其他不变
任何程序错误,以及技术疑问或需要解答的,请扫码添加作者VX::1755337994
在我们线上的生产环境中要备份的东西很多,各种服务日志、数据库数据、用户上传数据、代码等等。用 JuiceFS 来备份可以节省你大量时间,我们会围绕这个主题写一系列的教程,整理出一套最佳实践,方便大家。
最近这周都是查测试环境的问题,比如,我上一篇写的问题排查:问题排查:nginx的反向代理感觉失效了一样 ,就是说这个事的。在文章里,最终查到是nginx的全连接队列满了(每个监听端口有个队列,完成三次握手的请求会进入这个监听端口的全连接队列,队列大小是只有128,比较小),我当时的解决方式,是把队列大小调大到了512,然后重启nginx,果然功能正常了。
在正常进行索引快照备份的过程中,快照备份任务突然失败。查询仓库,发现仓库不可用,并返回以下异常日志信息。
那么基本可以断定是磁盘问题,而这个 Redis 是挂载 PVC 的,PVC 是 NFS,所以初步怀疑是 NFS 的问题。
在完成前面kubernetes数据持久化的学习之后,本节我们开始尝试在k8s集群中部署nginx应用,对于nginx来说,需要持久化的数据主要有两块:
3、客户表示这个集群大概有600+pod(分布在10余个节点当中),当天进行了批量重启
DAS 指 Direct Attached Storage,即直连附加存储,这种设备直接连接到计算机主板总线上,计算机将其识别为一个块设备,例如常见的硬盘,U 盘等,这种设备很难做到共享。
在前面一篇文章,我们介绍了分布式日志系统的相关背景。云原生以容器为基础的日志收集方式与传统的日志收集有什么异同。随后介绍了 ELKB 分布式日志系统。本文将会接着上一篇文章继续介绍如何基于 EFK 搭建云原生日志平台。
业务服务器免装插件,使用rsync+nxlog同步+采集应用日志并接入到GrayLog5.1
使用的HostPath的方式,今天看到一篇用NFS做存储,且更为详细的文章推荐给大家。
问题描述:docker push提示没有权限上传基础镜像至腾讯云Docker仓库。
“胖猴,某大型企业高级运维,马哥教育原创作者联盟成员,热爱分享Linux应用技术和原创知识,有30万字以上的原创内容。” 说明:本次文档是根据某厂的主机合规分析报告内容进行整改的,整改后评分达到90分,本次试验环境为Centos6.7。 一、账号管理 1.1密码锁定策略 pam_tally2和pam_faillock PAM 模块都可以允许系统管理员锁定在指定次数内登录尝试失败的用户账户。并在尝试指定次数是进行锁定,防止暴力破解。 检查方法: 查看/etc/pam.d/syst
-多年互联网运维工作经验,曾负责过大规模集群架构自动化运维管理工作。 -擅长Web集群架构与自动化运维,曾负责国内某大型金融公司运维工作。 -devops项目经理兼DBA。 -开发过一套自动化运维平台(功能如下): 1)整合了各个公有云API,自主创建云主机。 2)ELK自动化收集日志功能。 3)Saltstack自动化运维统一配置管理工具。 4)Git、Jenkins自动化代码上线及自动化测试平台。 5)堡垒机,连接Linux、Windows平台及日志审计。 6)SQL执行及审批流程。 7)慢查询日志分析web界面。
事故现象: 下午14.52分,企业微信出现如下所示zabbix报错,显示ERP访问失败
如图,以下是1个很简单的架构,也没有做缓冲和聚合,如果对日志的要求比较高,可以在中间加入redis或Kafka 等.
原来一直以为NFS服务只能用于局域网,后来看了一些资料,好像是可以在广域网访访问NFS服务,正好手头刚买了一台云服务器,所以就实践验证一下。
1、使用了非法端口,也就是使用了大于1024的端口。 这个错误,可以通过查看日志确认: [root@local~ /]# cat /var/log/messages | grep mount Jan 2 12:49:04 localhost mountd[1644]: refused mount request from 192.168.0.100 for /home/nfsshare/ (/home/nfsshare): illegal port 1689
持久卷(Persistent Volume)是Kubernetes中用于存储数据的抽象概念,可以在容器之间共享和重用。
NFS 是Network File System的缩写,即网络文件系统。一种使用于分散式文件系统的协定,由Sun公司开发,于1984年向外公布。功能是通过网络让不同的机器、不同的操作系统能够彼此分享个别的数据,让应用程序在客户端通过网络访问位于服务器磁盘中的数据,是在类Unix系统间实现磁盘文件共享的一种方法。
DRBD(distributed replicated block device分布式复制块设备)是一个基于软件实现的、无共享的、服务器之间镜像块设备内容的存储复制解决方案。DRBD是镜像块设备,是按数据位镜像成一样的数据块
基于主机安装或基于Kubernetes安装的 Rainbond 集群(均使用默认参数安装),默认使用的共享文件存储是 NFS ,以 Pod 方式运行在 Kubernetes 中,但这种方式也有一些无法避免的问题,比如:NFS 的 SVC 无法通信时集群无法挂载存储则导致不能使用、服务器关机时卡在 umount 导致不能正常关机等等。
在前面已经提到,容器的生命周期可能很短,会被频繁的创建和销毁。那么容器在销毁的时候,保存在容器中的数据也会被清除。这种结果对用户来说,在某些情况下是不乐意看到的。为了持久化保存容器中的数据,kubernetes引入了Volume的概念。 Volume是Pod中能够被多个容器访问的共享目录,它被定义在Pod上,然后被一个Pod里面的多个容器挂载到具体的文件目录下,kubernetes通过Volume实现同一个Pod中不同容器之间的数据共享以及数据的持久化存储。Volume的生命周期不和Pod中的单个容器的生命周期有关,当容器终止或者重启的时候,Volume中的数据也不会丢失。
第1章 NFS介绍 1.1 NFS服务内容的概述 □ RPC服务知识概念介绍说明,以及RPC服务存在价值(必须理解掌握) □ NFS服务工作原理讲解(必须理解掌握) □ NFS共享文件系统使用原理讲解
相对于samba来说,如果仅仅只是希望搭建一个linux之间进行文件共享的服务器,而不是所有异构的系统之间共享的话,nfs是一个不错的选择。但是客户端如果想要共享nfs服务器上的文件,则必须安装nfs-utils客户端才能共享成功。各有优劣,下面来讲nfs的搭建。
最近gitlab服务会偶发性500,当前机器部署了gitlab、nfs等服务,经过排查发现是nfsd引发oom,导致系统运行不畅。处理过程如下:
k8s 的进程到这里我们已经完成了 Namespace、Pod、PodController 几种资源的使用方式,已经过大半了哦~这篇文章我们就继续来了解一下在k8s 中怎么进行数据存储!
Network File System(NFS)是一种用于在网络上共享文件系统的分布式文件系统协议,最初由Sun Microsystems开发。它允许远程计算机通过网络透明地访问和操作共享的文件,就像这些文件是本地文件一样。以下是关于NFS的更详细信息:
问题出在pod挂载了nfs共享过来的目录,但没有写的权限。启动一个Jenkins docker查看Jenkins用户:
Linux支持多种文件系统类型,包括ext2、ext3、vfat、jffs、romfs和nfs等,为了对各类文件系统进行统一管理,Linux引入了虚拟文件系统VFS(Virtual File System),为各类文件系统提供一个统一的应用编程接口。
Live Migrate(动态迁移),是指在保证客户机上应用服务正常运行的同时,让客户机在不同的宿主机之间进行迁移,分为无共享存储的Block Migration(块迁移)方式和有共享存储两种方式,本文为有共享存储迁移方式。
Docker是无状态的不管被销毁多少次都会恢复到最初的状态,但是这就意味着在程序过程中产生的配置也好文件也好会丢失,对于Docker我们经常会使用磁盘挂载的方式来保存一些重要的内容,比如运行在Docker下的数据库的源数据,比如程序的日志文件等,在K8S中也提供同样的配置方式
完成了spark on k8s的部署和测试,现在需要一个能够查看spark任务执行情况的ui,原先采用yarn资源管理器ui链接到spark-web-ui,由于yarn集群下的机器ip固定,可以通过配置本地代理的方式访问它,现在去掉了yarn,自己需要搭建一个能够查看所有spark任务执行情况的页面。直接使用spark-web-ui不方便管理且部署的driver机器在线上且ip不固定,无法通过配置代理和服务名方式打通。
CloudStack是一个功能强大、UI友好的开源云(IaaS)计算解决方案。自Ctrix将CloudStack捐献给 apache 后,一直持续高速发展,其社区活跃度已经渐渐赶上风头一时无两的另一开源云OpenStack平台。 CloudStack拥有所有开源云平台中最为友善的管理界面,而且其天生的多语种支持会使中文用户感觉很爽。 今天我们来详细介绍一下CloudStack最新版本 4.1.0 在 CentOS 6.4 下的安装部署的步骤。鉴于网上文章一大抄,很多内容都是装来装去一大堆东西,看官们一会就晕了,根本不了解为什么装这些程序,装来是干什么的。这回呢,我会把每一步说明尽可能详细一些,外加我的经验和理解(不少心得是重装了10次以上后得出的),希望能让后来者可以少走些弯路。 CloudStack可分为管理节点安装和受控节点安装。 管理节点安装无特殊要求,完全可以安装到虚拟机环境下。 受控节点因要创建虚拟机,故需要硬件虚拟化支持,推荐使用独立主机安装。CloudStack支持多种虚拟化方案,包括:KVM、Xen、XenServer、VMware。因XenServer、VMware已包含有强大的虚拟机管理功能,CloudStack可以直接与其通信调用其管理接口,因此这两种受控机环境下,无需安装任何软件。但KVM、Xen的受控机必须安装 CloudStack-Agent 之后,才能被CloudStack管理。 本篇我们主要来讲解管理节点搭建步骤: 一、前期准备 1、配置网卡,确保主机能上网 因我们要使用网络安装方式,所以要首先保证你的服务器可以正常联网。 1 pingwww.baidu.com 2、设置主机名称 CloudStack运行时需要获取本机名称,如无法正确获取可能导致服务无法正常启动并报一大堆的错。 运行以下命令检查: 1 hostname--fqdn 如无正常返回,请编辑 /etc/hosts 文件,添加主机ip对应的名称。 1 如: 2 192.168.19.135 manage.cloudstack.com vi /etc/sysconfig/network 将 HOSTNAME= 改为同你刚设置的一样。 编辑完后立即生效。如果还不成的话,重启下服务器应该就会好了。 3、配置时间同步 管理节点会通过各种协议与受控节点通讯,为了确保安全,受控节点接到命令后会进行一系列的校验,如果两机的时间不同步的话,会导致命令拒绝执行。 最简单的办法就是,所有服务器都安装 ntp实现时间的自动同步。 1 yuminstallntp 4、修改Linux安全设置 服务器上的SELinux会拦截CloudStack的一些命令,导致CloudStack操作失败,因此启动CloudStack前需要对SELinux进行设置。 vi /etc/selinux/config 1 SELINUX=permissive 以上修改需重启服务器才能生效,为使设置立即生效可使用下边的命令 1 setenforce permissive 二、更新 yum 仓库 默认情况下,CentOS的软件源中没有收录最新版本CloudStack,为了能顺利安装,我们需要手工指定软件源。 新建 /etc/yum.repos.d/cloudstack.repo 文件,内容为: 1 [cloudstack] 2 name=cloudstack 3 baseurl=http://cloudstack.apt-get.eu/rhel/4.1/ 4 enabled=1 5 gpgcheck=0 三、安装管理节点 设置好源以后,我们就可以直接使用 yum安装了,非常简单方便。 安装管理节点的命令为: 1 yuminstallcloud-client 如果你的CentOS 是最小化安装的话,将需要安装 160 兆以上的东东,请耐心等待哈... 四、配置数据库 CloudStack使用mysql管理数据,但安装cloud-client时没有包含mysql,这时需要我们手工安装,并导入数据。这是可以理解的,因为数据库可以被安装到其它机器上。 1 yuminstallmysql-server 默认的,mysql有连接数限制,无法满足CloudStack管理节点的要求,需要手工设定。 vi /etc/my.cnf 增加以下内容: 1 innodb_rollback_on_timeout=1 2 innodb_lock_wait_timeout=600 3 max_connections=350 4 log-bin=mysql-bin 5 binlog-format='ROW' 注:如果没改的话会发生什么现象我没有尝试,不
heartbeat的工作原理:heartbeat最核心的包括两个。部分,心跳监测部分和资源接管部分,心跳监测可以通过网络链路和串口进行,而且支持冗余链路,它们之间相互发送报文来告诉对方自己当前的状态,如果在指定的时间内未收到对方发送的报文,那么就认为对方失效,这时需启动资源接管模块来接管运行在对方主机上的资源或者服务
本文是《CDH5部署三部曲》的终篇,前面两章完成了CDH5集群的部署和启动,本章将实战中遇到的问题做个总结,如果碰巧您也遇到过这些问题,希望本文能给您一些参考;
动态模式: 管理员无需手动创建PV,而是通过StorageClass的设置对后端存储进行描述,标记为某种"类型(Class)",此时要求PVC对存储的类型进行声明,系统将自动完成PV的创建及PVC的绑定,PVC可以声明为Class为"",说明该PVC禁止使用动态模式
官方中文文档:https://kubesphere.io/docs/zh-CN/introduction/what-is-kubesphere/
关于内核版本,RHEL8和7的区别如下: RHEL8采用4.18.0-x RHEL7采用3.10-0-x
EmptyDir是基础的Volume类型,一个EmptyDir就是Host上的一个空目录。EmptyDir是在Pod被分配到节点时创建的,它的初始化内容为空,并且无需指定宿主机上对应的目录文件,因为Kubernetes会自动的为他分配一个目录。当Pod被销毁的时候,EmptyDir中的数据也会永久的被删除。
服务优化是最常见的优化策略之一,把用不到的服务关掉,来节省计算机资源,如果你需要用的时候在开启服务。
Rook 是一个开源 cloud-native storage orchestrator(云原生存储编排器),为各种存储解决方案提供平台、框架和支持,以与云原生环境进行原生集成。
i 创建nfs持久化存储,持久化存储用于存储前端静态文件和pod产生日志文件。
Heartbeat项目是 Linux-HA 工程的一个组成部分,它实现了一个高可用集群系统。心跳服务和集群通信是高可用集群的两个关键组件,在 Heartbeat 项目里,由 Heartbeat 模块实现了这两个功能。
领取专属 10元无门槛券
手把手带您无忧上云