前面总结过一篇全量备份/增量备份/差异备份说明,下面介绍下linux下rsync和tar两种增量备份的操作记录: 1)rsync备份 rsync由于本身的特性,在第一次rsync备份后,以后每次都只是传内容有改变的部分,而不是全部传。所以,rsync在做镜像方面是很不错的,只传增量,节省带宽、时间。 常规本地rsync备份命令可以是: # rsync -az --delete SRC DST 其中: -z 压缩 -a 简单理解就是保持一致性 --delete 严格保证DST内容与SRC一致,即DST中SRC
对于大部分文件系统来说,在磁盘上创建好文件系统,然后再挂载到系统中去就完事了。但对于 Btrfs 来说,除了在格式化和挂载的时候指定不同的参数外,还支持很多其他的功能。比如:管理多块硬盘、支持 LVM 和 RAID 等,具体的可以参考它的「官方文档」或者「Linux 下常见文件系统对比」。
从ftp,http,nfs启动,如ftp://192.168.10.7/dvd;nfs:192.168.10.7:/dvd
对于Arch系等依赖滚动更新的发行版,Btrfs的快照功能真的是太具有吸引力了。纵使我已经很久没有遇到“滚炸”、纵使就算“滚炸”去Manjaro论坛看一眼一般都能解决,但是这些都不如一个“后悔药”来得实在——遇到问题,重启、选择老快照、恢复,一切都是那么美好。因此,前阵子(指12月中旬)我就把系统分区迁移到Btrfs上了。这篇博客就主要记录了迁移与快照的各种实现方案。
请注意,在恢复快照时,任何在创建快照之后对虚拟机所做的更改都将被丢弃,并还原为快照创建时的状态。因此,请确保在执行恢复操作之前备份重要数据。
rm recommender-dm-1.0-SNAPSHOT-lib.jar
从下载super-jacoco代码到极简项目的案例跑出来,一共排了3+1+1+1=6个坑,这里记录一下,供参考。
在分布式系统中,各种服务配置信息的管理共享和服务发现是一个很基本也是很重要的问题,无论你调用服务还是调度容器,都需要知道对应的服务实例和容器节点地址信息。etcd 就是这样一款实现了元数据信息可靠存储的组件。
本地离线存储:绝大多数操作都只需要访问本地文件和资源,不用连网,在本地磁盘上就保存着所有当前项目的历史更新,所以处理起来速度飞快。
主要是定义了如何将Jar包打包成Docker镜像,对DockerFile不了解的朋友可以看下《使用Dockerfile为SpringBoot应用构建Docker镜像》,具体内容如下。
问题描述: 权限维护模块从前台获取数据后传输到后台后,在逻辑处理时把获取的参数值,过滤掉 id。导致项目出现修改错误。
AWR是Automatic Workload Repository的简称,中文叫着自动工作量资料档案库。对于AWR的管理,主要是针对快照和基线的管理而言。比如设定快照的间隔,删除快照,设定快照的保留时间。那对于基线而言则是基线的创建,删除,自动创建等。本文主要描述这2部分的内容。
最近在linux中遇到了个crontab定时任务不执行的case,在这给大家分享一下,避免踩到我遇到的坑。
前面学习了kvm虚拟化的一些基础操作,本节整理一下kvm快照、扩容等等相关的内容。
设置网络为桥接(nictype和bridgeadapter要根据主机的实际情况选择)
Kubernetes作为容器的编排平台,它是以集群的形式为业务提供服务。所以在日常的工作中,作为Kubernetes平台的维护者,会经常对集群进行管理。
在我们实际工作当中,极有可能会遇到将测试集群的数据拷贝到生产环境集群,或者将生产环境集群的数据拷贝到测试集群,那么就需要我们在多个集群之间进行数据的远程拷贝,hadoop自带也有命令可以帮我们实现这个功能。
关于如何创建快照和恢复快照,可以参考这篇:干货 | Elasitcsearch7.X集群/索引备份与恢复实战。
kubernetes中部署的应用的信息都存放在etcd里面,这里面的数据非常重要,需要备份,以备不时之需。定时任务的pod要和etcd在同一个node上面。
上述问题涉及到集群备份、索引数据备份、数据迁移、数据恢复等问题,而数据备份和恢复又分为:
Qt 是一个跨平台的应用程序开发框架。使用Qt开发的应用程序,只需要编写一套代码,然后把这套代码放在不同平台的Qt环境去编译,就会生成可以运行在对应平台的应用程序。例如,我在Windows写了一个串口助手,这套代码不用修改,放在Linux环境下的Qt开发环境,重新编译,就可以生成可以在Linux环境下运行的串口助手,当然,Qt支持的环境有很多。不同平台下的移植,只需要修改很小一部分或者不用修改就可以直接运行。
Zookeeper的安装和配置非常的简单,既可以配置成单机模式,也可以配置成集群模式。如下图所示:
KVM自Linux 2.6.20版本后就直接整合到Linux内核,它依托CPU虚拟化指令集实现高性能的虚拟化支持。它与Linux内核高度整合,因此在性能、安全性、兼容性、稳定性上都有很好的表现。 在KVM环境中运行的每个虚拟化操作系统都将表现为单个独立的系统进程。因此它可以很方便地与Linux系统中的安全模块进行整合(SELinux),可以灵活的实现硬件资源的管理和分配,KVM虚拟化的架构图如下:
其中,KVM 全称是 基于内核的虚拟机(Kernel-based Virtual Machine),它是一个 Linux 的一个内核模块,该内核模块使得 Linux 变成了一个 Hypervisor:
大半夜接到线上一服务器磁盘占用率超过90%的短信,需要立即处理。一般这种情况都是线上异常,当天日志打太多,无法自动删掉的。上来第一反应就是查我们规范java应用日志目录,居然没有文件,再查,居然连java进程都没有,原来不是java应用,不过没关系,干一年运维也不是白干的,还是有其他方法可以查的,在此记录下整个排查过程。
Jenkins是一个开源软件项目,旨在提供一个开放易用的软件平台,使软件的持续集成变成可能。Jenkins是基于Java开发的一种持续集成工具,用于监控持续重复的工作,功能包括: 1、持续的软件版本发布/测试项目。 2、监控外部调用执行的工作。
在上一篇中,我们介绍了如何在 CentOS7上安装并配置KVM,以及通过KVM安装CentOS系统。本篇则是介绍在KVM里安装完虚拟机后,如何使用KVM来管理虚拟机。
可以配置多条,以数组的形式编写,地址需要添加协议头。编辑/etc/docker/daemon.json加入以下内容
以上,就是今天分享的全部内容了。按照以上配置及部署方式,BSC不到24小时即可同步至最新区块。希望大家通过以上方式可以解决自己的实际需求,解决自己目前所遇到的问题。
Etcd是Go语言开发的一个开源的、高可用的分布式的键值(key-value)存储系统,它被设计用于可靠地存储关键性数据,并保证快速的访问速度。我们运维之道的etcd常被用于Kubernetes集群中存储配置信息和状态数据。
Linux下的man命令十分实用,可以查看Linux命令的手册。但这些手册只适用于忘记命令的选项时查询之用,如果用来学习Linux下类似于Git, RPM这样庞大的工具就有点吃力了,可谓事倍功半。我在学习Git的时候读过一篇文档——gittutorial,使用: $man gittutorial 命令可以调出该文档。这篇文档并不涵盖git的方方面面,只是介绍了Git管理项目的常规用法,非常适合初学者快速入门。所以本文试图仿照该文档的写法,并不会详细地介绍RPM包的方方面面,而是介绍RPM包最常用的一
#1 - 错误: 设备上无剩余空间 当你的类UNIX系统磁盘写满了时你会在屏幕上看到这样的信息。本例中,我运行fallocate命令然后我的系统就会提示磁盘空间已经耗尽: $ fallocate -l 1G test4.imgfallocate: test4.img: fallocate failed: No space left on device 第一步是运行df命令来查看一个有分区的文件系统的总磁盘空间和可用空间的信息: $ df 或者试试可读性比较强的输出格式: $ df -h 部分输出内容: Fi
这里推荐使用Spotify的dockerfile-maven-plugin,理由是这个plugin用起来最简单且容易掌握。
restic是一个快速、高效、安全的备份程序。它支持三个主流操作系统(Linux、macOS、Windows),restic支持多种备份方式,可以将数据备份到本地、SFTP、AWS S3、Backblaze B2等。
vim /etc/ssh/sshd_config 去掉22的注释.添加新的端口 Port 4365 重启sshd服务 测试是否可以连接 测试无问题 注释掉22端口(安全性)
对于 persistence 模式,也就是持久化存储,redis 提供了两种持久化方法:
安装 下载zk后,确保有java环境的情况下解压就可以使用了 [root@h102 src]# tar -zxvf zookeeper-3.4.8.tar.gz zookeeper-3.4.8/ zookeeper-3.4.8/zookeeper-3.4.8.jar.md5 zookeeper-3.4.8/zookeeper-3.4.8.jar.asc zookeeper-3.4.8/zookeeper-3.4.8.jar zookeeper-3.4.8/contrib/ ... ... zookeepe
在这之前,我们可以通过 VirtualBox、VMware 和其他一些应用程序,来创建虚拟机。
描述:在 Kubernetes 集群中所有操作的资源数据都是存储在 etcd 数据库上, 所以防止集群节点瘫痪未正常工作或在集群迁移时,以及在出现异常的情况下能尽快的恢复集群数据,则我们需要定期针对etcd集群数据进行相应的容灾操作。
如果有不会安装部署以上服务的,请参考公众号往期文章,这里不再赘述了。更多关于构建企业自动化运维平台系列的学习文章,请参阅:企业级自动化运维平台,本系列持续更新中。
进入源码目录:cd ranger,修改该目录下的pom文件,主要修改两个地方,第一是将仓库相关配置都给注释掉:
当前业界有很多分布式一致性复制协议,比如Paxos,Zab,Viewstamped Replication等,其中Lamport提出的Paxos被认为是分布式一致性复制协议的根本,其他的一致性复制协议都是其变种。但是Paxos论文中只给出了单个提案的过程,并没有给出复制状态机中需要的MultiPaxos的相关细节描述。
KVM 介绍 KVM是以色列初创公司Qumranet开发,2008年9月RedHat公司收购了Qumranet KVM是Linux内核的一个模块,它把Linux内核变成了一个Hypervisor KVM是完全开源的,RedHat基于KVM的虚拟化解决方案叫做RHEV KVM在Linux操作系统里面以进程的形式出现,由标准的Linux调度程序进行调度,这使得KVM能够使用Linux内核的已有功能,只有一个KVM内核模块还不能实现虚拟化的全部功能,就好比操作系统只有内核还不能成为一个完整的操作系统一样 QEMU
之前对etcd不是很了解,于是下定决心学习一下。随手把过程记录了一下,希望对大家有帮助。
备份软件已经是一个老生常谈的话题了,今天,要和大家分享一个备份工具——restic。
etcd是CoreOS团队于2013年6月发起的开源项目,它的目标是构建一个高可用的分布式键值(key-value)数据库。etcd内部采用raft协议作为一致性算法,etcd基于Go语言实现。
使用zk-smoketest的zk-latencies.py进行benchmark获取。
领取专属 10元无门槛券
手把手带您无忧上云