专栏首页linux百科小宇宙系统运维|sersync:基于 rsync + inotify 实现数据实时同步
原创

系统运维|sersync:基于 rsync + inotify 实现数据实时同步

前言提到数据同步就必然会谈到rsync,一般简单的服务器数据传输会使用ftp/sftp等方式,但是这样的方式效率不高,不支持差异化增量同步也不支持实时传输。针对数据实时同步需求大多数人会选择rsync+inotify-tools的解决方案,但是这样的方案也存在一些缺陷(文章中会具体指出),sersync是国人基于前两者开发的工具,不仅保留了优点同时还强化了实时监控,文件过滤,简化配置等功能,帮助用户提高运行效率,节省时间和网络资源。

可靠高效的数据实时同步方式

原理Synchronizefilesandfoldersbetweenservers-usinginotiyandrsyncwithc++服务器实时同步文件,服务器镜像解决方案

sersync主要用于服务器同步,web镜像等功能。基于boost1.43.0,inotifyapi,rsynccommand.开发。目前使用的比较多的同步解决方案是inotify-tools+rsync,另外一个是google开源项目Openduckbill(依赖于inotify-tools),这两个都是基于脚本语言编写的。相比较上面两个项目,本项目优点是:

sersync是使用c++编写,而且对linux系统文件系统产生的临时文件和重复的文件操作进行过滤(详细见附录,这个过滤脚本程序没有实现),所以在结合rsync同步的时候,节省了运行时耗和网络资源。因此更快。相比较上面两个项目,sersync配置起来很简单,其中bin目录下已经有基本上静态编译的2进制文件,配合bin目录下的xml配置文件直接使用即可。另外本项目相比较其他脚本开源项目,使用多线程进行同步,尤其在同步较大文件时,能够保证多个服务器实时保持同步状态。本项目有出错处理机制,通过失败队列对出错的文件重新同步,如果仍旧失败,则按设定时长对同步失败的文件重新同步。本项目自带crontab功能,只需在xml配置文件中开启,即可按您的要求,隔一段时间整体同步一次。无需再额外配置crontab功能。本项目socket与http插件扩展,满足您二次开发的需要。针对上图的设计架构,这里做几点说明,来帮助大家阅读和理解该图

1)线程组线程是等待线程队列的守护线程,当事件队列中有事件产生的时候,线程组守护线程就会逐个唤醒同步线程。当队列中Inotify事件较多的时候,同步线程就会被全部唤醒一起工作。这样设计的目的是为了能够同时处理多个Inotify事件,从而提升服务器的并发同步能力。同步线程的最佳数量核数x2+2。

2)那么之所以称之为线程组线程,是因为每个线程在工作的时候,会根据服务器上新写入文件的数量去建立子线程,子线程可以保证所有的文件与各个服务器同时同步。当要同步的文件较大的时候,这样的设计可以保证每个远程服务器都可以同时获得需要同步的文件。

3)服务线程的作用有三个:

处理同步失败的文件,将这些文件再次同步,对于再次同步失败的文件会生成rsync_fail_log.sh脚本,记录失败的事件。每隔10个小时执行rsync_fail_log.sh脚本一次,同时清空脚本。crontab功能,可以每隔一定时间,将所有路径整体同步一次。4)过滤队列的建立是为了过滤短时间内产生的重复的inotify信息,例如在删除文件夹的时候,inotify就会同时产生删除文件夹里的文件与删除文件夹的事件,通过过滤队列,当删除文件夹事件产生的时候,会将之前加入队列的删除文件的事件全部过滤掉,这样只产生一条删除文件夹的事件,从而减轻了同步的负担。同时对于修改文件的操作的时候,会产生临时文件的重复操作。

角色注意主从配置的区别,记得调整SELinux和防火墙

iptables配置实践-http://wsgzao.github.io/post/iptables/LTMP手动编译安装以及全自动化部署实践-http://wsgzao.github.io/post/ltmp/

服务器A(主服务器)服务器B(从服务器/备份服务器)rsync默认TCP端口为873服务器B在服务器B上安装rsync:

cd/app/localwgethttp://rsync.samba.org/ftp/rsync/src/rsync-3.1.1.tar.gztarzxfrsync-3.1.1.tar.gzcdrsync-3.1.1./configuremake&&makeinstall设置rsync的配置文件:

vi/etc/rsyncd.conf#服务器B上的rsyncd.conf文件内容uidrootgidroot#最大连接数maxconnections36000#默认为true,修改为no,增加对目录文件软连接的备份usechrootno#定义日志存放位置logfile/var/log/rsyncd.log#忽略无关错误ignoreerrorsyes#设置rsync服务端文件为读写权限readonlyno#认证的用户名与系统帐户无关在认证文件做配置,如果没有这行则表明是匿名authusersrsync#密码认证文件,格式(虚拟用户名:密码)secretsfile/etc/rsync.pass#这里是认证的模块名,在client端需要指定,可以设置多个模块和路径[rsync]#自定义注释commentrsync#同步到B服务器的文件存放的路径path/app/data/site/[img]commentimgpath/app/data/site/img创建rsync认证文件可以设置多个,每行一个用户名:密码,注意中间以“:”分割

echo"rsync:rsync">/etc/rsync.pass设置文件所有者读取、写入权限:

chmod600/etc/rsyncd.confchmod600/etc/rsync.pass启动服务器B上的rsync服务:

#rsync--daemon-vrsync--daemon监听端口873:

netstat-an|grep873lsof-itcp:873COMMANDPIDUSERFDTYPEDEVICESIZE/OFFNODENAMErsync31445root4uIPv44438720t0TCP*:rsync(LISTEN)rsync31445root5uIPv64438730t0TCP*:rsync(LISTEN)设置rsync为服务启动项(可选):

echo"/usr/local/bin/rsync--daemon">>/etc/rc.local要Killrsync进程,不要用kill-HUP{PID}的方式重启进程,以下3种方式任选:

#ps-ef|greprsync|grep-vgrep|awk'{print$2}'|xargskill-9#cat/var/run/rsyncd.pid|xargskill-9pkillrsync再次启动:

/usr/local/bin/rsync--daemon服务器A安装rsync:

cd/app/localwgethttp://rsync.samba.org/ftp/rsync/src/rsync-3.1.1.tar.gztarzxfrsync-3.1.1.tar.gzcdrsync-3.1.1./configuremake&&makeinstall安装inotify-tools:

cd/app/localwgethttp://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gztarzxfinotify-tools-3.14.tar.gzcdinotify-tools-3.14./configure--prefix/app/local/inotifymake&&makeinstall安装sersync:

cd/app/localwgethttps://sersync.googlecode.com/files/sersync2.5.4_64bit_binary_stable_final.tar.gztarzxfsersync2.5.4_64bit_binary_stable_final.tar.gzmv/app/local/GNU-Linux-x86//app/local/sersynccd/app/local/sersync配置下密码文件,因为这个密码是要访问服务器B需要的密码和上面服务器B的密码必须一致:

echo"rsync">/app/local/sersync/user.pass修改权限:

chmod600/app/local/sersync/user.pass修改confxml.conf:

vi/app/local/sersync/confxml.xml

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 连仕彤博客利用rsync+sersync实现数据实时同步

    行 者
  • centos7系统安装sersync+rsync实现服务器同步功能

    1、sersync是基于inotify开发的,类似于inotify-tools的工具。

    拓荒者
  • Linux下rsync+inotfy/sersync实现数据实时同步

    导读:本文主要讲解了如何利用 rsync+inotfy/sersync 实现数据实时同步的操作过程和部分原理、参数。

    开心分享
  • [经验分享] CentOS7+rsync+sersync实现数据实时同步

    2.rsync配置(千万注意:本人亲自入坑,下面的配置信息,请在添加到配置文件中后千万记得删除掉后面#部分的备注信息,否则同步过程会失败,不知原因,删除后...

    拓荒者
  • CentOS7+rsync+sersync实现数据实时同步

    一、为什么要用Rsync+sersync架构? 1、sersync是基于Inotify开发的,类似于Inotify-tools的工具 2、sersync...

    拓荒者
  • sersync实现数据实时同步

    1.1 第一个里程碑:安装sersync软件 1.1.1 将软件上传到服务器当中并解压 1、上传软件到服务器上 rz -E 为了便于管理上传位置统一设置为 /s...

    惨绿少年
  • CentOS7下Rsync+sersync实现数据实时同步

    1、sersync是基于Inotify开发的,类似于Inotify-tools的工具

    拓荒者
  • rsync+sersync数据同步

    Author: Andrew Tridgell, Wayne Davison, and others

    胡齐
  • Linux inotify实时备份实现方法详解

    实时复制是企业数据备份最重要的方式,主要用于用户提交的数据的备份,对于用户提交到服务器上的普通文件(图片、压缩包、视频、文档等),可采用 inotify/ser...

    砸漏
  • Linux系统sersync数据实时同步

    前面介绍了以守护进程的方式传输或同步数据rsync软件,linux系统数据同步软件很多,今天来介绍下sersync数据同步软件

    民工哥
  • Linux下sersync数据实时同步

    sersync其实是利用inotify和rsync两种软件技术来实现数据实时同步功能的,inotify是用于监听sersync所在服务器上的文件变化,结合rsy...

    砸漏
  • rsync + sersync 数据同步 -- CentOS 8

    rsync 是 linux 系统下的数据镜像备份工具。使用快速增量备份工具 Remote Sync 可以远程同步,支持本地复制,或者与其他 SSH、rsyn...

    Kevin song
  • linux实现实时同步服务

    其实这里只需要安装inotify-tools软件即可,因为后面的sersync服务会启用inotify软件。那这里就只把命令写出来

    用户1685462
  • inotify+rsync实现实时同步

    第1章 数据实时同步介绍 1.1 什么是实时同步:如何实现实时同步 A. 要利用监控服务(inotify),监控同步数据服务器目录中信息的变化 B. 发现目录中...

    惨绿少年
  • inotify+rsync实现实时同步

    1.1 什么是实时同步:如何实现实时同步 要利用监控服务(inotify),监控同步数据服务器目录中信息的变化 发现目录中数据产生变化,就利用rsync服务推送...

    惨绿少年
  • LINUX运维学习之综合架构篇——综合架构实时同步服务

    1)需要部署好rsync守护进程服务,实现数据传输 2)需要部署好inotify服务,实现目录中数据变化监控 3)将rsync服务和inotify服务建立联系,...

    小黑Sir
  • inotify软件部署及实时同步

    声明:博主使用的是CentOS6.9的系统 参考资料: https://github.com/rvoicilas/inotify-tools/wiki htt...

    863987322
  • Linux 服务器集群下同步目录文件 - rsync

    简介: remote synchronize是一个远程数据同步工具,可通过 LAN/WAN 快速同步多台主机之间的文件。也可以使用 rsync 同步本地硬盘中...

    Parker
  • 实战远程文件同步(Remote File Sync)

    缺点:定时执行,实时性比较差;另外,rsync同步数据时,需要扫描所有文件后进行比对,进行差量传输。如果文件数量达到了百万甚至千万量级,扫描所有文件将是非常耗时...

    sunsky

扫码关注云+社区

领取腾讯云代金券