运维必备!Linux 远程数据同步工具详解

两种 rsync 服务运行方式都需要配置 rsyncd.conf，其格式类似于 samba 的主配置文件,免翻官方ChatGPT 4.0 和 Claude Pro，稳定有售后

全局参数

• 在全局参数部分也可以定义模块参数，这时该参数的值就是所有模块的默认值

• address —在独立运行时，用于指定的服务器运行的 IP 地址；由 xinetd 运行时将忽略此参数，使用命令行上的 –address 选项替代。默认本地所有IP

• port —指定 rsync 守护进程监听的端口号。由 xinetd 运行时将忽略此参数，使用命令行上的 –port 选项替代。默认 873

• motd file —指定一个消息文件，当客户连接服务器时该文件的内容显示给客户

• pid file —rsync 的守护进程将其 PID 写入指定的文件

• log file —指定 rsync 守护进程的日志文件，而不将日志发送给 syslog

• syslog facility —指定 rsync 发送日志消息给 syslog 时的消息级别

• socket options —指定自定义 TCP 选项

• lockfile —指定rsync的锁文件存放路径

• timeout = 600 —超时时间

模块参数

模块参数主要用于定义 rsync 服务器哪个目录要被同步。模块声明的格式必须为 [module] 形式，这个名字就是在 rsync 客户端看到的名字，类似于 Samba 服务器提供的共享名。而服务器真正同步的数据是通过 path 来指定的

基本模块参数

• path —指定当前模块在 rsync 服务器上的同步路径，该参数是必须指定的

• comment —给模块指定一个描述，该描述连同模块名在客户连接得到模块列表时显示给客户

模块控制参数

• use chroot = —默认为 true，在传输文件之前首先 chroot 到 path 参数所指定的目录下；优点，安全；缺点，需要 root 权限，不能备份指向 path 外部的符号连接所指向的目录文件

• uid = —指定该模块以指定的 UID 传输文件；默认nobody

• gid = —指定该模块以指定的 GID 传输文件；默认nobody

• max connections —最大并发连接数，0为不限制

• lock file —指定支持 max connections 参数的锁文件。默认 /var/run/rsyncd.lock

• list —指定当客户请求列出可以使用的模块列表时，该模块是否应该被列出。默认为 true，显示

• read only = —只读选择，也就是说，不让客户端上传文件到服务器上。默认true

• write only = —只写选择，也就是说，不让客户端从服务器上下载文件。默认false

• ignore errors —忽略IO错误。默认true

• ignore nonreadable —指定 rysnc服务器完全忽略那些用户没有访问权限的文件。这对于在需要备份的目录中有些不应该被备份者获得的文件时是有意义的。false

• timeout = —该选项可以覆盖客户指定的 IP 超时时间。从而确保 rsync 服务器不会永远等待一个崩溃的客户端。对于匿名 rsync 服务器来说，理想的数字是 600（单位为秒）。0 (未限制)

• dont compress —用来指定那些在传输之前不进行压缩处理的文件。该选项可以定义一些不允许客户对该模块使用的命令选项列表。必须使用选项全名，而不能是简称。当发生拒绝某个选项的情况时，服务器将报告错误信息然后退出。例如，要防止使用压缩，应该是：”dont compress = ”。.gz .tgz .zip .z .rpm .deb .iso .bz2 .tbz

模块文件筛选参数

• exclude —指定多个由空格隔开的多个文件或目录(相对路径)，并将其添加到 exclude 列表中。这等同于在客户端命令中使用 –exclude 来指定模式

• exclude from —指定一个包含 exclude 规则定义的文件名，服务器从该文件中读取 exclude 列表定义

• include —指定多个由空格隔开的多个文件或目录(相对路径)，并将其添加到 include 列表中。这等同于在客户端命令中使用 –include 来指定模式

• include from —指定一个包含 include 规则定义的文件名，服务器从该文件中读取 include 列表定义

模块用户认证参数

• auth users —指定由空格或逗号分隔的用户名列表，只有这些用户才允许连接该模块（和系统用户没有任何关系）。用户名和口令以明文方式存放在 secrets file 参数指定的文件中。默认为匿名方式

• secrets file —指定一个 rsync 认证口令文件。只有在 auth users 被定义时，该文件才起作用。文件权限必须是 600

• strict modes —指定是否监测口令文件的权限。为 true 则口令文件只能被 rsync 服务器运行身份的用户访问，其他任何用户不可以访问该文件。默认为true

模块访问控制参数

• hosts allow —用一个主机列表指定哪些主机客户允许连接该模块。不匹配主机列表的主机将被拒绝。默认值为 *

• hosts deny —用一个主机列表指定哪些主机客户不允许连接该模块

模块日志参数

• transfer logging —使 rsync 服务器将传输操作记录到传输日志文件。默认值为false

• log format —指定传输日志文件的字段。默认为：”%o %h [%a] %m (%u) %f %l”
  设置了”log file”参数时，在日志每行的开始会添加”%t [%p]“；
  可以使用的日志格式定义符如下所示：
  %o —操作类型：”send” 或 “recv”
  %h —远程主机名
  %a —远程IP地址
  %m —模块名
  %u —证的用户名（匿名时是 null）
  %f —文件名
  %l —文件长度字符数
  %p —该次 rsync 会话的 PID
  %P —模块路径
  %t —当前时间
  %b —实际传输的字节数
  %c —当发送文件时，记录该文件的校验码

3、服务端配置

• uid = root —rsync运行权限为root

• gid = root —rsync运行权限为root

• use chroot = no —是否让进程离开工作目录

• max connections = 5 —最大并发连接数，0为不限制

• timeout = 600 —超时时间

• pid file = /var/run/rsyncd.pid —指定rsync的pid存放路径

• lockfile = /var/run/rsyncd.lock —指定rsync的锁文件存放路径

• log file = /var/log/rsyncd.log —指定rsync的日志存放路径

• [web1] —模块名称
  path = /data/test/src —该模块存放文件的基础路径
  ignore errors = yes —忽略一些无关的I/O错误
  read only = no —客户端可以上传
  write only = no —客户端可以下载
  hosts allow = 192.168.22.12 —允许连接的客户端主机ip
  hosts deny = —黑名单，表示任何主机
  list = yes
  auth users = web —认证此模块的用户名
  secrets file = /etc/web.passwd —指定存放“用户名：密码”格式的文件

四、测试

1、客户端

环境：192.168.22.12

2、小试参数

• -a —参数，相当于-rlptgoD

• -r —是递归

• -l —是链接文件，意思是拷贝链接文件

• -i —列出 rsync 服务器中的文件

• -p —表示保持文件原有权限

• -t —保持文件原有时间

• -g —保持文件原有用户组

• -o —保持文件原有属主

• -D —相当于块设备文件

• -z —传输时压缩

• -P —传输进度

• -v —传输时的进度等信息，和-P有点关系

3、通过密码文件同步

4、客户端自动同步

10 0 * rsync -avzP —delete —password-file=/tmp/rsync.password web@192.168.22.11::web1 /data/test/

五、数据实时同步

环境：Rsync + Inotify-tools

1、inotify-tools

是为linux下 inotify文件监控工具提供的一套c的开发接口库函数，同时还提供了一系列的命令行工具，这些工具可以用来监控文件系统的事件

inotify-tools是用c编写的，除了要求内核支持 inotify 外，不依赖于其他

inotify-tools提供两种工具：一是inotifywait，它是用来监控文件或目录的变化，二是inotifywatch，它是用来统计文件系统访问的次数

2、安装inotify-tools

下载地址：http://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz

3、设置环境变量

export PATH=/usr/local/inotify/bin/:$PATH

4、常用参数

• -m —始终保持监听状态，默认触发事件即退出

• -r —递归查询目录

• -q —打印出监控事件

• -e —定义监控的事件，可用参数：

• access —访问文件

• modify —修改文件

• attrib —属性变更

• open —打开文件

• delete —删除文件

• create —新建文件

• move —文件移动

• —fromfile —从文件读取需要监视的文件或者排除的文件，一个文件一行，排除的文件以@开头

• —timefmt —时间格式

• —format —输出格式

• —exclude —正则匹配需要排除的文件，大小写敏感

• —excludei —正则匹配需要排除的文件，忽略大小写

• %y%m%d %H%M —年月日时钟

• %T%w%f%e —时间路径文件名状态

5、测试一

检测源目录中是否有如下动作：modify,create,move,delete,attrib；

一旦发生则发布至目标机器；

方式为 ssh
src: 192.168.22.11(Rsync + Inotify-tools) dest: 192.168.22.12

两台机器需要做好 ssh 免密登录

我们可以在目标机上也写一个这样的脚本：

这样可以实现双向同步