实时同步工具原理解释及环境准备inotify-创新互联

实时同步，确保主服务器故障时将丢失数据的风险降到最低，实现原理就是当主服务器接收到数据时同时复制到另一服务器上，确保有多一份数据。

用到的工具：inotify或者sersync，这次使用inotify演示。

创新互联是一家以网络技术公司，为中小企业提供网站维护、网站制作、成都网站建设、网站备案、服务器租用、申请域名、软件开发、重庆小程序开发公司等企业互联网相关业务，是一家有着丰富的互联网运营推广经验的科技公司，有着多年的网站建站经验，致力于帮助中小企业在互联网让打出自已的品牌和口碑，让企业在互联网上打开一个面向全国乃至全球的业务窗口：建站联系电话：028-86922220

当inotify运行时会时刻监控着文件系统（inode、block等属性）

 

当inotify监控到目录有增加、修改、删除、移动操作时会调用rsync命令将目录传输到热备器上。

 

部署：

安装inotify，检查系统是否支持inotify

Linux内核从2.6.13起加入inotify

出现如下所示则表示支持

 

自带ISO没有inotify，需要自己下载

https://github.s3.amazonaws.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz

 

安装inotify需要C编译器支持，需要提前安装gcc编译器

否则可能出现这个错误

 

可以使用echo $?查看是否有错误 0没错误 1有错误

安装命令：

tar zxf inotify-tools-3.14.tar.gz

cd inotify-tools-3.14/

./configure --prefix=/usr/local/inotify-tools-3.14

echo $?

make && make install

echo $?

ln -s /usr/local/inotify-tools-3.14/ /usr/local/inotify-tools

ls /usr/local/inotify-tools

history

 

一共安装了2个工具（命令），inotifywait和inotifywatch

Inotifywait：在被监控的文件或目录上等待特定文件系统事件（open、close、delete等）发生，执行后处于阻塞状态，适合在shell脚本中使用。（监控文件状态）

Inotifywatch:收集被监视的文件系统使用度统计数据，指文件系统时间发生的次数统计。

 

Inotifywait

参数解析：

-r     递归查询目录

-q     打印很少的信息，仅打印监控事件的信息

-m   始终保持事件监听状态

--excludei         排除文件或目录时，不区分大小写

--timefmt         指定时间输出的格式

–format:
%w表示发生事件的目录
%f表示发生事件的文件
%e表示发生的事件
%Xe事件以“X”分隔
%T使用由–timefmt定义的时间格式

-e事件

以下选项都是接在-e后面的

 

测试：

开2个创建一直监控一直执行

[root@nfs-server ~]# /usr/local/inotify-tools/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -e create /data

 

其中参数解释：

-r     递归查询目录

-q     打印很少的信息，仅打印监控事件的信息

-m   始终保持事件监听状态

 

Timefmt时间戳格式 “日月年 时分”

–format:
%w表示发生事件的目录
%f表示发生事件的文件

%T使用由–timefmt定义的时间格式

 

 

当我创建文件的是时候会自动记录。

 [root@nfs-server ~]# /usr/local/inotify-tools/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %e:%w%f' -e create /data

22/11/19 11:21 CREATE:/data/12345.txt

 

创建脚本，当监控到文件有变化时自动同步.

#!/bin/bash

inotify=/usr/local/inotify-tools/bin/inotifywait

$inotify -mrq --format '%w%f' -e create,close_write,delete /data \

|while read file

do

 cd /data &&

 rsync -az ./ --delete rsync_backup@192.168.24.32::backup \

 --password-file=/etc/rsync.password

done

全路径后台运行该脚本，并且写入rc.local

 /bin/sh /rsync.sh &

 

这步完成后，基本上每当/data这个目录有增删改都会自动同步到backup服务器上的/backup/data目录上

 

应用场景200~300并发以内可以使用这套方案（中小型企业）。‘

 

 

实时同步优化及应用极限建议

 

/proc/sys/fs/inotify目录下有三个文件，对inotify’机制有一定的限制

Max_user_watches：设置inotifywait或inotifywatch命令可以监视的文件数量（单进程）

Max_user_instances：设置每个用户可以允许的inotifywait或inotifywatch命令的进程数

Max_queued_events：设置inotify实例时间（event）队列可容纳的时间数量。

 

Inotify优点：

1）实时数据同步

Inotify缺点：

1）并发如果大于200个文件（10-100K），同步就会有延迟。

2）监控到事件后，调用rsync同步是单进程的（加&并发），sersync多进程同步。既然有了inotify-tools，为什么还要sersync？

Sersync功能多：

1）配置文件。

2）真正的守护进程socket。

3）可以对失败文件定时重传（定时任务）。

4）第三方的HTTP接口。

5）默认多线程同步。

 

另外有需要云服务器可以了解下创新互联cdcxhl.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。

当前文章：实时同步工具原理解释及环境准备inotify-创新互联
URL标题：http://scjbc.cn/article/ehjig.html