redis主从复制原理

一、     原理

Redis的主从复制功能非常强大，一个master可以拥有多个slave，而一个slave又可以拥有多个slave，如此下去，形成了强大的多级服务器集群架构。下面是关于redis主从复制的一些特点：
1.master可以有多个slave
2.除了多个slave连到相同的master外，slave也可以连接其他slave形成图状结构
3.主从复制不会阻塞master。也就是说当一个或多个slave与master进行初次同步数据时，master可以继续处理client发来的请求。相反slave在初次同步数据时则会阻塞不能处理client的请求。
4.主从复制可以用来提高系统的可伸缩性,我们可以用多个slave 专门用于client的读请求，比如sort操作可以使用slave来处理。也可以用来做简单的数据冗余
5.可以在master禁用数据持久化，只需要注释掉master 配置文件中的所有save配置，然后只在slave上配置数据持久化。

下面介绍下主从复制的过程
       当设置好slave服务器后，slave会建立和master的连接，然后发送sync命令。无论是第一次同步建立的连接还是连接断开后的重新连 接，master都会启动一个后台进程，将数据库快照保存到文件中，同时master主进程会开始收集新的写命令并缓存起来。后台进程完成写文件 后，master就发送文件给slave，slave将文件保存到磁盘上，然后加载到内存恢复数据库快照到slave上。接着master就会把缓存的命 令转发给slave。而且后续master收到的写命令都会通过开始建立的连接发送给slave。从master到slave的同步数据的命令和从 client发送的命令使用相同的协议格式。当master和slave的连接断开时slave可以自动重新建立连接。如果master同时收到多个 slave发来的同步连接命令，只会使用启动一个进程来写数据库镜像，然后发送给所有slave。

二、     配置

下面我演示下怎样在多台服务器上进行Redis数据主从复制。我假设有两台服务器，一台是Linux操作系统（局域网IP：192.168.1.4，master服务器），一台是Linux操作系统（局域网IP：192.168.1.5，slave服务器）

配置slave服务器很简单，只需要在配置文件(redis.conf)中加入如下配置
bind  192.168.1.5(从服务器,此处默认是127.0.0.1，请修改成本机的IP地址，要不然，客户端无法进行访问)

slaveof 192.168.1.4 6379  (映射到主服务器上)

如果是在一台机器上面配置主从关系，那么还需要修改从服务器的默认端口号，同样也在redis.conf中进行修改。

其中还有些redis自身的配置请参见我的另一篇文章

三、     测试

当启动master机器后，写入数据到master后，这时启动slave机器，可以发现slave上：

会发送一个SYNC请求，从Master上面进行相应，而且它支持自动重连，即当master掉线的情况下，它会处于等待请求的状态。

而Master上：

两台机器的dump文件大小一样：

192.168.1.5(slave)：

192.168.1.4（master）：

从Redis源码中，可以发现rdb文件采用的是lzf压缩算法进行实现，默认lzf压缩算法是开启的。

这样你可以通过其他的客户端程序或者Web平台去读取Slave磁盘数据库的数据，真正达到了读写分离的目的。

posted @ 2011-09-20 18:24 weafer 阅读(576) 评论(0)  编辑
Redis 的安装配置介绍

redis 是一个高性能的key-value数据库。 redis的出现，很大程度补偿了memcached这类keyvalue存储的不足，在部 分场合可以对关系数据库起到很好的补充作用。它提供了Python，Ruby，Erlang，PHP客户端，使用很方便。问题是这个项目还很新，可能还不足够稳定，而且没有在实际的一些大型系统应用的实例。此外，缺乏mc中批量get也是比较大的问题，始终批量获取跟多次获取的网络开销是不一样的。

性能测试结果：

SET操作每秒钟 110000 次，GET操作每秒钟 81000 次，服务器配置如下：

Linux 2.6, Xeon X3320 2.5Ghz.

stackoverflow 网站使用 Redis 做为缓存服务器。

安装过程：

Redis是一种高级key-value数据库。它跟memcached类似，不过数据可以持久化，而且支持的数据类型很丰富。有字符串，链表，集 合和有序集合。支持在服务器端计算集合的并，交和补集(difference)等，还支持多种排序功能。所以Redis也可以被看成是一个数据结构服务 器。

Redis的所有数据都是保存在内存中，然后不定期的通过异步方式保存到磁盘上(这称为“半持久化模式”)；也可以把每一次数据变化都写入到一个append only file(aof)里面(这称为“全持久化模式”)。

一、下载最新版

wget http://redis.googlecode.com/files/redis-2.0.0-rc4.tar.gz

二、解压缩

tar redis-2.0.0-rc4.tar.gz

三、安装C/C++的编译组件（非必须）

apt-get install build-essential

四、编译

cd redis-2.0.0-rc4
make

make命令执行完成后，会在当前目录下生成本个可执行文件，分别是redis-server、redis-cli、redis-benchmark、redis-stat，它们的作用如下：

redis-server：Redis服务器的daemon启动程序redis-cli：Redis命令行操作工具。当然，你也可以用telnet根据其纯文本协议来操作redis-benchmark：Redis性能测试工具，测试Redis在你的系统及你的配置下的读写性能redis-stat：Redis状态检测工具，可以检测Redis当前状态参数及延迟状况 在后面会有这几个命令的说明，当然是从网上抄的。。。

五、修改配置文件

/etc/sysctl.conf

添加

vm.overcommit_memory=1

刷新配置使之生效

sysctl vm.overcommit_memory=1

补充介绍：

**如果内存情况比较紧张的话，需要设定内核参数：
echo 1 > /proc/sys/vm/overcommit_memory

内核参数说明如下：

overcommit_memory文件指定了内核针对内存分配的策略，其值可以是0、1、2。
0， 表示内核将检查是否有足够的可用内存供应用进程使用；如果有足够的可用内存，内存申请允许；否则，内存申请失败，并把错误返回给应用进程。
1， 表示内核允许分配所有的物理内存，而不管当前的内存状态如何。
2， 表示内核允许分配超过所有物理内存和交换空间总和的内存

**编辑redis.conf配置文件（/etc/redis.conf），按需求做出适当调整，比如：
daemonize yes #转为守护进程，否则启动时会每隔5秒输出一行监控信息
save 60 1000 #减小改变次数，其实这个可以根据情况进行指定
maxmemory 256000000 #分配256M内存

在我们成功安装Redis后，我们直接执行redis-server即可运行Redis，此时它是按照默认配置来运行的（默认配置甚至不是后台运 行）。我们希望Redis按我们的要求运行，则我们需要修改配置文件，Redis的配置文件就是我们上面第二个cp操作的redis.conf文件，目前 它被我们拷贝到了/usr/local/redis/etc/目录下。修改它就可以配置我们的server了。如何修改？下面是redis.conf的主 要配置参数的意义： daemonize：是否以后台daemon方式运行pidfile：pid文件位置port：监听的端口号timeout：请求超时时间loglevel：log信息级别logfile：log文件位置databases：开启数据库的数量save * *：保存快照的频率，第一个*表示多长时间，第三个*表示执行多少次写操作。在一定时间内执行一定数量的写操作时，自动保存快照。可设置多个条件。rdbcompression：是否使用压缩dbfilename：数据快照文件名（只是文件名，不包括目录）dir：数据快照的保存目录（这个是目录）appendonly：是否开启appendonlylog，开启的话每次写操作会记一条log，这会提高数据抗风险能力，但影响效率。appendfsync：appendonlylog如何同步到磁盘（三个选项，分别是每次写都强制调用fsync、每秒启用一次fsync、不调用fsync等待系统自己同步）

下面是一个略做修改后的配置文件内容：

daemonize yespidfile /usr/local/redis/var/redis.pidport 6379timeout 300loglevel debuglogfile /usr/local/redis/var/redis.logdatabases 16save 900 1save 300 10save 60 10000rdbcompression yesdbfilename dump.rdbdir /usr/local/redis/var/appendonly noappendfsync alwaysglueoutputbuf yesshareobjects noshareobjectspoolsize 1024

将上面内容写为redis.conf并保存到/usr/local/redis/etc/目录下

然后在命令行执行：

1

/usr/local/redis/bin/redis-server /usr/local/redis/etc/redis.conf

即可在后台启动redis服务，这时你通过

1

telnet 127.0.0.1 6379

即可连接到你的redis服务。

六、启动服务并验证

启动服务器

./redis-server
或
$redis-server /etc/redis.conf 
查看是否成功启动
$ ps -ef | grep redis  
或
./redis-cli ping
PONG

七、启动命令行客户端赋值取值

redis-cli set mykey somevalue

./redis-cli get mykey

八、关闭服务

$ redis-cli shutdown    

#关闭指定端口的redis-server 

$redis-cli -p 6380 shutdown

九、客户端也可以使用telnet形式连接。

[root@dbcache conf]# telnet 127.0.0.1 6379
Trying 127.0.0.1...
Connected to dbcache (127.0.0.1).
Escape character is '^]'.
set foo 3
bar
+OK
get foo
$3
bar
^]
telnet> quit
Connection closed.

posted @ 2011-09-20 18:16 weafer 阅读(159) 评论(0)  编辑
MySQL Replication, 主从和双主配置

MySQL的Replication是一种多个MySQL的数据库做主从同步的方案，特点是异步，广泛用在各种对MySQL有更高性能，更高可靠性要求的场合。与之对应的另一个技术是同步的MySQL Cluster，但因为比较复杂，使用者较少。
 
下图是MySQL官方给出了使用Replication的场景：

Replication原理
 
Mysql 的 Replication 是一个异步的复制过程，从一个MySQL节点（称之为Master）复制到另一个MySQL节点（称之Slave）。在 Master 与 Slave 之间的实现整个复制过程主要由三个线程来完成，其中两个线程（SQL 线程和 I/O 线程）在 Slave 端，另外一个线程（I/O 线程）在 Master 端。
 
要实现 MySQL 的 Replication ，首先必须打开 Master 端的 Binary Log，因为整个复制过程实际上就是 Slave 从 Master 端获取该日志然后再在自己身上完全顺序的执行日志中所记录的各种操作。
 
看上去MySQL的Replication原理非常简单，总结一下：
     * 每个从仅可以设置一个主。
    * 主在执行sql之后，记录二进制log文件（bin-log）。
    * 从连接主，并从主获取binlog，存于本地relay-log，并从上次记住的位置起执行sql，一旦遇到错误则停止同步。
  
从这几条Replication原理来看，可以有这些推论：
     * 主从间的数据库不是实时同步，就算网络连接正常，也存在瞬间，主从数据不一致。
    * 如果主从的网络断开，从会在网络正常后，批量同步。
    * 如果对从进行修改数据，那么很可能从在执行主的bin-log时出现错误而停止同步，这个是很危险的操作。所以一般情况下，非常小心的修改从上的数据。
    * 一个衍生的配置是双主，互为主从配置，只要双方的修改不冲突，可以工作良好。
    * 如果需要多主的话，可以用环形配置，这样任意一个节点的修改都可以同步到所有节点。
  
主从设置
 
因为原理比较简单，所以Replication从MySQL 3就支持，并在所有平台下可以工作，多个MySQL节点甚至可以不同平台，不同版本，不同局域网。做Replication配置包括用户和my.ini（linux下为my.cnf）两处设置。
 
首先在主MySQL节点上，为slave创建一个用户：
 
GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'slave'@'192.168.1.10' IDENTIFIED BY 'slave';
 
实际上，为支持主从动态同步，或者手动切换，一般都是在所有主从节点上创建好这个用户。然后就是MySQL本身的配置了，这需要修改my.cnf或者my.ini文件。在mysqld这一节下面增加：
 
server-id=1   
auto-increment-increment=2    
auto-increment-offset=1    
log-bin    
binlog-do-db=mstest    
binlog_format=mixed
 
master-host=192.168.1.62   
master-user=slave    
master-password=slave    
replicate-do-db=mstest
 
上面这两段设置，前一段是为主而设置，后一段是为从设置的。也就是说在两个MySQL节点上，各加一段就好。binlog-do-db和replicate-do-db就是设置相应的需要做同步的数据库了，auto-increment-increment和auto-increment-offset是为了支持双主而设置的（参考下一节），在只做主从的时候，也可以不设置。
 
双主的设置
 
从原理论来看MySQL也支持双主的设置，即两个MySQL节点互为主备，不过虽然理论上，双主只要数据不冲突就可以工作的很好，但实际情况中还是很容发生数据冲突的，比如在同步完成之前，双方都修改同一条记录。因此在实际中，最好不要让两边同时修改。即逻辑上仍按照主从的方式工作。但双主的设置仍然是有意义的，因为这样做之后，切换主备会变的很简单。因为在出现故障后，如果之前配置了双主，则直接切换主备会很容易。
  双主在设置时，只需将上面的一段设置复制一份，分别写入两个MySQL节点的配置文件，但要修改相应的server-id，auto-increment-offset和master-host。auto-increment-offset就是为了让双主同时在一张表中进行添加操作时不会出现id冲突，所以在两个节点上auto-increment-offset设置为不同的值就好。  另：不要忘了，在两个节点上都为对方创建用户。 应用层的负载均衡  本文只介绍了MySQL自身的Repilication配置，在上面的图中也可以看出，有了Replication，还需要应用层（或者中间件）做一个负载均衡，这样才能最大程度发挥MySQL Replication的优势，这些将在以后探讨。