18-MySQL主从复制+读写分离详细方案
正常情况下,只要当单机真的顶不住压力了才会集群,不要一上来就集群,没这个必要。有关于软件的东西都是越简单越好,复杂都是形势所迫。
一般是
先优化
,优化一些慢查询,优化业务逻辑的调用或者加入缓存等,如果真的优化到没东西优化了然后才上集群,先读写分离
,读写分离之后顶不住就再分库分表
。
一、MySQL主从复制
1.1mysql的复制类型
基于语句的复制(STATEMENT,mysql默认类型):在主服务器上执行的 SQL 语句,在从服务器上执行同样的语句。MySQL 默认采用基于语句的复制,效率比较高
基于行的复制(ROW):把改变的内容复制过去,而不是把命令在从服务器上执行一遍
混合类型的复制(MIXED):默认采用基于语句的复制,一旦发现基于语句无法精确复制时,就会采用基于行的复制
1.2mysql主从复制的工作过程
两日志: 二进制日志和中继日志
三线程: master的dump和slave的I/O、sql
dump Thread: 为每个Slave的I/O Thread启动一个dump线程,用于向其发送binary log events
I/O Thread: 向Master请求二进制日志事件,并保存于中继日志中
SQL Thread: 从中继日志中读取日志事件,在本地完成重放
工作过程:
两种说法:
首先client端(tomcat)将数据写入到master节点的数据库中,master节点会通知存储引擎提交事务,同时会将数据以(基于行、基于sql、基于混合)的方式保存在二进制日志钟
SLAVE节点会开启I/O线程,用于监听master的二进制日志的更新,一旦发生更新内容,则向master的dump线程发出同步请求
master的dump线程在接收到SLAVE的I/O请求后,会读取二进制文件中更新的数据,并发送给SLAVE的I/O线程
SLAVE的I/O线程接收到数据后,会保存在SLAVE节点的中继日志中
同时,SLAVE节点钟的SQL线程,会读取中继日志钟的熟,更新在本地的mysql数据库中
最终,完成slave——>复制master数据,达到主从同步的效果
或者
(1)Master节点将数据的改变记录成二进制日志(bin log),当Master上的数据发生改变时,则将其改变写入二进制日志中
(2)Slave节点会在一定时间间隔内对Master的二进制日志进行探测其是否发生改变,如果发生改变,则开始一个I/O线程请求 Master的二进制事件
(3)同时Master节点为每个I/O线程启动一个dump线程,用于向其发送二进制事件,并保存至Slave节点本地的中继日志(Relay log)中
(4)Slave节点将启动SQL线程从中继日志中读取二进制日志,在本地存放,即解析成 sql 语句逐一执行,使得其数据和 Master节点的保持一致,最后I/O线程和SQL线程将进入睡眠状态,等待下一次被唤醒
注意:
中继日志通常会位于 OS 缓存中,所以中继日志的开销很小
复制过程有一个很重要的限制,即复制在slave上是串行化的,也就是说Master上的并行更新操作不能在slave上并行操作
1.3MySQL的四种同步方式
MySQL有四种同步方式:
1、异步复制(Async Replication)
2、同步复制(sync Replication)
3、半同步复制(Async Replication)
4、增强半同步复制(lossless Semi-Sync Replication)、无损复制
1.3.1异步复制(Async Replication)
主库将更新写入Binlog日志文件后,不需要等待数据更新是否已经复制到从库中,就可以继续处理更多的请求。Master将事件写入binlog,但并不知道Slave是否或何时已经接收且已处理。在异步复制的机制的情况下,如果Master宕机,事务在Master上已提交,但很可能这些事务没有传到任何的Slave上。假设有Master->Salve故障转移的机制,此时Slave也可能会丢失事务。MySQL复制默认是异步复制,异步复制提供了最佳性能。
1.3.2同步复制(Sync Replication)
主库将更新写入Binlog日志文件后,需要等待数据更新已经复制到从库中,并且已经在从库执行成功,然后才能返回继续处理其它的请求。同步复制提供了最佳安全性,保证数据安全,数据不会丢失,但对性能有一定的影响。
1.3.3半同步复制(Semi-Sync Replication)
主库提交更新写入二进制日志文件后,等待数据更新写入了从服务器中继日志中,然后才能再继续处理其它请求。该功能确保至少有1个从库接收完主库传递过来的binlog内容已经写入到自己的relay log里面了,才会通知主库上面的等待线程,该操作完毕。
半同步复制,是最佳安全性与最佳性能之间的一个折中。
MySQL 5.5版本之后引入了半同步复制功能,主从服务器必须安装半同步复制插件,才能开启该复制功能。如果等待超时,超过rpl_semi_sync_master_timeout参数设置时间(默认值为10000,表示10秒),则关闭半同步复制,并自动转换为异步复制模式。当master dump线程发送完一个事务的所有事件之后,如果在rpl_semi_sync_master_timeout内,收到了从库的响应,则主从又重新恢复为增强半同步复制。
ACK (Acknowledge character)即是确认字符。
1.3.4增强半同步复制(lossless Semi-Sync Replication、无损复制)
增强半同步是在MySQL 5.7引入,其实半同步可以看成是一个过渡功能,因为默认的配置就是增强半同步,所以,大家一般说的半同步复制其实就是增强的半同步复制,也就是无损复制。
增强半同步和半同步不同的是,等待ACK时间不同
rpl_semi_sync_master_wait_point = AFTER_SYNC(默认)
半同步的问题是因为等待ACK的点是Commit之后,此时Master已经完成数据变更,用户已经可以看到最新数据,当Binlog还未同步到Slave时,发生主从切换,那么此时从库是没有这个最新数据的,用户看到的是老数据。
增强半同步将等待ACK的点放在提交Commit之前,此时数据还未被提交,外界看不到数据变更,此时如果发送主从切换,新库依然还是老数据,不存在数据不一致的问题
1.4MySQL集群和主从复制分别适合什么场景下使用
集群和主从复制是为了应对高并发、大访问量的情况,如果网站访问量和并发量太大了,少量的数据库服务器是处理不过来的,会造成网站访问慢,数据写入会造成数据表或记录被锁住,锁住的意思就是其他访问线程暂时不能读写要等写入完成才能继续,这样会影响其他用户读取速度,采用主从复制可以让一些服务器专门读,一些专门写可以解决这个问题
1.5为什么使用主从复制,读写分离
主从复制、读写分离一般是一起使用的,目的很简单,就是为了提高数据库的并发性能。你想,假设是单机,读写都在一台MySQL上面完成,性能肯定不高。如果有三台MySQL,一台mater只负责写操作,两台salve只负责读操作,性能不就能大大提高了吗?
所以主从复制、读写分离就是为了数据库能支持更大的并发
随着业务量的扩展、如果是单机部署的MySQL,会导致I/O频率过高。采用主从复制、读写分离可以提高数据库的可用性
1.6用途及条件
(1)MYSQL主从复制用途:
实时灾备,用于故障切换
读写分离,提供查询服务
备份,避免影响服务
(2)必要条件
主库开启binlog日志
主从server-id不同
从库服务器能够连通主库
1.7MYSQL主从复制存在的问题
①主库宕机后,数据可能丢失
②从库只有一个SQL Thread,主库写压力大,复制很可能延时
解决办法:
半同步复制——解决数据丢失的问题
并行复制——解决从库复制延迟的问题
1.8MySQL主从复制延迟
(1)master服务器高并发,形成大量事务
(2)网络延迟
(3)主从硬件设备导致——cpu主频、内存io、硬盘io
(4)本来就不是同步复制、而是异步复制
从库优化Mysql参数。比如增大innodb_buffer_pool_size,让更多操作在Mysql内存中完成,减少磁盘操作
从库使用高性能主机,包括cpu强悍、内存加大。避免使用虚拟云主机,使用物理主机,这样提升了i/o方面性
从库使用SSD磁盘
网络优化,避免跨机房实现同步
二、MySQL读写分离
扩展阅读:
使用Sharding-JDBC 实现Mysql读写分离:https://developer.aliyun.com/article/1136722
Centos 7使用MyCat搭建 MySQL-读写分离:https://developer.aliyun.com/article/1143556
2.1什么是读写分离
2.1.1读写分离基本原理
读写分离,基本的原理是让主数据库处理事务性增、改、删操作(INSERT、UPDATE、DELETE),而从数据库处理SELECT查询操作
数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库
2.1.2mysql读写分离原理
读写分离就是只在主服务器上写,只在从服务器上读。基本的原理是让主数据库处理事务性操作,而从数据库处理 select 查询。数据库复制被用来把主数据库上事务性操作导致的变更同步到集群中的从数据库
2.2为什么要读写分离
因为数据库的“写”(写10000条数据可能要3分钟)操作是比较耗时的
但是数据库的“读”(读10000条数据可能只要5秒钟)
所以读写分离,解决的是,数据库的写入,影响了查询的效率
2.3什么时候要读写分离
(1)数据库不一定要读写分离,如果程序使用数据库较多时,而更新少,查询多的情况下会考虑使用。
(2)利用数据库主从同步,再通过读写分离可以分担数据库压力,提高性能
2.4主从复制与读写分离
在实际的生产环境中,对数据库的读和写都在同一个数据库服务器中,是不能满足实际需求的。无论是在安全性、高可用性还是高并发等各个方面都是完全不能满足实际需求的。因此,通过主从复制的方式来同步数据,再通过读写分离来提升数据库的并发负载能力。
有点类似于rsync,但是不同的是rsync是对磁盘文件做备份,而mysql主从复制是对数据库中的数据、语句做备份
2.5MySQL读写分离的俩种实现方式
目前较为常见的mysql读写分离分为以下俩种:
2.5.1基于程序代码内部实现
在代码中根据 select、insert 进行路由分类,这类方法也是目前生产环境应用最广泛的。
优点是性能较好,因为在程序代码中实现,不需要增加额外的设备为硬件开支;缺点是需要开发人员来实现,运维人员无从下手。
但是并不是所有的应用都适合在程序代码中实现读写分离,像一些大型复杂的Java应用,如果在程序代码中实现读写分离对代码改动就较大。
2.5.2基于中间代理层实现
代理一般位于客户端和服务器之间,代理服务器接到客户端请求后通过判断后转发到后端数据库,有以下代表性程序
(1)MySQL-Proxy:MySQL-Proxy 为 MySQL 开源项目,通过其自带的 lua 脚本进行SQL 判断。
(2)Atlas:是由奇虎360的Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它是在mysql-proxy 0.8.2版本的基础上,对其进行了优化,增加了一些新的功能特性。360内部使用Atlas运行的mysql业务,每天承载的读写请求数达几十亿条。支持事物以及存储过程。
(3)Amoeba:由陈思儒开发,作者曾就职于阿里巴巴。该程序由Java语言进行开发,阿里巴巴将其用于生产环境。但是它不支持事务和存储过程。
注:由于使用MySQL Proxy 需要写大量的Lua脚本,这些Lua并不是现成的,而是需要自己去写。这对于并不熟悉MySQL Proxy 内置变量和MySQL Protocol 的人来说是非常困难的。Amoeba是一个非常容易使用、可移植性非常强的软件。因此它在生产环境中被广泛应用于数据库的代理层
三、MySQL主从复制和读写分离实验部署
3.1环境配置
服务器 | 系统 | IP地址 | 安装包或软件 |
---|---|---|---|
Master | CentOS 7 | 192.168.145.10 | ntp, mysql-boost-5.7.20.tar.gz |
Slave 1 | CentOS 7 | 192.168.145.21 | ntp,ntpdate,mysql-boost-5.7.20.tar.gz |
---|---|---|---|
Slave 2 | CentOS 7 | 192.168.145.12 | ntp,ntpdate, mysql-boost-5.7.20.tar.gz |
Amoeba | CentOS 7 | 192.168.121.22 | jdk-6u14-linux-x64.bin、amoeba-mysql-binary-2.2.0.tar.gz |
---|---|---|---|
客户端 | CentOS7 | 192.168.121.55 | Mariadb |
3.2初始环境准备
1 |
|
3.3搭建MySQL主从复制
3.3.1搭建时间同步(主服务器:192.168.145.10)
主mysql服务器192.168.145.10上的配置
总体操作:
1 |
|
分部演示:
①安装时间同步服务器
1 |
|
②修改配置文件
1 |
|
④开启服务
1 |
|
3.3.2搭建时间同步(从服务器:192.168.145.21、192.168.145.12)
总体操作:
1 |
|
分部演示:
从mysql服务器192.168.145.21上的配置
①安装时间同步服务器、同步服务
1 |
|
②开启服务
1 |
|
③执行同步
1 |
|
④计划定时任务
1 |
|
从mysql服务器192168.145.12上的配置(与上文配置相同)
①安装时间同步服务器、同步服务
1 |
|
②开启服务
1 |
|
③执行同步
1 |
|
④计划定时任务
1 |
|
3.3.3配置主服务器(192.168.145.10)
总体操作:
1 |
|
分部演示:
①开启二进制日志
1 |
|
②重启服务
1 |
|
③登入mysql,给从服务器在网段授权
1 |
|
3.3.4配置从服务器(192.168.145 .21/192.168.145.12)
总体操作:
1 |
|
分部演示:
#########slave2:192.168.145.21与以上操作相同######
从mysql服务器192168.145.21上的配置
①开启二进制日志
1 |
|
②重启服务
1 |
|
③登入mysql,配置同步注意master_log_file和master_log_pos的值要和master查询的一致
mysql -u root -p
1 |
|
④启动同步
1 |
|
一般 Slave_IO_Running: Connecting/No 的可能性:
1、网络不通
2、my.cnf配置有问题
3、密码、file文件名、pos偏移量不对
4、防火墙没有关闭
从mysql服务器192168.137.10上的配置
①开启二进制日志
1 |
|
②重启服务
1 |
|
③登入mysql,配置同步注意master_log_file和master_log_pos的值要和master查询的一致
1 |
|
④启动同步
1 |
|
3.3.5验证主从同步
1 |
|
1 |
|
注:如果需要新加入从服务器,需要先锁住主服务器(防止别人写入数据造成数据丢失),然后将主服务器的数据全部备份到新的从服务器上,然后在新添加的从服务器上 master_log_file 和 master_log_pos 的值是最新的。
1 |
|
3.4搭建MySQL读写分离
3.4.1安装java环境
总体操作:
1 |
|
分部演示:
①下载 安装包
②把jdk复制到/usr/local下
1 |
|
③赋予jdk权限并执行
1 |
|
④把jdk改个名字
1 |
|
⑤配置环境并刷新
1 |
|
3.4.2配置amoeba
总体操作:
1 |
|
分部演示:
①在/usr/local目录下创建amoeba目录并解压amoeba
1 |
|
②切换至opt解压amoeba
1 |
|
③给目录/usr/local/amoeba赋予执行权限并运行amoeba
1 |
|
3.4.3配置amoeba读写分离
总体操作:
1 |
|
分部演示:
①先在master、slave1、slave2的mysql上开放权限给amoeba访问
1 |
|
②备份amoeba配置
1 |
|
③修改amoeba配置
1 |
|
④启动amoeba,并测试
1 |
|
3.4.4进行主从复制测试
①这边就把amoeba机器当成客户机进行测试(也可以使用另一台机器当客户端)
1 |
|
②登入并查看数据库
1 |
|
③测试同步
1 |
|
④在从服务器上查看
3.4.5进行读写分离测试
①两台从服务器上
1 |
|
1 |
|
四、总结
mysql的主从复制原理和读写分离的原理;
MySQL有四种同步方式:异步复制(Async Replication)、同步复制(sync Replication)、半同步复制(Async Replication)、增强半同步复制(lossless Semi-Sync Replication);
MySQL读写分离的俩种实现方式:基于程序代码内部实现、基于中间代理层实现。