Mysql主从复制与读写分离_如何验证主从分离-程序员宅基地

技术标签: 运维  MySQL  服务器  mysql  数据库  

目录

一.主从复制与读写分离概述

1什么是读写分离

2.为什么要读写分离

3.什么时候要读写分离

4.主从复制与读写分离

5.mysql支持的复制类型

6.主从复制的工作过程

7.MySQL主从复制延迟

8.MySQL读写分离原理

9.常见的MySQL读写分离(两种)

(1)基于程序代码内部实现

(2)基于中间代理层实现

二.搭建MySQL主从复制

1.主从服务器时间同步 

 2.主服务器的Mysql配置

  3.从服务器的mysql配置

 4.验证主从分离

 三.搭建MySQL读写分离

1.Amoeba服务器配置

 2.测试读写分离


一.主从复制与读写分离概述

1什么是读写分离

读写分离,基本的原理是让主数据库处理事务性增、改、删操作( INSERT、UPDATE、DELETE) 而从数据库处理SELECT查询操作。

数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库

2.为什么要读写分离

因为数据库的“写”(写10000条数据可能要3分钟)操作是比较耗时的;
但是数据库的“读”(读10000条数据可能只要5秒钟);
所以读写分离,解决的是,数据库的写入,影响了查询的效率.

3.什么时候要读写分离

数据库不一定要读写分离,如果程序使用数据库较多时,而更新少,查询多的情况下会考虑使用。利用数据库主从同步,再通过读写分离可以分担数据库压力,提高性能

4.主从复制与读写分离

在实际的生产环境中,对数据库的读和写都在同一个数据库服务器中,是不能满足实际需求的。无论是在安全性、高可用性还是高并发等各个方面都是完全不能满足实际需求的。因此,通过主从复制的方式来同步数据,再通过读写分离来提升数据库的并发负载能力。有点类似于rsync,但是不同的是rsync是对磁盘文件做备份,而mysq1 主从复制是对数据库中的数据、语句做备份

5.mysql支持的复制类型

STATEMENT:基于语句的复制 在服务器上执行SQL语句,在从服务器上执行相同的语句,MySQL默认采用基于语句的复制,执行效率高
ROW:基于行的复制 把改变的内容复制过去,而不是把命令在从服务器上执行一遍
MIXED:混合类型的复制 默认采用基于语句的复制,一旦发现基于语句无法精确复制时,就会采用基于行的复制

6.主从复制的工作过程

 1.Master节点将数据的改变记录成二进制日志(bin log),当Master上的数据发生改变时,则将  其改变写入二进制日志中。

 2.Slave节点会在一定时间间隔内对Master的二进制日志进行探测其是否发生改变,如果发生改变,则开始一个I/O线程请求Master的二进制事件。

3.同时Master节点为每个I/O线程启动一个dump线程,用于向其发送二进制事件,并保存至Slave节点本地的中继日志(Relay log)中,Slave节点将启动SQL线程从中继日志中读取二进制日志,在本地重放,即解析成SQL语句逐一执行,使得其数据和Master节点的保持一致,最后I/O线程和SQL线程将进入睡眠状态,等待下一次被唤醒。

注意:

中继日志通常会位于 OS 缓存中,所以中继日志的开销很小。

复制过程中有一个很重要的限制,即复制在 Slave 上是串化的,也就是说 Master上的并行更新操作不能再Slave上并行操作。

7.MySQL主从复制延迟

(1)master服务器高并发,形成大量事务
(2)网络延迟
(3)主从硬件设备导致 cpu主频、内存io、硬盘io
(4)从库使用高性能主机。包括cpu强悍、内存加大。避免使用虚拟云主机,使用物理主机,这样提升了i/o方面性。
(5)从库使用SSD磁盘。
(6)网络优化,避免跨机房实现同步

8.MySQL读写分离原理

 读写分离就是只在主服务器上写,只在从服务器上读。基本的原理是让主数据库处理事务性查询,而从数据库处理select查询。数据库复制被用来把主数据库上事务性查询导致的变更同步到集群中的从数据库

9.常见的MySQL读写分离(两种)

(1)基于程序代码内部实现

在代码中根据select、 insert 进行路由分类,这类方法也是目前生产环境应用最广泛的。
优点是性能较好,因为在程序代码中实现,不需要增加额外的设备为硬件开支;缺点是需要开发人员来实现,运维人员无从下手

但是并不是所有的应用都适合在程序代码中实现读写分离,像一些大型复杂的Java应用,如果在程序代码中实现读写分离对代码改动就较大。

(2)基于中间代理层实现

代理一般位于客户端和服务器之间,代理服务器接到客户端请求后通过判断后转发到后端数据库

有以下代表性程序:

MySQL-Proxy MySQL-Proxy 为MySQL开源项目,通过其自带的lua脚本进行SQL判断
Atlas 是由奇虎360的Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它是在mysql-proxy0.8.2版本的基础上,对其进行了优化,增加了一些新的功能特性。360内部使用Atlas运行的mysq1业务,每天承载的读写请求数达几十亿条。支持事物以及存储过程
Amoeba 由陈思儒开发,作者曾就职于阿里巴巴。该程序由Java语言进行开发,阿里巴巴将其用于生产环境。但是它不支事务和存储过程

由于使用MySQL Proxy 需要写大量的Lua脚木,这些Lua并不是现成的,而是需要自己去写。这对于并不熟悉MySQL Proxy内置变量和MySQLProtocol的人来说是非常困难的

Amoeba是一个非常容易使用、可移植性非常强的软件。因此它在生产环境中被广泛应用于数据库的代理层.

二.搭建MySQL主从复制

环境准备:

主机 操作系统 IP地址 所需工具/软件/安装包
Master CentOS7 192.168.111.175 ntp 、 mysql-boost-5.7.20.tar.gz
Slave1 CentOS7 192.168.111.176 ntp 、ntpdate 、 mysql-boost-5.7.20.tar.gz
Slave2 CentOS7 192.168.111.177 ntp 、ntpdate 、mysql-boost-5.7.20.tar.gz

 所有服务器关闭防火墙:

systemctl stop firewalld
systemctl disable firewalld
setenforce 0

1.主从服务器时间同步 

主服务器Master设置(192.168.111.175)

 

 

 从服务器设置(192.168.111.176、192.168.111.177)

 

 2.主服务器的Mysql配置

 

  3.从服务器的mysql配置

配置slave1

 

 配置Slave2

 

 4.验证主从分离

 

 三.搭建MySQL读写分离

实验准备:

主机 操作系统 IP地址 所需工具/软件/安装包
Master CentOS7 192.168.111.175 ntp 、 mysql-boost-5.7.20.tar.gz
Amoeba CentOS7 192.168.111.178 jdk-6u14-linux-x64.bin、amoeba-mysql-binary-2.2.0.tar.gz
Slave1 CentOS7 192.168.111.176 ntp 、ntpdate 、 mysql-boost-5.7.20.tar.gz
Slave2 CentOS7 192.168.111.177 ntp 、ntpdate 、mysql-boost-5.7.20.tar.gz
客户端 CentOS7 192.168.111.173 - - - - - - - - - - - - - - - -- - - - - - - - - 

1.Amoeba服务器配置

配置Amoeba服务器(192.168.111.178)

因为Amoeba基于是jdk1.5 开发的,所以官方推荐使用jdk1.5 或1.6版本,高版本不建议使用。

 

 

 

 

 安装amoeba

 

 在Master、Slave1、 Slave2 的mysq上开放权限给Amoeba 访问

 回到amoeba服务器

 修改amoeba的主配置文件:

修改数据库配置文件:

 

 

启动Amoeba软件,按ctrl+c 返回

 查看8066端口是否开启,默认端口为TCP 8066

 2.测试读写分离

Master、Slave1、Slave2为搭建MySQL主从复制时配置的主机(详见 二.搭建MySQL主从复制)

客户机如果没有安装MySQL数据库可以使用mariadb客户端(mairadb比MySQL更轻量级的版本)

mariadb的作用:
提供命令库
提供连接数据的驱动
提供tcp的端口3306

yum install -y mariadb-server mariadb
systemctl start mariadb.service

我的客户端安装了mysql,没有使用mariadb

 client端远程访问amoeba的地址,并进入数据库创建新的数据库,并创建一个表

 

 查看master端

 查看slave1

  查看slave2

 现在在两台从服务器关闭同步

 slave1向表中添加内容

 slave2向表中添加内容

 主服务器向表中添加内容

 在使用客户端查看表的数据

 此时,在客户端写入数据

 master能看到已写入

 slave1和slave2看不到

 

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_57837701/article/details/120090639

智能推荐

c# 调用c++ lib静态库_c#调用lib-程序员宅基地

文章浏览阅读2w次,点赞7次,收藏51次。四个步骤1.创建C++ Win32项目动态库dll 2.在Win32项目动态库中添加 外部依赖项 lib头文件和lib库3.导出C接口4.c#调用c++动态库开始你的表演...①创建一个空白的解决方案,在解决方案中添加 Visual C++ , Win32 项目空白解决方案的创建:添加Visual C++ , Win32 项目这......_c#调用lib

deepin/ubuntu安装苹方字体-程序员宅基地

文章浏览阅读4.6k次。苹方字体是苹果系统上的黑体,挺好看的。注重颜值的网站都会使用,例如知乎:font-family: -apple-system, BlinkMacSystemFont, Helvetica Neue, PingFang SC, Microsoft YaHei, Source Han Sans SC, Noto Sans CJK SC, W..._ubuntu pingfang

html表单常见操作汇总_html表单的处理程序有那些-程序员宅基地

文章浏览阅读159次。表单表单概述表单标签表单域按钮控件demo表单标签表单标签基本语法结构<form action="处理数据程序的url地址“ method=”get|post“ name="表单名称”></form><!--action,当提交表单时,向何处发送表单中的数据,地址可以是相对地址也可以是绝对地址--><!--method将表单中的数据传送给服务器处理,get方式直接显示在url地址中,数据可以被缓存,且长度有限制;而post方式数据隐藏传输,_html表单的处理程序有那些

PHP设置谷歌验证器(Google Authenticator)实现操作二步验证_php otp 验证器-程序员宅基地

文章浏览阅读1.2k次。使用说明:开启Google的登陆二步验证(即Google Authenticator服务)后用户登陆时需要输入额外由手机客户端生成的一次性密码。实现Google Authenticator功能需要服务器端和客户端的支持。服务器端负责密钥的生成、验证一次性密码是否正确。客户端记录密钥后生成一次性密码。下载谷歌验证类库文件放到项目合适位置(我这边放在项目Vender下面)https://github.com/PHPGangsta/GoogleAuthenticatorPHP代码示例://引入谷_php otp 验证器

【Python】matplotlib.plot画图横坐标混乱及间隔处理_matplotlib更改横轴间距-程序员宅基地

文章浏览阅读4.3k次,点赞5次,收藏11次。matplotlib.plot画图横坐标混乱及间隔处理_matplotlib更改横轴间距

docker — 容器存储_docker 保存容器-程序员宅基地

文章浏览阅读2.2k次。①Storage driver 处理各镜像层及容器层的处理细节,实现了多层数据的堆叠,为用户 提供了多层数据合并后的统一视图②所有 Storage driver 都使用可堆叠图像层和写时复制(CoW)策略③docker info 命令可查看当系统上的 storage driver主要用于测试目的,不建议用于生成环境。_docker 保存容器

随便推点

网络拓扑结构_网络拓扑csdn-程序员宅基地

文章浏览阅读834次,点赞27次,收藏13次。网络拓扑结构是指计算机网络中各组件(如计算机、服务器、打印机、路由器、交换机等设备)及其连接线路在物理布局或逻辑构型上的排列形式。这种布局不仅描述了设备间的实际物理连接方式,也决定了数据在网络中流动的路径和方式。不同的网络拓扑结构影响着网络的性能、可靠性、可扩展性及管理维护的难易程度。_网络拓扑csdn

JS重写Date函数,兼容IOS系统_date.prototype 将所有 ios-程序员宅基地

文章浏览阅读1.8k次,点赞5次,收藏8次。IOS系统Date的坑要创建一个指定时间的new Date对象时,通常的做法是:new Date("2020-09-21 11:11:00")这行代码在 PC 端和安卓端都是正常的,而在 iOS 端则会提示 Invalid Date 无效日期。在IOS年月日中间的横岗许换成斜杠,也就是new Date("2020/09/21 11:11:00")通常为了兼容IOS的这个坑,需要做一些额外的特殊处理,笔者在开发的时候经常会忘了兼容IOS系统。所以就想试着重写Date函数,一劳永逸,避免每次ne_date.prototype 将所有 ios

如何将EXCEL表导入plsql数据库中-程序员宅基地

文章浏览阅读5.3k次。方法一:用PLSQL Developer工具。 1 在PLSQL Developer的sql window里输入select * from test for update; 2 按F8执行 3 打开锁, 再按一下加号. 鼠标点到第一列的列头,使全列成选中状态,然后粘贴,最后commit提交即可。(前提..._excel导入pl/sql

Git常用命令速查手册-程序员宅基地

文章浏览阅读83次。Git常用命令速查手册1、初始化仓库git init2、将文件添加到仓库git add 文件名 # 将工作区的某个文件添加到暂存区 git add -u # 添加所有被tracked文件中被修改或删除的文件信息到暂存区,不处理untracked的文件git add -A # 添加所有被tracked文件中被修改或删除的文件信息到暂存区,包括untracked的文件...

分享119个ASP.NET源码总有一个是你想要的_千博二手车源码v2023 build 1120-程序员宅基地

文章浏览阅读202次。分享119个ASP.NET源码总有一个是你想要的_千博二手车源码v2023 build 1120

【C++缺省函数】 空类默认产生的6个类成员函数_空类默认产生哪些类成员函数-程序员宅基地

文章浏览阅读1.8k次。版权声明:转载请注明出处 http://blog.csdn.net/irean_lau。目录(?)[+]1、缺省构造函数。2、缺省拷贝构造函数。3、 缺省析构函数。4、缺省赋值运算符。5、缺省取址运算符。6、 缺省取址运算符 const。[cpp] view plain copy_空类默认产生哪些类成员函数

推荐文章

热门文章

相关标签