本篇文章給大家介紹了關(guān)于MySQL讀寫分離的相關(guān)知識,希望對大家有幫助。
MySQL 讀寫分離的概述
-
MySQL 作為目前世界上使用最廣泛的免費(fèi)數(shù)據(jù)庫,相信所有從事系統(tǒng)運(yùn)維的工程師都一定接觸過。
-
在實(shí)際的生產(chǎn)環(huán)境中,由單臺 MySQL 作為獨(dú)立的數(shù)據(jù)庫是完全不能滿足實(shí)際需求的,無論是在安全性,高可用性以及高并發(fā)等各個方面。
-
因此,一般來說都是通過主從復(fù)制(Master-Slave)的方式來同步數(shù)據(jù),再通過讀寫分離(MySQL-Proxy/Amoeba)來提升數(shù)據(jù)庫的并發(fā)負(fù)載能力進(jìn)行部署與實(shí)施。
讀寫分離工作原理
-
基本的原理是:
-
主數(shù)據(jù)庫處理事務(wù)性增、改、刪操作(INSERT、UPDATE、DELETE)
-
從數(shù)據(jù)庫處理 SELECT 查詢操作
-
數(shù)據(jù)庫復(fù)制被用來把事務(wù)性操作導(dǎo)致的變更同步到集群中的從數(shù)據(jù)庫。
為什么要讀寫分離
-
面對越來越大的訪問壓力,單臺的服務(wù)器的性能成為瓶頸,需要分擔(dān)負(fù)載
-
主從只負(fù)責(zé)各自的寫和讀,極大程度的緩解 X(寫)鎖和 S(讀)鎖爭用
-
從庫可配置 myisam 引擎,提升查詢性能以及節(jié)約系統(tǒng)開銷
-
增加冗余,提高可用性
實(shí)現(xiàn)讀寫分離的方式
- 一般有兩種方式實(shí)現(xiàn)
- 應(yīng)用程序?qū)訉?shí)現(xiàn),網(wǎng)站的程序?qū)崿F(xiàn)
- 應(yīng)用程序?qū)訉?shí)現(xiàn)指的是在應(yīng)用程序內(nèi)部及連接器中實(shí)現(xiàn)讀寫分離
-
優(yōu)點(diǎn):
-
應(yīng)用程序內(nèi)部實(shí)現(xiàn)讀寫分離,安裝既可以使用
-
減少一定部署難度
-
訪問壓力在一定級別以下,性能很好
-
缺點(diǎn):
-
架構(gòu)一旦調(diào)整,代碼要跟著變
-
難以實(shí)現(xiàn)高級應(yīng)用,如自動分庫,分表
-
無法適用大型應(yīng)用場景
中間件層實(shí)現(xiàn):
-
中間件層實(shí)現(xiàn)是指在外部中間件程序?qū)崿F(xiàn)讀寫分離
-
常見的中間件程序
-
Cobar:
-
阿里巴巴 B2B 開發(fā)的關(guān)系型分布式系統(tǒng),管理將近 3000 個 MySQL 實(shí)例。 在阿里經(jīng)受住了考驗(yàn),后面由于作者的走開的原因 cobar 沒有人維護(hù) 了,阿里也開發(fā)了 tddl 替代 cobar。
-
MyCAT:
-
社區(qū)愛好者在阿里 cobar 基礎(chǔ)上進(jìn)行二次開發(fā),解決了 cobar 當(dāng)時存在的一些問題,并且加入了許多新的功能在其中。目前 MyCAT 社區(qū)活躍度很高,已經(jīng)有一些公司在使用 MyCAT??傮w來說支持度比
-
較高,也會一直維護(hù)下去。
-
OneProxy:
-
數(shù)據(jù)庫界大牛,前支付寶數(shù)據(jù)庫團(tuán)隊(duì)領(lǐng)導(dǎo)樓總開發(fā),基于 mysql 官方 的 proxy 思想利用 c 進(jìn)行開發(fā)的,OneProxy 是一款商業(yè)收費(fèi)的中間件,樓總舍去了一些功能點(diǎn),專注在性能和穩(wěn)定性上。有人測
-
試過說在高并發(fā)下很穩(wěn)定。
-
Vitess:
-
這個中間件是 Youtube 生產(chǎn)在使用的,但是架構(gòu)很復(fù)雜。 與以往中間件不同,使用 Vitess 應(yīng)用改動比較大,要使用他提供語言的 API 接口,我們可以借鑒他其中的一些設(shè)計(jì)思想。
-
Kingshard:
-
Kingshard 是前 360Atlas 中間件開發(fā)團(tuán)隊(duì)的陳菲利用業(yè)余時間 用 go 語言開發(fā)的,目前參與開發(fā)的人員有 3 個左右, 目前來看還不是成熟可以使用的產(chǎn)品,需要在不斷完善。
-
Atlas:
-
360 團(tuán)隊(duì)基于 mysql proxy 把 lua 用 C 改寫。原有版本是支持分表, 目前已經(jīng)放出了分庫分表版本。在網(wǎng)上看到一些朋友經(jīng)常說在高并發(fā)下會經(jīng)常掛掉,如果大家要使用需要提前做好測試。
-
MaxScale 與 MySQL Route:
-
這兩個中間件都算是官方的,MaxScale 是 mariadb (MySQL 原作者維護(hù)的一個版本)研發(fā)的,目前版本不支持分庫分表。MySQL Route 是現(xiàn)在 MySQL 官方 Oracle 公司發(fā)布出來的一個中間件。
-
優(yōu)點(diǎn):
-
架構(gòu)設(shè)計(jì)更靈活
-
可以在程序上實(shí)現(xiàn)一些高級控制,如:透明化水平拆分,failover,監(jiān)控可以依靠技術(shù)手段提高 mysql 性能對業(yè)務(wù)代碼的影響小,同時也安全
-
缺點(diǎn):
-
需要一定的開發(fā)運(yùn)維團(tuán)隊(duì)的支持。
什么是 MyCAT
-
一個徹底開源的,面向企業(yè)應(yīng)用開發(fā)的大數(shù)據(jù)庫集群
-
支持事務(wù)、ACID、可以替代 MySQL 的加強(qiáng)版數(shù)據(jù)庫
-
一個可以視為 MySQL 集群的企業(yè)級數(shù)據(jù)庫,用來替代昂貴的 Oracle 集群
-
一個融合內(nèi)存緩存技術(shù)、NoSQL 技術(shù)、HDFS 大數(shù)據(jù)的新型 SQL Server
-
結(jié)合傳統(tǒng)數(shù)據(jù)庫和新型分布式數(shù)據(jù)倉庫的新一代企業(yè)級數(shù)據(jù)庫產(chǎn)品
-
一個新穎的數(shù)據(jù)庫中間件產(chǎn)品
MyCat 服務(wù)安裝與配置
-
MyCat 有提供編譯好的安裝包,支持 Windows、Linux、Mac、Solaris 等系統(tǒng)上安裝與運(yùn)行
-
官方下載主頁 http://www.mycat.org.cn/
- 實(shí)驗(yàn)架構(gòu):
- 192.168.2.2 Mycat CentOS 8.3.2011
- 192.168.2.3 主服務(wù)器 CentOS 7.6
- 192.168.2.5 從服務(wù)器 CentOS 7.6
- 運(yùn)行 Mycat 需要JDK 1.7 或者以上版
- 下載 Mycat
- wget http://dl.mycat.org.cn/1.6.7.6/20210303094759/Mycat-server-1.6.7.6-release-20210303094759-linux.tar.gz
- tar xf Mycat-server-1.6.7.6-release-20210303094759-linux.tar.gz -C /usr/local/
- sudo useradd -M -N -s /sbin/nologin mycat && echo "123456" | sudo passwd –stdin mycat
- sudo chown -R mycat. /usr/local/mycat/
- bin 程序目錄,Linux 下運(yùn)行:./mycat console,首先要 chmod +x *
注:mycat 支持的命令{ console | start | stop | restart | status | dump }
conf 目錄下存放配置文件:server.xml 是 Mycat 服務(wù)器參數(shù)調(diào)整和用戶授權(quán)的配置文件,schema.xml 是邏輯庫定義和表以及分片定義的配置文件,rule.xml 是分片規(guī)則的配置文件,分片規(guī)則的具體一些參數(shù)信息單獨(dú)存放為文件,也在這個目錄下,配置文件修改,需要重啟 Mycat 生效。
lib 目錄下主要存放 mycat 依賴的一些 jar 文件。
日志存放在 logs/mycat.log 中,每天一個文件,日志的配置是在 conf/log4j.xml 中,根據(jù)自己的需要,可以調(diào)整輸出級別為 debug,在 debug 級別下,會輸出