明輝手游網(wǎng)中心:是一個(gè)免費(fèi)提供流行視頻軟件教程、在線(xiàn)學(xué)習(xí)分享的學(xué)習(xí)平臺(tái)!

詳細(xì)說(shuō)明說(shuō)明mydumper原理

[摘要]mydumper的安裝:http://www.cnblogs.com/lizhi221/p/7010174.html mydumper介紹 MySQL自身的mysqldump工具支持單線(xiàn)程工作,依次一個(gè)個(gè)導(dǎo)出多個(gè)表,沒(méi)有一個(gè)并行的機(jī),這就使得它無(wú)法迅速的備份數(shù)據(jù)。 mydumper作為一個(gè)實(shí)用工具...
mydumper的安裝:http://www.cnblogs.com/lizhi221/p/7010174.html
mydumper介紹
MySQL自身的mysqldump工具支持單線(xiàn)程工作,依次一個(gè)個(gè)導(dǎo)出多個(gè)表,沒(méi)有一個(gè)并行的機(jī),這就使得它無(wú)法迅速的備份數(shù)據(jù)。
mydumper作為一個(gè)實(shí)用工具,能夠良好支持多線(xiàn)程工作,可以并行的多線(xiàn)程的從表中讀入數(shù)據(jù)并同時(shí)寫(xiě)到不同的文件里,這使得它在處理速度方面快于傳統(tǒng)的mysqldump。其特征之一是在處理過(guò)程中需要對(duì)列表加以鎖定,因此如果我們需要在工作時(shí)段執(zhí)行備份工作,那么會(huì)引起DML阻塞。但一般現(xiàn)在的MySQL都有主從,備份也大部分在從上進(jìn)行,所以鎖的問(wèn)題可以不用考慮。這樣,mydumper能更好的完成備份任務(wù)。
mydumper特性
①多線(xiàn)程備份
②因?yàn)槭嵌嗑(xiàn)程邏輯備份,備份后會(huì)生成多個(gè)備份文件
③備份時(shí)對(duì)MyISAM表施加FTWRL(FLUSH TABLES WITH READ LOCK),會(huì)阻塞DML語(yǔ)句
④保證備份數(shù)據(jù)的一致性
⑤支持文件壓縮
⑥支持導(dǎo)出binlog
⑦支持多線(xiàn)程恢復(fù)
⑧支持以守護(hù)進(jìn)程模式工作,定時(shí)快照和連續(xù)二進(jìn)制日志
⑨支持將備份文件切塊
mydumper參數(shù)詳解
$ mydumper --helpUsage:
  mydumper [OPTION...] multi-threaded MySQL dumping

Help Options:  -?, --help                  Show help optionsApplication Options:  -B, --database              要備份的數(shù)據(jù)庫(kù),不指定則備份所有庫(kù)
  -T, --tables-list           需要備份的表,名字用逗號(hào)隔開(kāi)
  -o, --outputdir             備份文件輸出的目錄
  -s, --statement-size        生成的insert語(yǔ)句的字節(jié)數(shù),默認(rèn)1000000
  -r, --rows                  Try to split tables into chunks of this many rows. This option turns off --chunk-filesize
  -F, --chunk-filesize        Split tables into chunks of this output file size. This value is in MB
  -c, --compress              Compress output files壓縮輸出文件
  -e, --build-empty-files     如果表數(shù)據(jù)是空,還是產(chǎn)生一個(gè)空文件(默認(rèn)無(wú)數(shù)據(jù)則只有表結(jié)構(gòu)文件)
  -x, --regex                 Regular expression for 'db.table' matching 使用正則表達(dá)式匹配'db.table'
  -i, --ignore-engines        Comma delimited list of storage engines to ignore忽略的存儲(chǔ)引擎,用逗號(hào)分割
  -m, --no-schemas            Do not dump table schemas with the data不備份表結(jié)構(gòu),只備份數(shù)據(jù)
  -d, --no-data               Do not dump table data備份表結(jié)構(gòu),不備份數(shù)據(jù)
  -G, --triggers              Dump triggers備份觸發(fā)器
  -E, --events                Dump events
  -R, --routines              Dump stored procedures and functions備份存儲(chǔ)過(guò)程和函數(shù)
  -k, --no-locks              不使用臨時(shí)共享只讀鎖,使用這個(gè)選項(xiàng)會(huì)造成數(shù)據(jù)不一致
  --less-locking              Minimize locking time on InnoDB tables.減少對(duì)InnoDB表的鎖施加時(shí)間
  -l, --long-query-guard      設(shè)定阻塞備份的長(zhǎng)查詢(xún)超時(shí)時(shí)間,單位是秒,默認(rèn)是60秒(超時(shí)后默認(rèn)mydumper將會(huì)退出)
  -K, --kill-long-queries     Kill long running queries (instead of aborting)殺掉長(zhǎng)查詢(xún) (不退出)
  -D, --daemon                Enable daemon mode啟用守護(hù)進(jìn)程模式,守護(hù)進(jìn)程模式以某個(gè)間隔不間斷對(duì)數(shù)據(jù)庫(kù)進(jìn)行備
  -I, --snapshot-interval     dump快照間隔時(shí)間,默認(rèn)60s,需要在daemon模式下
  -L, --logfile               使用的日志文件名(mydumper所產(chǎn)生的日志), 默認(rèn)使用標(biāo)準(zhǔn)輸出
  --tz-utc                    SET TIME_ZONE='+00:00' at top of dump to allow dumping of TIMESTAMP data when a server has data in different time zones or data is being moved between servers with different time zones, defaults to on use --skip-tz-utc to disable.
  --skip-tz-utc               
  --use-savepoints            使用savepoints來(lái)減少采集metadata所造成的鎖時(shí)間,需要 SUPER 權(quán)限
  --success-on-1146           Not increment error count and Warning instead of Critical in case of table doesn't exist
  --lock-all-tables           Use LOCK TABLE for all, instead of FTWRL
  -U, --updated-since         Use Update_time to dump only tables updated in the last U days
  --trx-consistency-only      Transactional consistency only
  -h, --host                  連接的主機(jī)名
  -u, --user                  用來(lái)備份的用戶(hù)名
  -p, --password              用戶(hù)密碼
  -P, --port                  連接端口
  -S, --socket                使用socket通信時(shí)的socket文件
  -t, --threads               開(kāi)啟的備份線(xiàn)程數(shù),默認(rèn)是4
  -C, --compress-protocol     壓縮與mysql通信的數(shù)據(jù)
  -V, --version               顯示版本號(hào)
  -v, --verbose               輸出信息模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默認(rèn)為2
mydumper主要流程概括
1、主線(xiàn)程 FLUSH TABLES WITH READ LOCK, 施加全局只讀鎖,以阻止DML語(yǔ)句寫(xiě)入,保證數(shù)據(jù)的一致性
2、讀取當(dāng)前時(shí)間點(diǎn)的二進(jìn)制日志文件名和日志寫(xiě)入的位置并記錄在metadata文件中,以供即使點(diǎn)恢復(fù)使用
3、N個(gè)(線(xiàn)程數(shù)可以指定,默認(rèn)是4)dump線(xiàn)程 START TRANSACTION WITH CONSISTENT SNAPSHOT; 開(kāi)啟讀一致的事務(wù)
4、dump non-InnoDB tables, 首先導(dǎo)出非事務(wù)引擎的表
5、主線(xiàn)程 UNLOCK TABLES 非 事務(wù)引擎?zhèn)浞萃旰,釋放全局只讀鎖
6、dump InnoDB tables, 基于 事務(wù)導(dǎo)出InnoDB表
7、事務(wù)結(jié)束
  mydumper的less locking模式:
mydumper使用--less-locking可以減少鎖等待時(shí)間,此時(shí)mydumper的執(zhí)行機(jī)制大致為
1、主線(xiàn)程 FLUSH TABLES WITH READ LOCK (全局鎖)
2、Dump線(xiàn)程 START TRANSACTION WITH CONSISTENT SNAPSHOT;
3、LL Dump線(xiàn)程 LOCK TABLES non-InnoDB (線(xiàn)程內(nèi)部鎖)
4、主線(xiàn)程UNLOCK TABLES
5、LL Dump線(xiàn)程 dump non-InnoDB tables
6、LL DUmp線(xiàn)程 UNLOCK non-InnoDB
7、Dump線(xiàn)程 dump InnoDB tables
mydumper備份流程圖
詳解介紹mydumper原理


以上就是詳解介紹mydumper原理的詳細(xì)內(nèi)容,更多請(qǐng)關(guān)注php中文網(wǎng)其它相關(guān)文章!


學(xué)習(xí)教程快速掌握從入門(mén)到精通的SQL知識(shí)。