加入收藏 | 设为首页 | 会员中心 | 我要投稿 核心网 (https://www.hxwgxz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 编程 > 正文

mydumper工具运用介绍

发布时间:2022-03-28 14:09:20 所属栏目:编程 来源:互联网
导读:mydumper工具使用介绍: 一、mydumper 具有如下特性: 1 支持多线程导出数据,速度比mysqldump快。 2 支持一致性备份,使用FTWRL(FLUSH TABLES WITH READ LOCK)会阻塞DML语句,保证备份数据的一致性。 3 支持将导出文件压缩,节约空间。 4 支持多线程恢复。 5
      mydumper工具使用介绍:

一、mydumper 具有如下特性:
 
    1 支持多线程导出数据,速度比mysqldump快。
    2 支持一致性备份,使用FTWRL(FLUSH TABLES WITH READ LOCK)会阻塞DML语句,保证备份数据的一致性。
    3 支持将导出文件压缩,节约空间。
    4 支持多线程恢复。
    5 支持以守护进程模式工作,定时快照和连续二进制日志
    6 支持按照指定大小将备份文件切割。
    7 数据与建表语句分离。
 
二 原理(流程图 见末尾)
mydumper的主要工作步骤
1 主线程 FLUSH TABLES WITH READ LOCK, 施加全局只读锁,以阻止DML语句写入,保证数据的一致性
2 读取当前时间点的二进制日志文件名和日志写入的位置并记录在metadata文件中,以供即使点恢复使用
3 START TRANSACTION WITH CONSISTENT SNAPSHOT; 开启读一致事务
4 启用N个(线程数可以指定,默认是4)dump线程导出表和表结构
5 备份非事务类型的表
6 主线程 UNLOCK TABLES,备份完成非事务类型的表之后,释放全局只读锁
7 dump InnoDB tables, 基于事物导出InnoDB表
8 事物结束
 
三 安装使用
 
1.yum install glib2-devel mysql-devel zlib-devel pcre-devel zlib gcc-c++ gcc cmake -y
2.wget https://launchpadlibrarian.net/225370879/mydumper-0.9.1.tar.gz
3.tar xf mydumper-0.9.1.tar.gz
4.cd mydumper-0.9.1/
5.cmake .
6.make && make install
 
安装好之后 ,会生成两个文件:
 
/usr/local/bin/mydumper  
/usr/local/bin/myloader
 
一般会遇到找不到 mysql-libraries 的问题,可以参考 stackoverflow 的回答,如果再解决不了,则可能是自己制定的MySQL安装目录的问题,比如我自己的安装目录是/opt/mysql/
则需要做一个软连接
ln -s /opt/mysql/lib/libperconaserverclient.so /usr/lib64/libperconaserverclient.so
 
3.2 参数说明
mydumper 的常用参数
-B, --database 要导出的dbname
-T, --tables-list 需要导出的表名,导出多个表需要逗号分隔,t1[,t2,t3 ....]
-o, --outputdir 导出数据文件存放的目录,mydumper会自动创建
-s, --statement-size 生成插入语句的字节数, 默认1000000字节
-r, --rows Try to split tables into chunks of this many rows. This option turns off --chunk-filesize
-F, --chunk-filesize 切割表文件的大小,默认单位是 MB ,如果表大于
-c, --compress 压缩导出的文件
-e, --build-empty-files 即使是空表也为表创建文件
-x, --regex 使用正则表达式匹配 db.table
-i, --ignore-engines 忽略的存储引擎,多个值使用逗号分隔
-m, --no-schemas 只导出数据,不导出建库建表语句
-d, --no-data 仅仅导出建表结构,创建db的语句
-G, --triggers 导出触发器
-E, --events 导出events
-R, --routines 导出存储过程和函数
-k, --no-locks 不执行临时的只读锁,会导致备份不一致 。WARNING: This will cause inconsistent backups
--less-locking 最小化在innodb表上的锁表时间 --butai
-l, --long-query-guard 设置长时间执行的sql 的时间标准
-K, --kill-long-queries 将长时间执行的sql kill
-D, --daemon 以守护进程的方式执行
-I, --snapshot-interval 创建导出快照的时间间隔,默认是 60s ,该参数只有在守护进程执行的时候有用。
-L, --logfile 指定mydumper输出的日志文件,默认使用控制台输出。
--tz-utc SET TIME_ZONE='+00:00' at top of dump to allow dumping of TIMESTAMP data when a server has data in different time zones or data is being moved between servers with different time zones, defaults to on use --skip-tz-utc to disable.
--skip-tz-utc
--use-savepoints 使用savepoints 减少MDL 锁事件 需要 SUPER 权限
--success-on-1146 Not increment error count and Warning instead of Critical in case of table doesn
myloader使用参数
-d, --directory 备份文件的文件夹
-q, --queries-per-transaction 每次事物执行的查询数量,默认是1000
-o, --overwrite-tables 如果要恢复的表存在,则先drop掉该表,使用该参数,需要备份时候要备份表结构
-B, --database 需要还原的数据库
-e, --enable-binlog 启用还原数据的二进制日志
-h, --host The host to connect to
-u, --user Username with privileges to run the dump
-p, --password User password
-P, --port TCP/IP port to connect to
-S, --socket UNIX domain socket file to use for connection
-t, --threads 还原所使用的线程数,默认是4
-C, --compress-protocol 压缩协议
-V, --version 显示版本
-v, --verbose 输出模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默认为2
 
mydumper 和mysqldump 比较:
mydumper :mydumper -u root -p rootroot -S /data/mysql_3306/mysql.sock -B homework -o .
恢复命令
# myloader -u root -p rootroot  -s /data/mysql_3306/mysql.sock   -d /data/10.0.6.11/2017-02-22/homework -B homework
 
mysqldump :
/opt/mysql_3306/bin/mysqldump  --socket=/data/mysql_3306/mysql.sock     -uroot -prootroot -T.  homework
 
因为文件比较小 没有比较出结果,回头好好测一下

(编辑:核心网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    热点阅读