服务器之家:专注于服务器技术及软件下载分享
分类导航

Mysql|Sql Server|Oracle|Redis|MongoDB|PostgreSQL|Sqlite|DB2|mariadb|Access|数据库技术|

服务器之家 - 数据库 - Mysql - MySQL5.7备份恢复工具—Xtrabackup实战

MySQL5.7备份恢复工具—Xtrabackup实战

2023-06-01 01:00未知服务器之家 Mysql

一、基础知识 1、mysql逻辑备份与物理备份的区别 MySQL 备份通常分为两种类型:逻辑备份和物理备份。这两种备份方法各有优缺点,适用于不同的场景。 逻辑备份: 逻辑备份是从数据库中导出数据和结构的 SQL 语句。这种备份通常

MySQL5.7备份恢复工具—Xtrabackup实战

一、基础知识

1、mysql逻辑备份与物理备份的区别

MySQL 备份通常分为两种类型:逻辑备份和物理备份。这两种备份方法各有优缺点,适用于不同的场景。

逻辑备份:

逻辑备份是从数据库中导出数据和结构的 SQL 语句。这种备份通常使用 mysqldump 工具来完成。逻辑备份的主要优点是它具有较高的可移植性,可以在不同架构和版本的 MySQL 服务器上还原。但是,逻辑备份可能需要更长的时间来完成,特别是在处理大型数据库时。

逻辑备份的主要特点:

  1. 生成的备份文件是文本文件,包含 SQL 语句。
  2. 备份和恢复速度相对较慢。
  3. 可移植性好,可以在不同版本和架构的 MySQL 服务器上使用。
  4. 可以选择性地备份和恢复特定的数据库、表或记录。

物理备份:

物理备份是直接复制数据库的数据文件、索引文件和日志文件。这种备份方法通常使用文件系统快照或第三方工具(如 Percona XtraBackup)来完成。物理备份的主要优点是它通常更快,因为它不需要转换数据。然而,物理备份可能不如逻辑备份可移植,因为它依赖于特定的文件系统和操作系统。

物理备份的主要特点:

  1. 生成的备份文件是二进制文件,包含数据库的实际数据文件、索引文件和日志文件。
  2. 备份和恢复速度相对较快。
  3. 可移植性较差,通常只能在相同版本和架构的 MySQL 服务器上使用。
  4. 通常需要停止数据库或在读锁模式下进行备份,以确保数据的一致性。

总之,逻辑备份和物理备份有各自的优缺点,根据不同的应用场景和需求来选择合适的备份方法。

今天我们分享的主角就是大名鼎鼎的mysql物理备份神器-Percona XtraBackup

二、Percona XtraBackup的安装

1、环境描述

  • 操作系统版本:CENTOS 7.9
  • MYSQL数据库版本:5.7
  • 数据库实例端口:3307

2、安装过程

(1)安装yum源

yum install -y https://repo.percona.com/yum/percona-release-latest.noarch.rpm

(2)安装XtraBackup 2.4版本的percona-xtrabackup

安装mysql对应版本的xtrabackup,不同服务器安装不同的版本

  • mysql 5.1 – xtrabackup2.0
  • mysql5.6 –xtrabackup 2.2
  • mysql5.7 –xtrabackup2.4
yum install -y percona-xtrabackup-24.x86_64

(3)常用参数说明

--defaults-file
同xtrabackup的--defaults-file参数
 
--apply-log
在备份目录下,通过应用名称为xtrabackup_logfile的交易日志文件来准备备份。同时,创建新的交易日志。
 
--copy-back
做数据恢复时将备份数据文件拷贝到MySQL服务器的datadir ;
 
--remote-host=HOSTNAME
通过ssh将备份数据存储到进程服务器上;
 
--stream=[tar]
备 份文件输出格式, tar时使用tar4ibd , 该文件可在XtarBackup binary文件中获得.如果备份时有指定--stream=tar, 则tar4ibd文件所处目录一定要在$PATH中(因为使用的是tar4ibd去压缩, 在XtraBackup的binary包中可获得该文件)。
在 使用参数stream=tar备份的时候,你的xtrabackup_logfile可能会临时放在/tmp目录下,如果你备份的时候并发写入较大的话 xtrabackup_logfile可能会很大(5G+),很可能会撑满你的/tmp目录,可以通过参数--tmpdir指定目录来解决这个问题。
 
--tmpdir=DIRECTORY
当有指定--remote-host or --stream时, 事务日志临时存储的目录, 默认采用MySQL配置文件中所指定的临时目录tmpdir
 
--redo-only --apply-log组,
强制备份日志时只redo ,跳过rollback。这在做多个增量备份合并时非常必要。
 
--use-memory=#
指定数据库恢复时使用的内存大小,需要搭配--apply-log参数
 
--throttle=IOS
同xtrabackup的--throttle参数
 
--sleep=是给ibbackup使用的,指定每备份1M数据,过程停止拷贝多少毫秒,也是为了在备份时尽量减小对正常业务的影响,具体可以查看ibbackup的手册 ;
 
--compress[=LEVEL]
对备份数据迚行压缩,仅支持ibbackup,xtrabackup还没有实现;
 
--include=REGEXP
对 xtrabackup参数--tables的封装,也支持ibbackup。备份包含的库表,例如:--include="test.*",意思是要备份 test库中所有的表。如果需要全备份,则省略这个参数;如果需要备份test库下的2个表:test1和test2,则写 成:--include="test.test1|test.test2"。也可以使用通配符,如:--include="test.test*"。
 
--databases=LIST
列出需要备份的databases,如果没有指定该参数,所有包含MyISAM和InnoDB表的database都会被备份;
 
--uncompress
解压备份的数据文件,支持ibbackup,xtrabackup还没有实现该功能;
 
--slave-info,
当备份一个作为复制环境的服务器时,这个参数会自动将CHANGE MASTER语句写到备份中,在恢复备份后,不必执行CHANGE MASTER语句。
 
--socket=SOCKET
指定mysql.sock所在位置,以便备份进程登录mysql.
 
--compact
创建一个不包含第二索引(除了主键之外的索引)的备份
 
--incremental-basedir
以上一次全量或增量备份的路径,作为增量备份的基础。指定这个参数的同时,应该同样指定--incremental参数
 
--incremental
创建增量备份,当指定这个参数的时候,应该指定--incremental-lsn或--incremental-basedir参数,否则将会备份到--incremental-basedir路径
 
--incremental-dir=DIRECTORY
指定增量备份的目录,需要搭配--incremental参数。
 
--no-timestamp
这个参数会让xtrabackup在备份的时候不创建带有时间格式的子文件夹。当指定了这个参数,备份会直接创建在指定的备份目录下。
--tables-file=FILE
 
这个参数会接受一个字符串,这个字符串指定了一个文件,这个文件包含了要备份的表名,格式如database.table,一行一个。
 
--use-memory=# -apply-log 调节内存使用 
 
 --parallel=  多线程拷贝数据文件,使用该参数要考虑线上的数据库的压力的问题,如果线程开启较多,会对硬盘产生交大的压力。

三、 备份与恢复过程

备份目录:/backup/mysql

1、全量备份与恢复

全量备份

innobackupex --defaults-file=/etc/my3307.cnf --host=localhost --port=3307 -S /tmp/mysql.sock --user=root --password='Rootasdf2023' --no-timestamp /backup/mysql/full_`date +%Y-%m-%d_%H-%M-%S_%w`

全量恢复

1、删库并停止数据库。

service mysqld stop

2、备份myql数据目录。

cp -rpf /data/3307/data /data/3307/data_bak

3、日志包含了redo以及undo的操作,应用过程类似与mysql hang机后的recovery操作,完成后备份处于一致性状态。

innobackupex --apply-log  /backup/mysql/full_2023-05-10_14-08-36_3

4、拷贝备份数据至my.cnf文件规定的位置。

innobackupex --defaults-file=/etc/my3307.cnf --copy-back --rsync /backup/mysql/full_2023-05-10_14-08-36_3

5、更改mysql数据目录的权限为mysql。

chown -R mysql:mysql /data/3307/data

6、启动数据库,至此数据恢复完成

/etc/init.d/mysql3307 start

2、增量备份与恢复

(1)增量备份原理

增量备份有两种方法:

方法一:针对全量的basedir做增量。

总是针对全量的basedir做增量,这个方式恢复起来就特别简单了,只需要将最后一次的增量备份合并到全量备份里,就可以恢复了。

第一种方法示例图: 总是将1月1日的全备作为basedir,所以FROM_LSN号总是5000。

MySQL5.7备份恢复工具—Xtrabackup实战

方法二:总是针对上一次增量,做增量备份。

总是针对上一次的增量,做增量备份。这个方式的恢复,就要逐一合并了。总是把上一次(最近一次)的备份作为basedir

方法二示意图:

MySQL5.7备份恢复工具—Xtrabackup实战

下面介绍的方法是针对第二种的。

(2)增量恢复实验过程

先来一次全备,两次增备

#全备
innobackupex --defaults-file=/etc/my3307.cnf --host=localhost --port=3307 -S /tmp/mysql.sock --user=root --password='Rootasdf2023' --no-timestamp /backup/mysql/full_`date +%Y-%m-%d_%H-%M-%S_%w`

#第一次增备
innobackupex --defaults-file=/etc/my3307.cnf --host=localhost --port=3307 -S /tmp/mysql.sock --user=root --password='Rootasdf2023' --no-timestamp --incremental-basedir=/backup/mysql/full_2023-05-10_14-08-36_3 --incremental /backup/mysql/incr_`date +%Y-%m-%d_%H-%M-%S_%w`

#第二次增备
innobackupex --defaults-file=/etc/my3307.cnf --host=localhost --port=3307 -S /tmp/mysql.sock --user=root --password='Rootasdf2023' --no-timestamp --incremental-basedir=/backup/mysql/incr_2023-05-10_14-11-28_3 --incremental /backup/mysql/incr_`date +%Y-%m-%d_%H-%M-%S_%w`

#备份文件查看

[root@mysqlserver mysql]# ls -l /backup/mysql/
total 4
drwxr-x--- 7 root root 4096 May 10 14:15 full_2023-05-10_14-08-36_3
drwxr-x--- 7 root root  318 May 10 14:11 incr_2023-05-10_14-11-28_3
drwxr-x--- 7 root root  318 May 10 14:14 incr_2023-05-10_14-13-17_3
[root@mysqlserver mysql]#

prepare准备过程

这就是增量备份最麻烦的地方,因为总共做了三次备份,所以先做三次prepare

对全备做prepare:

innobackupex --apply-log --redo-only /backup/mysql/full_2023-05-10_14-08-36_3

对第一次增量prepare:

innobackupex --apply-log --redo-only /backup/mysql/full_2023-05-10_14-08-36_3  --incremental-dir=/backup/mysql/incr_2023-05-10_14-11-28_3

对第二次增量prepare

注意,第二次的增备是最后一次,所以不需要加上–redo-only参数:

innobackupex --apply-log  /backup/mysql/full_2023-05-10_14-08-36_3  --incremental-dir=/backup/mysql/incr_2023-05-10_14-13-17_3

最后一步将两次增量备份和全量做一次合并。

innobackupex --apply-log  /backup/mysql/full_2023-05-10_14-08-36_3

3、恢复数据

(1) 停止mysql服务。

/etc/init.d/mysql3307 stop

(2)模拟删除库(删除之前先备份一下目录 )。

rm -rf /data/3307/data

(3)恢复数据。

innobackupex --defaults-file=/etc/my3307.cnf --copy-back --rsync /backup/mysql/full_2023-05-10_14-08-36_3

(4)修改权限。

chown -R mysql:mysql /data/3307/data

(5)启动数据库,验证相关数据。

/etc/init.d/mysql3307 start

四、常见问题汇总

问题1:

恢复时报Xtrabackup –copy-back fail Can’t create/write to file ‘./undo_001’。

解决方法:

/etc/my.cnf配置文件中注释掉如下代码:

#innodb_undo_directory=.

延伸 · 阅读

精彩推荐
  • Mysql浅谈mysql 树形结构表设计与优化

    浅谈mysql 树形结构表设计与优化

    在诸多的管理类,办公类等系统中,树形结构展示随处可见,本文主要介绍了mysql 树形结构表设计与优化,具有一定的参考价值,感兴趣的小伙伴们可以参...

    小码农叔叔5242021-11-16
  • Mysql详解MySQL中的分组查询与连接查询语句

    详解MySQL中的分组查询与连接查询语句

    这篇文章主要介绍了MySQL中的分组查询与连接查询语句,同时还介绍了一些统计函数的用法,需要的朋友可以参考下 ...

    GALAXY_ZMY5442020-06-03
  • MysqlMySQL锁的知识点总结

    MySQL锁的知识点总结

    在本篇文章里小编给大家整理了关于MySQL锁的知识点总结以及实例内容,需要的朋友们学习下。...

    别人放弃我坚持吖4362020-12-14
  • MysqlMySQL 数据备份与还原的示例代码

    MySQL 数据备份与还原的示例代码

    这篇文章主要介绍了MySQL 数据备份与还原的相关知识,本文通过示例代码给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下...

    逆心2972019-06-23
  • MysqlERROR: Error in Log_event::read_log_event()

    ERROR: Error in Log_event::read_log_event()

    ERROR: Error in Log_event::read_log_event(): read error, data_len: 438, event_type: 2 ...

    MYSQL教程网6412020-03-13
  • Mysql解决MySQl查询不区分大小写的方法讲解

    解决MySQl查询不区分大小写的方法讲解

    今天小编就为大家分享一篇关于解决MySQl查询不区分大小写的方法讲解,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起...

    Veir_dev5592019-06-25
  • Mysqlmysql 不能插入中文问题

    mysql 不能插入中文问题

    当向mysql5.5插入中文时,会出现类似错误 ERROR 1366 (HY000): Incorrect string value: '\xD6\xD0\xCE\xC4' for column ...

    MYSQL教程网5722019-11-25
  • MysqlMySQL数据库varchar的限制规则说明

    MySQL数据库varchar的限制规则说明

    本文我们主要介绍了MySQL数据库中varchar的限制规则,并以一个实际的例子对限制规则进行了说明,希望能够对您有所帮助。 ...

    mysql技术网4192019-11-23