服务器之家:专注于服务器技术及软件下载分享
分类导航

Mysql|Sql Server|Oracle|Redis|MongoDB|PostgreSQL|Sqlite|DB2|mariadb|Access|数据库技术|

服务器之家 - 数据库 - MongoDB - MongoDB实现备份压缩的方法教程

MongoDB实现备份压缩的方法教程

2020-05-19 14:59东山絮柳仔 MongoDB

这篇文章主要给大家介绍了关于MongoDB实现备份压缩的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

背景及原理                                        

数据库的备份是灾难恢复的最后一道屏障,不管什么类型的数据库都需要设置数据库备份,MongoDB也不例外。MongoDB 3.0 后 ,数据库可以采用Wiredtiger存储引擎后(3.2 版本默认),在此环境下通过mongodump 备份后,产生的备份文件要远大于数据存储文件的大小。此外,一般MongoDB存储的数据量比较大,备份文件也比较大,占用了很多磁盘空间。所以,研究如何实现MongoDB备份压缩很有必要。

MongoDB实现备份压缩的方法教程

上图是执行命令 db.stats() 查看某数据库的信息。

备份文件的大小一般为dataSize的大小,所以我们希望压缩备份,可以达到storageSize 或者更小。

一般的备份思路是先备份,后对备份文件进行压缩。之前,我们采用的就是这种方式,例如主要压缩命令如下

?
1
tar -cf - ${targetpath}/${nowtime} | pigz -p 10 > ${targetpath}/${nowtime}.tgz

(命令解释: targetpath}/${nowtime 为待压缩的备份文件;pigz 是Linux压缩神器,可并行压缩;-p是指定cpu的核数。)

但是这种方式,生成备份文件的过程中还是容易形成磁盘性能压力和空间压力。下图为我们某台Server 采用先备份后压缩方式,形成的磁盘可用空间变化。

MongoDB实现备份压缩的方法教程

真正希望的是在备份的同时进行压缩,这样可用空间就比较平稳了。在MongoDB 3.2 中 引入了一种压缩式备份【此mongodb版本必须不低于3.2】。可以使用gzip进行压缩。这是通过在mongodump和mongorestore中引入一个新的指令行选项“- -gzip”实现的。

压缩可用于目录以及归档模型下创建的备份,压缩还可以减少磁盘空间使用。

测试

测试环境:

 

测试服务器

测试数据库

端口

文件路径

172.X.X.245

实例全备

17219

/data/mongodb_back

172.X.X.246

QQ_DingDing

17218

/data/mongodb_back/QQ_DingDing

Step 1 压缩式备份的命令:

?
1
./mongodump --host 172.X.X.245 --port 17219 -u 用户名 -p "密码" --gzip --authenticationDatabase "admin" --out /data/mongodb_back

备份后文件的大小,97M

这时候,查看备份文件的格式都变成了.gz的格式

Step 2 将备份文件copy至远程机器上,进行还原:

以下命令是将在172.X.X.246,要求是将文件从X.245 copy至本地

?
1
scp -r root@172.X.X.245:/data/mongodb_back/QQ_DingDing

step 3 执行还原的命令

执行的命令

?
1
./mongorestore --host 172.X.X.246 --port 17218 -d QQ_DingDing -u 用户名 -p "密码" --gzip --authenticationDatabase "admin" /data/mongodb_back/QQ_DingDing

还原后登录MongoDB,执行show dbs,查看此时 数据大小为500M。

补充说明 

(1)    如果不采用压缩式的备份,备份后的文件会是多大呢?备份命令 :

?
1
./mongodump --host 172.X.X.245 --port 17219 -u 用户名 -p "密码" --authenticationDatabase "admin" --out /data/mongodb_back2

查看此种方法备份后的文件大小--1.5G。

以此QQ_DingDing数据库为例,其压缩率为(文件压缩后的大小与压缩前的大小之比):97M/1.5G=97/1536=6.3%

(2)   这种压缩备份的方式的会不会带来一些弊端:例如备份时间增长?(恢复时间增加?,请自测一下试试,嘻嘻 @@@)

以 某归档备份库所在实例为例(storageSize 150G,dataSize 600G )

采用 先备份后压缩的方式耗时1小时55分钟

MongoDB实现备份压缩的方法教程

采用压缩式备份(指定--gzip参数)的方式耗时 2小时33分钟

MongoDB实现备份压缩的方法教程  

产生的备份文件大小基本相等,压缩式备份方式产生的备份文件略小

MongoDB实现备份压缩的方法教程

所以 压缩式备份会导致备份时间增长。

但从空间使用的角度来讲,我们仍然建议大家使用压缩式备份,其压缩比非常高(测试案例的压缩比6.3%)。

附:定时清除,保留7天的纪录

?
1
2
3
4
5
6
7
8
9
#!/bin/bash
targetpath='/backup/mongobak'
nowtime=$(date -d '-7 days' "+%Y%m%d")
if [ -d "${targetpath}/${nowtime}/" ]
then
rm -rf "${targetpath}/${nowtime}/"
echo "=======${targetpath}/${nowtime}/===删除完毕=="
fi
echo "===$nowtime ==="

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对服务器之家的支持。

延伸 · 阅读

精彩推荐
  • MongoDBmongodb基本命令实例小结

    mongodb基本命令实例小结

    这篇文章主要介绍了mongodb基本命令,结合实例形式总结分析了MongoDB数据库切换、查看、删除、查询等基本命令用法与操作注意事项,需要的朋友可以参考下...

    dawn-liu3652020-05-26
  • MongoDBMongoDB 内存使用情况分析

    MongoDB 内存使用情况分析

    都说 MongoDB 是个内存大户,但是怎么知道它到底用了多少内存呢...

    MongoDB教程网10002020-09-29
  • MongoDB分布式文档存储数据库之MongoDB分片集群的问题

    分布式文档存储数据库之MongoDB分片集群的问题

    这篇文章主要介绍了分布式文档存储数据库之MongoDB分片集群的问题,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋...

    Linux-18743072020-12-20
  • MongoDB迁移sqlserver数据到MongoDb的方法

    迁移sqlserver数据到MongoDb的方法

    这篇文章主要介绍了迁移sqlserver数据到MongoDb的方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...

    听枫xl9682021-01-03
  • MongoDBMongoDB中javascript脚本编程简介和入门实例

    MongoDB中javascript脚本编程简介和入门实例

    作为一个数据库,MongoDB有一个很大的优势——它使用js管理数据库,所以也能够使用js脚本进行复杂的管理——这种方法非常灵活 ...

    MongoDB教程网6982020-04-24
  • MongoDBMongoDB安装图文教程

    MongoDB安装图文教程

    这篇文章主要为大家详细介绍了MongoDB安装图文教程,分为两大部分为大家介绍下载MongoDB和安装MongoDB的方法,感兴趣的小伙伴们可以参考一下 ...

    Yangyi.He6132020-05-07
  • MongoDBMongodb实现定时备份与恢复的方法教程

    Mongodb实现定时备份与恢复的方法教程

    这篇文章主要给大家介绍了Mongodb实现定时备份与恢复的方法教程,文中通过示例代码介绍的非常详细,对大家具有一定的参考学习价值,需要的朋友们下面...

    chenjsh364522020-05-13
  • MongoDBMongoDB凭什么跻身数据库排行前五

    MongoDB凭什么跻身数据库排行前五

    MongoDB以比去年同期超出65.96分的成绩继续雄踞榜单前五,这个增幅在全榜仅次于PostgreSQL的77.99,而其相对于4月份的6.10分的增长也是仅次于微软SQL Server排名...

    孙浩峰3892020-05-22