服务器之家:专注于服务器技术及软件下载分享
分类导航

Mysql|Sql Server|Oracle|Redis|MongoDB|PostgreSQL|Sqlite|DB2|mariadb|Access|数据库技术|

服务器之家 - 数据库 - PostgreSQL - PostgreSQL11修改wal-segsize的操作

PostgreSQL11修改wal-segsize的操作

2021-03-15 17:54kmblack1 PostgreSQL

这篇文章主要介绍了PostgreSQL11修改wal-segsize的操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

修改有风险,谨慎行事。

PostgreSQL11以前改变wal-segsize(WAL段大小)必须在编译时通过–with-wal-segsize参数确定,编译后不可更改.

?
1
2
3
4
5
6
#PostgreSQL11之前的版本
#数据块按8K划分(--with-blocksize,单位为K,默认为8K)
#WAL块尺寸按8k划分(--with-wal-blocksize,单位为K,默认为8K)
#数据文件按1G一个分解(--with-segsize,单位为G,默认为1G)
#WAL段尺寸按16MB划分(--with-wal-segsize,单位为K,默认为16MB)
./configure --with-blocksize=8--with-wal-blocksize=8--with-segsize=1 --with-wal-segsize=16

PostgreSQL11取消了编译参数–with-wal-segsize.使用pg_resetwal(–wal-segsize)更改WAL段大小.

?
1
2
3
4
5
#PostgreSQL11先编译程序
#数据块按8K划分(--with-blocksize,单位为K,默认为8K)
#WAL块尺寸按8k划分(--with-wal-blocksize,单位为K,默认为8K)
#数据文件按1G一个分解(--with-segsize,单位为G,默认为1G)
./configure --with-blocksize=8--with-wal-blocksize=8--with-segsize=1

编译完成并初始化后使用pg_resetwal修改wal-segsize

?
1
2
3
4
#首先停止PostgreSQL服务
pg_ctl -D /data/pgdata stop -m fast
#修改wal-segsize段大小,默认单位是MB,值必须是2的幂并且在1到1024MB之间
pg_resetwal --wal-segsize=32 /data/pgdata;

查看

?
1
2
3
4
5
show block_size;
show wal_block_size;
show segment_size;
show wal_segment_size;
ls /data/pgdata/pg_wal -lh

补充:PostgreSQL 11 新特性解读 : Initdb/Pg_resetwal支持修改WAL文件大小

PostgreSQL 11 版本的一个重要调整是支持 initdb 和 pg_resetwal 修改 WAL 文件大小,而 11 版本之前只能在编译安装 PostgreSQL 时设置 WAL 文件大小。这一特性能够方便 WAL 文件的管理。

Release 的说明

 

Allow the WAL file size to be set via initdb (Beena Emerson)

Previously the 16MB default could only be changed at compile time.

下面分别演示通过 initdb 和 pg_resetwal 修改 WAL 文件大小。

使用 initdb 调整WAL文件大小

 

initdb 命令关于修改 WAL 文件大小选项,如下:

--wal-segsize=size

Set the WAL segment size, in megabytes. This is the size of each individual file in the WAL log. The default size is 16 megabytes. The value must be a power of 2 between 1 and 1024 (megabytes). This option can only be set during initialization, and cannot be changed later.

It may be useful to adjust this size to control the granularity of WAL log shipping or archiving. Also, in databases with a high volume of WAL, the sheer number of WAL files per directory can become a performance and management problem. Increasing the WAL file size will reduce the number of WAL files.

WAL 日志文件大小默认为16MB,该值必须是1到1024之间的2的次方,增大WAL文件大小能够减少WAL日志文件的产生。

初始化一个新的 PostgreSQL 数据库实例,指定WAL文件大小64MB,如下:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
[pg11@pghost2 ~]$ initdb -E UTF8 --locale=C --wal-segsize=64 -D /home/pg11/data01 -U postgres -W
The files belonging to this database system will be owned by user "pg11".
This user must also own the server process.
 
The database cluster will be initialized with locale "C".
The default text search configuration will be set to "english".
 
Data page checksums are disabled.
 
Enter new superuser password:
Enter it again:
 
creating directory /home/pg11/data01 ... ok
creating subdirectories ... ok
selecting default max_connections ... 100
selecting default shared_buffers ... 128MB
selecting dynamic shared memory implementation ... posix
creating configuration files ... ok
running bootstrap script ... ok
performing post-bootstrap initialization ... ok
syncing data to disk ... ok
 
WARNING: enabling "trust" authentication for local connections
You can change this by editing pg_hba.conf or using the option -A, or
--auth-local and --auth-host, the next time you run initdb.
 
Success. You can now start the database server using:
 
 pg_ctl -D /home/pg11/data01 -l logfile start

修改 postgresql.conf 相关配置,之后启动数据库。

?
1
2
3
4
5
6
7
8
[pg11@pghost2 data01]$ pg_ctl start -D /home/pg11/data01
waiting for server to start....2018-10-16 15:58:16.714 CST [10583] LOG: listening on IPv6 address "::1", port 1950
2018-10-16 15:58:16.714 CST [10583] LOG: listening on IPv4 address "127.0.0.1", port 1950
2018-10-16 15:58:16.731 CST [10583] LOG: listening on Unix socket "/tmp/.s.PGSQL.1950"
2018-10-16 15:58:16.762 CST [10584] LOG: database system was shut down at 2018-10-16 15:56:46 CST
2018-10-16 15:58:16.782 CST [10583] LOG: database system is ready to accept connections
 done
server started

验证WAL文件大小,如下:

?
1
2
3
4
[pg11@pghost2 ~]$ ll /home/pg11/data01/pg_wal
total 65M
-rw------- 1 pg11 pg11 64M Oct 16 16:03 000000010000000000000001
drwx------ 2 pg11 pg11 4.0K Oct 16 15:56 archive_status

可见WAL文件大小为64MB。

使用 pg_resetwal 调整WAL文件大小

 

pg_resetwal 用来重置WAL日志和一些控制信息,常用于数据库恢复场景,不到万不得已不轻易使用,以下演示使用pg_resetwal命令调整WAL日志文件大小,仅供测试参考,生产环境慎用。

pg_resetwal 命令关于调整WAL文件大小的选项,如下:

--wal-segsize=wal_segment_size

Set the new WAL segment size, in megabytes. The value must be set to a power of 2 between 1 and 1024 (megabytes). See the same option of initdb for more information.

以下演示在已有PostgreSQL实例基础上调整WAL日志文件大小。

查看当前数据库的 pg_wal 目录,如下:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
[pg11@pghost2 pg_wal]$ ll /database/pg11/pg_root/pg_wal/
total 2.3G
-rw------- 1 pg11 pg11 16M Sep 30 14:45 000000010000001700000013
-rw------- 1 pg11 pg11 16M Sep 30 14:45 000000010000001700000014
-rw------- 1 pg11 pg11 16M Sep 30 14:45 000000010000001700000015
-rw------- 1 pg11 pg11 16M Sep 30 14:45 000000010000001700000016
-rw------- 1 pg11 pg11 16M Sep 30 14:45 000000010000001700000017
-rw------- 1 pg11 pg11 16M Sep 30 14:45 000000010000001700000018
-rw------- 1 pg11 pg11 16M Sep 30 14:45 000000010000001700000019
-rw------- 1 pg11 pg11 16M Sep 30 14:45 00000001000000170000001A
-rw------- 1 pg11 pg11 16M Sep 30 14:45 00000001000000170000001B
...
省略
drwx------ 2 pg11 pg11 16K Oct 16 08:38 archive_status

pg_wal 目录中已有大量WAL日志文件,WAL文件大小为16MB,计划将WAL日志文件调整成64MB。

pg_resetwal 操作时需要关闭数据库,如下。

?
1
2
3
4
5
6
[pg11@pghost2 ~]$ pg_ctl stop -m fast
waiting for server to shut down.... done
server stopped
pg_resetwal 命令调整WAL日志文件大小为 64MB:
[pg11@pghost2 ~]$ pg_resetwal --wal-segsize=64 -D /database/pg11/pg_root
Write-ahead log reset

验证WAL文件大小,如下:

?
1
2
3
4
[pg11@pghost2 ~]$ ll /database/pg11/pg_root/pg_wal/
total 65M
-rw------- 1 pg11 pg11 64M Oct 16 08:55 000000010000001700000029
drwx------ 2 pg11 pg11 16K Oct 16 08:55 archive_status

发现 pg_wal 目录中原有的WAL日志被清理,同时生成了大小为64MB新的WAL文件。

启动数据库提示 min_wal_size 参数至少需设置成 wal_segment_size 大小为 2 倍。

?
1
2
3
4
5
6
[pg11@pghost2 ~]$ pg_ctl start
waiting for server to start....2018-10-16 09:01:26.096 CST [24318] FATAL: "min_wal_size" must be at least twice "wal_segment_size".
2018-10-16 09:01:26.096 CST [24318] LOG: database system is shut down
 stopped waiting
pg_ctl: could not start server
Examine the log output.

根据提示调整 postgresql.conf,设置如下:

?
1
min_wal_size = 128MB

启动数据库正常,如下:

?
1
2
3
4
5
6
[pg11@pghost2 ~]$ pg_ctl start
waiting for server to start....2018-10-16 09:02:45.680 CST [24614] LOG: listening on IPv4 address "0.0.0.0", port 1930
2018-10-16 09:02:45.680 CST [24614] LOG: listening on IPv6 address "::", port 1930
2018-10-16 09:02:45.687 CST [24614] LOG: listening on Unix socket "/tmp/.s.PGSQL.1930"
2018-10-16 09:02:45.715 CST [24614] LOG: redirecting log output to logging collector process
2018-10-16 09:02:45.715 CST [24614] HINT: Future log output will appear in directory "log".

总结

 

以上演示了 11 版本通过 initdb 和 pg_resetwal 调整WAL文件大小。

pg_resetwal 会清除pg_wal目录的WAL文件,本博客的测试样例仅供参考,生产环境使用需慎重。

以上为个人经验,希望能给大家一个参考,也希望大家多多支持服务器之家。如有错误或未考虑完全的地方,望不吝赐教。

原文链接:https://blog.csdn.net/kmblack1/article/details/86308003

延伸 · 阅读

精彩推荐
  • PostgreSQLRDS PostgreSQL一键大版本升级技术解密

    RDS PostgreSQL一键大版本升级技术解密

    一、PostgreSQL行业位置 (一)行业位置 在讨论PostgreSQL(下面简称为PG)在整个数据库行业的位置之前,我们先看一下阿里云数据库在全球的数据库行业里的...

    未知1192023-05-07
  • PostgreSQL分布式 PostgreSQL之Citus 架构

    分布式 PostgreSQL之Citus 架构

    节点 Citus 是一种 PostgreSQL 扩展,它允许数据库服务器(称为节点)在“无共享(shared nothing)”架构中相互协调。这些节点形成一个集群,允许 PostgreSQL 保存比单...

    未知802023-05-07
  • PostgreSQLpostgresql 数据库中的数据转换

    postgresql 数据库中的数据转换

    postgres8.3以后,字段数据之间的默认转换取消了。如果需要进行数据变换的话,在postgresql数据库中,我们可以用"::"来进行字段数据的类型转换。...

    postgresql教程网12482021-10-08
  • PostgreSQLPostgresql开启远程访问的步骤全纪录

    Postgresql开启远程访问的步骤全纪录

    postgre一般默认为本地连接,不支持远程访问,所以如果要开启远程访问,需要更改安装文件的配置。下面这篇文章主要给大家介绍了关于Postgresql开启远程...

    我勒个去6812020-04-30
  • PostgreSQLPostgresql查询效率计算初探

    Postgresql查询效率计算初探

    这篇文章主要给大家介绍了关于Postgresql查询效率计算的相关资料,文中通过示例代码介绍的非常详细,对大家学习或者使用Postgresql具有一定的参考学习价...

    轨迹4622020-05-03
  • PostgreSQLpostgresql 中的to_char()常用操作

    postgresql 中的to_char()常用操作

    这篇文章主要介绍了postgresql 中的to_char()常用操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...

    J符离13432021-04-12
  • PostgreSQLPostgreSQL标准建表语句分享

    PostgreSQL标准建表语句分享

    这篇文章主要介绍了PostgreSQL标准建表语句分享,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...

    码上得天下7962021-02-27
  • PostgreSQL深入理解PostgreSQL的MVCC并发处理方式

    深入理解PostgreSQL的MVCC并发处理方式

    这篇文章主要介绍了深入理解PostgreSQL的MVCC并发处理方式,文中同时介绍了MVCC的缺点,需要的朋友可以参考下 ...

    PostgreSQL教程网3622020-04-25