服务器之家:专注于服务器技术及软件下载分享
分类导航

Mysql|Sql Server|Oracle|Redis|MongoDB|PostgreSQL|Sqlite|DB2|mariadb|Access|数据库技术|

服务器之家 - 数据库 - PostgreSQL - PostgreSQL 12 的同步流复制搭建及主库Hang问题处理与分析

PostgreSQL 12 的同步流复制搭建及主库Hang问题处理与分析

2023-05-07 03:16未知服务器之家 PostgreSQL

[[411315]] 本文转载自微信公众号「数据和云」,作者王鑫。转载本文请联系数据和云公众号。 前言 主备流复制,是PostgreSQL最常用、最简单的一种高可用、读写分离的形式,类似于Oracle的ADG,主库用于读写,备库可以只读。 Postgr

 [[411315]]

本文转载自微信公众号「数据和云」,作者王鑫。转载本文请联系数据和云公众号。

前言

主备流复制,是PostgreSQL最常用、最简单的一种高可用、读写分离的形式,类似于Oracle的ADG,主库用于读写,备库可以只读。

PostgreSQL流复制,有两种方式,分别是异步流复制和同步流复制。

  • 异步流复制模式中,当备库出现异常,主库可以正常的进行读写;
  • 同步流复制模式中,当备库出现异常,主库则可能会hang住(DML、DDL)。

这两天根据需求,我需要搭建一套同步流复制库,但是在过程中遇到了一些小问题,所以记录下来,作为备忘以及指导,帮助大家避坑。

一、基本环境

本次搭建,我的PostgreSQL基本环境如下:

  • PostgreSQL版本为12.5;
  • 操作系统为CentOS 7.6;
  • Server: 192.168.18.181:18801
  • Slave: 192.168.18.182:18802

二、同步流复制搭建

我们知道,搭建PostgreSQL的流复制核心步骤非常简单,只需要2-3步:

1. 对源端数据库进行基础备份;

2. 将基础备份拷贝到目标端;

3. 配置备库参数,并启动备库

那么在基础备份中,我们直接在目标端,通过pg_basebackup工具对源端数据库进行基础备份并将数据目录直接放在目标端的/pgdata中:

  1. pg_basebackup -h 192.168.18.181 -p 18801 -U repl -l pg_basebackup_`date +%Y%m%d%H%M%S` -Fp -X fetch -P -v -R -D /pgdata 

在PostgreSQL 12中,已经没有recovery.conf文件了,而是用standby.signal文件所代替,且原来需要在recovery.conf文件中配置的primary_conninfo参数,已经融合在postgresql.conf中。

所以,此时我们只需要配置主库和备库的postgresql.conf,以及备库的standby.signal即可,具体如下:

备库的standby.signal中:

  1. standby_mode = 'on' 

主库的postgresql.conf中:

  1. #同步流复制 
  2. synchronous_standby_names = 'standbydb1' #同步流复制才配置该值 
  3. synchronous_commit = 'remote_write' 

备库的postgresql.conf中:

  1. hot_standby = 'on' 
  2. primary_conninfo = 'application_name=standbydb1 user=repl password=repl123 host=192.168.18.181 port=18801 sslmode=disable sslcompression=0 gssencmode=disable krbsrvname=postgres target_session_attrs=any' 

配置完成后,直接启动备库即可。

  1. pg_ctl -D /pgdata start 

三、发现问题

通过ps -ef|grep postgres,已经可以看到主库和备库的walsender和walreciver进程都已经启动,流复制已经搭建好。

但是,通过pg_stat_replication进行查看,发现当前数据库状态仍然还是异步流复制状态:

  1. postgres=# select * from pg_stat_replication; 
  2.  
  3. -[ RECORD 2 ]----+------------------------------ 
  4. pid              | 11767 
  5. usesysid         | 24746 
  6. usename          | repl 
  7. application_name | walreceiver 
  8. client_addr      | 192.168.18.182 
  9. client_hostname  |  
  10. client_port      | 29946 
  11. backend_start    | 2021-01-17 22:48:36.529698+08 
  12. backend_xmin     |  
  13. state            | streaming 
  14. sent_lsn         | 0/91000148 
  15. write_lsn        | 0/91000148 
  16. flush_lsn        | 0/91000148 
  17. replay_lsn       | 0/91000148 
  18. write_lag        |  
  19. flush_lag        |  
  20. replay_lag       |  
  21. sync_priority    | 0 
  22. sync_state       | async 
  23. reply_time       | 2021-01-17 22:48:46.545856+08 

且此时,在进行DML或者DDL操作的时候,主库会hang住。

  1. postgres=# insert into wangxin1 values (1,'aaa'); 
  2. ^CCancel request sent 
  3. WARNING:  canceling wait for synchronous replication due to user request 
  4. DETAIL:  The transaction has already committed locally, but might not have been replicated to the standby. 

但是,通过pg_stat_replication及数据比对,发现主库的wal已经全部都写入到备库中。

所以,起初我一直以为是因为备库中的wal或者disk的相关写配置参数有一些问题,并且进行了多次修改。

但是始终无法改变备库的状态为同步流复制(也尝试多次设置synchronous_commit参数,但是只有当该参数为local的时候,主库才不会hang住)。

四、原因分析

经过近一天的资料的查询和官方文档的搭建标准参数设置方法查询,发现在网上一些帖子中,需要修改postgresql.auto.conf参数文件。我们知道,postgresql.auto.conf参数文件是一个动态参数文件,一般我们不会手动去修改它,而是通过数据库中alter system set parameter_name=values的方式来修改该文件中的参数。

但是,另外一个需要知道的点就是,postgresql.auto.conf的优先级要高于postgresql.conf,当我们启动数据库的时候,postgresql会先去postgresql.auto.conf中加载参数,当该文件中没有相应的参数时,则会加载postgresql.conf中的参数。

所以,此时我进入数据库对primary_conninfo参数进行查看:

  1. show primary_conninfo 
  2.  
  3. primary_conninfo | 'user=repl password=repl123 host=192.168.18.181 port=18801 sslmode=disable sslcompression=0 gssencmode=disable krbsrvname=postgres target_session_attrs=any' 

从数据库中的参数可以看到,此时primary_conninfo加载的参数,是异步流复制的参数,而不是我们在postgresql.conf中配置的同步流复制的参数。

此时,我们到postgresql.auto.conf中查看:

  1. cat postgresql.auto.conf 
  2.  
  3. # Do not edit this file manually! 
  4. # It will be overwritten by the ALTER SYSTEM command. 
  5. primary_conninfo = 'user=repl password=repl123 host=192.168.18.181 port=18801 sslmode=disable sslcompression=0 gssencmode=disable krbsrvname=postgres target_session_attrs=any' 

可以看到,在postgresql.auto.conf中有参数primary_conninfo的设置,且为异步流复制的配置参数。

此时,我们就能理解最开始出现的异常的原因了。

其实,在PostgreSQL中通过pg_basebackup进行基础备份的时候(由于加了-R参数),默认就会在postgresql.auto.conf文件中加入primary_conninfo参数,且该参数为异步流复制的参数(其实我们可以不用在postgresql.conf中配置primary_conninfo参数了)。

但是,该文件中只有primary_conninfo参数,当我们想要将流复制搭建为同步的方式的时候,必须配置两个参数:synchronous_standby_names和synchronous_commit。当我们在postgresql.conf中设置这两个参数后,由于postgresql.auto.conf中没有,所以只能到这里取。

此时数据库在进行DML和DDL操作的时候,则会等待备库的响应,但备库又为异步流复制,所以不会给主库回复wal已经接收到或者写入磁盘。因此,主库会一直hang住。

五、解决方案

解决该问题,则有以下几个方式:

1. 在备库上通过命令:

  1. alter system set primary_conninfo = 'application_name=standbydb1 user=repl password=repl123 host=192.168.18.181 port=18801 sslmode=disable sslcompression=0 gssencmode=disable krbsrvname=postgres target_session_attrs=any'

设置postgresql.auto.conf中primary_conninfo参数,并重启备库即可。

2. 手动修改postgresql.auto.conf文件,将primary_conninfo参数手动改为同步流复制参数,并重启备库。

3. 备库上通过命令:

  1. alter system set primary_conninfo = default

清空postgresql.auto.conf中primary_conninfo参数的配置,并重启备库,让数据库识别postgresql.conf文件中的参数。

4. 手动删除postgresql.auto.conf文件,将primary_conninfo参数手动删除或者注释,并重启备库,让数据库识别postgresql.conf文件中的参数。

搞定!

 

延伸 · 阅读

精彩推荐
  • PostgreSQLRDS PostgreSQL一键大版本升级技术解密

    RDS PostgreSQL一键大版本升级技术解密

    一、PostgreSQL行业位置 (一)行业位置 在讨论PostgreSQL(下面简称为PG)在整个数据库行业的位置之前,我们先看一下阿里云数据库在全球的数据库行业里的...

    未知1192023-05-07
  • PostgreSQLpostgresql 数据库中的数据转换

    postgresql 数据库中的数据转换

    postgres8.3以后,字段数据之间的默认转换取消了。如果需要进行数据变换的话,在postgresql数据库中,我们可以用"::"来进行字段数据的类型转换。...

    postgresql教程网12482021-10-08
  • PostgreSQLpostgresql 中的to_char()常用操作

    postgresql 中的to_char()常用操作

    这篇文章主要介绍了postgresql 中的to_char()常用操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...

    J符离13432021-04-12
  • PostgreSQLPostgresql查询效率计算初探

    Postgresql查询效率计算初探

    这篇文章主要给大家介绍了关于Postgresql查询效率计算的相关资料,文中通过示例代码介绍的非常详细,对大家学习或者使用Postgresql具有一定的参考学习价...

    轨迹4622020-05-03
  • PostgreSQL深入理解PostgreSQL的MVCC并发处理方式

    深入理解PostgreSQL的MVCC并发处理方式

    这篇文章主要介绍了深入理解PostgreSQL的MVCC并发处理方式,文中同时介绍了MVCC的缺点,需要的朋友可以参考下 ...

    PostgreSQL教程网3622020-04-25
  • PostgreSQLPostgresql开启远程访问的步骤全纪录

    Postgresql开启远程访问的步骤全纪录

    postgre一般默认为本地连接,不支持远程访问,所以如果要开启远程访问,需要更改安装文件的配置。下面这篇文章主要给大家介绍了关于Postgresql开启远程...

    我勒个去6812020-04-30
  • PostgreSQL分布式 PostgreSQL之Citus 架构

    分布式 PostgreSQL之Citus 架构

    节点 Citus 是一种 PostgreSQL 扩展,它允许数据库服务器(称为节点)在“无共享(shared nothing)”架构中相互协调。这些节点形成一个集群,允许 PostgreSQL 保存比单...

    未知802023-05-07
  • PostgreSQLPostgreSQL标准建表语句分享

    PostgreSQL标准建表语句分享

    这篇文章主要介绍了PostgreSQL标准建表语句分享,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...

    码上得天下7962021-02-27