服务器之家:专注于服务器技术及软件下载分享
分类导航

Mysql|Sql Server|Oracle|Redis|MongoDB|PostgreSQL|Sqlite|DB2|mariadb|Access|数据库技术|

服务器之家 - 数据库 - MongoDB - MongoDB最大连接数设置失效的异常分析过程与解决方法

MongoDB最大连接数设置失效的异常分析过程与解决方法

2020-05-18 15:51东山絮柳仔 MongoDB

mongodb最大连接数是20000。所以业界流传一段话,千万级以下的用mysql、千万级以上的用mongodb,亿级以上的用hadoop。下面这篇文章主要给大家介绍了关于MongoDB最大连接数设置失效的异常分析过程,需要的朋友可以参考下

背景介绍:

查询MongoDB配置参数,可以知道关于最大连接数的参数是maxConns。但是连接实例后,查看支持的最大连接数,还是默认的819。

说明:最大连接数是由maxConn (maxIncomingConnections)和操作系统单个进程能打开的最大文件描述符数总量的80%决定的,取两个之间的最小值。默认单个进程能打开的最大文件描述符数为1024,1024*80% = 819.2 取整数819。所以最大可以支持的并发连接数为819。

案例重现

以下为本次测试MongoDB案例配置的参数。

MongoDB最大连接数设置失效的异常分析过程与解决方法

启动后查看最大连接数。

运行命令:db.serverStatus().connections

MongoDB最大连接数设置失效的异常分析过程与解决方法

Current表示当前到实例上正在运行的连接数。

Available表示当前实例还可以支持的并发连接数。

也就是说此实例最大能支持的并发连接数为:Current+available=3+816=819.

所以设置的maxConns参数无效。所以设置的maxConns参数无效!所以设置的maxConns参数无效!所以设置的maxConns参数无效!

答案求索

此时查看查看网上相关资料,大部分集中在 Linux系统最大文件描述符数。查看我们系统配置,此时已经是65535了。不是系统最大文件描述符数限制的了。

MongoDB最大连接数设置失效的异常分析过程与解决方法

转个弯,因为我们是为操作系统是 centos 7 ,所以我们的mongodb服务是透过systemctl来管理的。那如果是通过service 命令来管理此服务呢?

测试1 测试用service来管理mongodb 服务 对最大连接数的影响

(1) 在/etc/init.d目录下创建名为mongodbtest0903的服务;

(2) 服务的配置如下:

MongoDB最大连接数设置失效的异常分析过程与解决方法

(3) 赋予执行权限,然后开启服务

MongoDB最大连接数设置失效的异常分析过程与解决方法

(4) 此时查看连接数为2500(为maxConns参数值)

MongoDB最大连接数设置失效的异常分析过程与解决方法

(5) 关闭 mongodb 服务

MongoDB最大连接数设置失效的异常分析过程与解决方法

 

以上说明用service 来管理服务,最大连接数参数起作用了。

测试2 如果直接用Mongodb command打开呢?

(1) 直接开启

MongoDB最大连接数设置失效的异常分析过程与解决方法

(2)此时查看连接数为2500(为maxConns参数值)

MongoDB最大连接数设置失效的异常分析过程与解决方法

(3)关闭此服务

MongoDB最大连接数设置失效的异常分析过程与解决方法

以上说明直接开启Mongodb服务,最大连接数参数起作用了。

通过service和 mongodb命令启动服务,最大连接数都是设置的参数,而通过systemctl来开启此服务就变成了默认的819.

探究

 

我们来具体分析下systemctl 开启的 mongodb 服务(此服务定义为mongodbtest0903)。

(1)查看此服务的所有配置细节的命令

?
1
systemctl show mongodbtest0903.service

部分细节如下

MongoDB最大连接数设置失效的异常分析过程与解决方法

此时 LimitNOFILE=4096

(2) 查看此服务的进程,以及此进程下的资源限制

MongoDB最大连接数设置失效的异常分析过程与解决方法

进程的资源限制

MongoDB最大连接数设置失效的异常分析过程与解决方法

终于看到了 资源限制是1024。

问题1:为什么经过systemctl 启动的mongodb服务变成了默认的819.

回答:因为systemctl 启动的服务进程其最大文件描述符数变成了1024. 1024*80% = 819.2 取整数819.

问题2:为什么系统设置的最大是65525 而 systemctl 变成了1024.

在Centos7系统中,使用Systemd替代了之前的SysV。/etc/security/limits.conf文件的配置作用域缩小了。/etc/security/limits.conf的配置,只适用于通过PAM认证登录用户的资源限制,它对systemd的service的资源限制不生效。

其实仔细查看/etc/security/limits.conf文件的注释,说明了对系统服务不生效。

MongoDB最大连接数设置失效的异常分析过程与解决方法

解决方案

解决方案,知道了问题所在,针对此问题寻找解决方案相对容易了。

解决方案1:针对单个 systemctl 管理的服务。

在/lib/systemd/system中找到具体的服务,增加

?
1
2
# (open files)
LimitNOFILE=64000

命令。 修改后为:

MongoDB最大连接数设置失效的异常分析过程与解决方法

重启服务,此时连接查看最大连接数为2500,到达设置的参数。

解决方案2 网上有种方案是对systemd全局修改此方案本作者没有验证,转述如下,意思是修改/etc/systemd/system.conf 即可:

全局的配置,放在文件/etc/systemd/system.conf和/etc/systemd/user.conf。 同时,也会加载两个对应的目录中的所有.conf文件/etc/systemd/system.conf.d/*.conf和/etc/systemd/user.conf.d/*.conf
其中,system.conf是系统实例使用的,user.conf用户实例使用的。一般的sevice,使用system.conf中的配置即可。systemd.conf.d/*.conf中配置会覆盖system.conf。

DefaultLimitCORE=infinity

DefaultLimitNOFILE=100000

DefaultLimitNPROC=100000

注意:修改了system.conf后,需要重启系统才会生效。

因为服务器上systemctl会管理多种服务,为减少对其它服务的影响,建议在单个服务上修改,集采用第一种方案。

其他相关知识

(1)mysql 服务也会遇到类似问题;

(2)* nofiles - soft limit on the number of file descriptors a process may have;

(3)*soft limit与hard limit的不同:soft limit是真正生效的限制值,而hard limit仅仅是soft limit调整范围的一个上限。

连接数优化:

通过serverStatus查询连接数:

?
1
mongo> db.serverStatus().connections

每个连接都是一个线程,需要一个Stack,Linux下缺省的Stack设置一般比较大:

?
1
shell> ulimit -a | grep stack stack size (kbytes, -s) 10240

至于MongoDB实际使用的Stack大小,可以用如下命令确认(单位:K):

?
1
shell> cat /proc/$(pidof mongod)/limits | grep stack | awk -F 'size' '{print int($NF)/1024}'

如果Stack过大(比如:10240K)的话没有意义,简单对照命令结果中的Size和Rss:

?
1
shell> cat /proc/$(pidof mongod)/smaps | grep 10240 -A 10

所有连接消耗的内存加起来会相当惊人,推荐把Stack设置小一点,比如说1024:

?
1
shell> ulimit -s 1024

注:从MongoDB1.8.3开始,MongoDB会在启动时自动设置Stack。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对服务器之家的支持。

原文链接:https://www.cnblogs.com/xuliuzai/p/9589272.html

 

延伸 · 阅读

精彩推荐
  • MongoDBMongoDB多条件模糊查询示例代码

    MongoDB多条件模糊查询示例代码

    这篇文章主要给大家介绍了关于MongoDB多条件模糊查询的相关资料,文中通过示例代码介绍的非常详细,对大家学习或者使用MongoDB具有一定的参考学习价值...

    浅夏晴空5902020-05-25
  • MongoDBMongoDB查询之高级操作详解(多条件查询、正则匹配查询等)

    MongoDB查询之高级操作详解(多条件查询、正则匹配查询等)

    这篇文章主要给大家介绍了关于MongoDB查询之高级操作(多条件查询、正则匹配查询等)的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者...

    w田翔3872020-12-19
  • MongoDBWindows下MongoDB配置用户权限实例

    Windows下MongoDB配置用户权限实例

    这篇文章主要介绍了Windows下MongoDB配置用户权限实例,本文实现需要输入用户名、密码才可以访问MongoDB数据库,需要的朋友可以参考下 ...

    MongoDB教程网3082020-04-29
  • MongoDB在mac系统下安装与配置mongoDB数据库

    在mac系统下安装与配置mongoDB数据库

    这篇文章主要介绍了在mac系统下安装与配置mongoDB数据库的操作步骤,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪...

    CXYhh1219312021-11-14
  • MongoDBmongodb数据库基础知识之连表查询

    mongodb数据库基础知识之连表查询

    这篇文章主要给大家介绍了关于mongodb数据库基础知识之连表查询的相关资料,文中通过示例代码介绍的非常详细,对大家学习或者使用mongodb具有一定的参...

    ZJW02155642020-05-22
  • MongoDBMongoDB系列教程(五):mongo语法和mysql语法对比学习

    MongoDB系列教程(五):mongo语法和mysql语法对比学习

    这篇文章主要介绍了MongoDB系列教程(五):mongo语法和mysql语法对比学习,本文对熟悉Mysql数据库的同学来说帮助很大,用对比的方式可以快速学习到MongoDB的命...

    MongoDB教程网3252020-05-01
  • MongoDBMongoDB的索引

    MongoDB的索引

    数据库中的索引就是用来提高查询操作的性能,但是会影响插入、更新和删除的效率,因为数据库不仅要执行这些操作,还要负责索引的更新 ...

    MongoDB教程网2532020-05-12
  • MongoDBMongodb索引的优化

    Mongodb索引的优化

    MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。接下来通过本文给大家介绍Mongodb索引的优化,本文介绍的非常详细,具有参考借鉴价值,感...

    MRR3252020-05-05