服务器之家：专注于服务器技术及软件下载分享
分类导航

Mysql|Sql Server|Oracle|Redis|MongoDB|PostgreSQL|Sqlite|DB2|mariadb|Access|数据库技术|

服务器之家 - 数据库 - MongoDB - MongoDB分片集群部署详解

MongoDB分片集群部署详解

2020-05-22 17:58navyaijm2012 MongoDB

这篇文章主要介绍了MongoDB分片集群部署详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

 一、环境说明

1、我们prod环境MongoDB的集群架构是做的分片集群的部署，但是目前我们没有分片，即所有数据都在一个分片上，后期如果数量大，需要分配，集群随时可以分片，对业务方透明

2、各个角色的部署情况

 

角色 IP 端口 复制集名称
mongos 172.21.244.101，172.21.244.102，172.21.244.94 27000 无
config server 172.21.244.101，172.21.244.102，172.21.244.94 27100 repl_configsvr
存储节点（shard） 172.21.244.101，172.21.244.102，172.21.244.94 27101 shard1

 

3、MongoDB版本

?
1
2
mongos> db.version()
4.0.4-62-g7e345a7

二、基础信息准备

0、系统优化

?
1
2
echo "never" >/sys/kernel/mm/transparent_hugepage/enabled
echo "never" >/sys/kernel/mm/transparent_hugepage/defrag

1、下载MongoDB二进制文件

?
1
2
3
cd /chj/app
wget ops.chehejia.com:9090/pkg/chj_mongodb_4.0.4.tar.gz
tar -zxvf chj_mongodb_4.0.4.tar.gz

2、相关目录建立

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
#建立base目录
mkdir /chj/data/mongodb/chj_db
#把MongoDB二进制文件移动到base目录下的bin文件夹
mv chj_mongodb_4.0.4/bin /chj/data/mongodb/chj_db/bin
#建立认证文件目录
mkdir /chj/data/mongodb/chj_db/auth
#建立配置文件目录
mkdir /chj/data/mongodb/chj_db/conf
#建立config server的data和日志目录
mkdir /chj/data/mongodb/chj_db/config/data -p
mkdir /chj/data/mongodb/chj_db/config/log
#建立mongos的日志目录
mkdir /chj/data/mongodb/chj_db/mongos/log -p
#建立数据节点data和日志目录
mkdir /chj/data/mongodb/chj_db/shard1/data -p
mkdir /chj/data/mongodb/chj_db/shard1/log

3、相关配置文件编写

A、mongos的配置文件编写

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
vim /chj/data/mongodb/chj_db/conf/mongos.conf
systemLog:
 destination: file
 logAppend: true
 path: /chj/data/mongodb/chj_db/mongos/log/mongos.log
 
processManagement:
 fork: true # fork and run in background
 pidFilePath: /chj/data/mongodb/chj_db/mongos/log/mongos.pid # location of pidfile
 timeZoneInfo: /usr/share/zoneinfo
 
net:
 port: 27000
 bindIpAll: true
 maxIncomingConnections: 1000
 unixDomainSocket:
  enabled: true
  pathPrefix: /chj/data/mongodb/chj_db/mongos/log
  filePermissions: 0700
 
security:
 keyFile: /chj/data/mongodb/chj_db/auth/keyfile.key
# authorization: enabled
 
#replication:
 
sharding:
 configDB: repl_configsvr/172.21.244.101:27100,172.21.244.102:27100,172.21.244.94:27100

B、config server的配置文件编写

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
vim /chj/data/mongodb/chj_db/conf/config.conf
systemLog:
 destination: file
 logAppend: true
 path: /chj/data/mongodb/chj_db/config/log/congigsrv.log
 
storage:
 dbPath: /chj/data/mongodb/chj_db/config/data
 journal:
  enabled: true
 wiredTiger:
  engineConfig:
   directoryForIndexes: true
 
processManagement:
 fork: true # fork and run in background
 pidFilePath: /chj/data/mongodb/chj_db/config/log/configsrv.pid # location of pidfile
 timeZoneInfo: /usr/share/zoneinfo
 
net:
 port: 27100
 bindIp: 0.0.0.0 # Enter 0.0.0.0,:: to bind to all IPv4 and IPv6 addresses or, alternatively, use the net.bindIpAll setting.
 #bindIpAll: true
 maxIncomingConnections: 1000
 unixDomainSocket:
  enabled: true
  pathPrefix: /chj/data/mongodb/chj_db/config/data
  filePermissions: 0700
 
security:
 keyFile: /chj/data/mongodb/chj_db/auth/keyfile.key
 authorization: enabled
 
replication:
 replSetName: repl_configsvr
sharding:
 clusterRole: configsvr

C、存储节点的配置文件编写

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
vim /chj/data/mongodb/chj_db/conf/shard1.conf
systemLog:
 destination: file
 logAppend: true
 path: /chj/data/mongodb/chj_db/shard1/log/shard1.log
 
storage:
 dbPath: /chj/data/mongodb/chj_db/shard1/data
 journal:
  enabled: true
 wiredTiger:
  engineConfig:
   directoryForIndexes: true
 
processManagement:
 fork: true # fork and run in background
 pidFilePath: /chj/data/mongodb/chj_db/shard1/log/shard1.pid # location of pidfile
 timeZoneInfo: /usr/share/zoneinfo
 
net:
 port: 27101
 bindIp: 0.0.0.0 # Enter 0.0.0.0,:: to bind to all IPv4 and IPv6 addresses or, alternatively, use the net.bindIpAll setting.
 #bindIpAll: true
 maxIncomingConnections: 1000
 unixDomainSocket:
  enabled: true
  pathPrefix: /chj/data/mongodb/chj_db/shard1/data
  filePermissions: 0700
 
security:
 keyFile: /chj/data/mongodb/chj_db/auth/keyfile.key
 authorization: enabled
 
replication:
 replSetName: shard1
sharding:
 clusterRole: shardsvr

4、生产key认证文件

?
1
2
3
echo "chj123456" >/chj/data/mongodb/chj_db/auth/keyfile.key
#设置文件的权限为400，不然服务无法启动
chmod 400 /chj/data/mongodb/chj_db/auth/keyfile.key

三、集群初始化

1、启动 config server 服务

?
1
/chj/data/mongodb/chj_db/bin/mongod -f /chj/data/mongodb/chj_db/conf/config.conf

2、初始化config server集群

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
#登录其中一个config server节点
/chj/data/mongodb/chj_db/bin/mongo --port 27100
#配置集群
config = { _id:"repl_configsvr",members:[ {_id:0,host:"172.21.244.101:27100"}, {_id:1,host:"172.21.244.102:27100"}, {_id:2,host:"172.21.244.94:27100"}] }
#初始化集群
rs.initiate(config)
PS：
结果输出如下，说明集群初始化成功，可以通过rs.status()命令查看集群状态
{
    "ok" : 1,
    "$gleStats" : {
        "lastOpTime" : Timestamp(1557538260, 1),
        "electionId" : ObjectId("000000000000000000000000")
    },
    "lastCommittedOpTime" : Timestamp(0, 0)
}

3、启动存储节点服务

?
1
/chj/data/mongodb/chj_db/bin/mongod -f /chj/data/mongodb/chj_db/conf/shard1.conf

4、初始化存储集群

?
1
2
3
4
5
6
7
8
9
#登录你希望是主节点的服务器
/chj/data/mongodb/chj_db/bin/mongo --port 27101
#配置集群
config = { _id:"shard1",members:[ {_id:0,host:"172.21.244.101:27101"}, {_id:1,host:"172.21.244.102:27101"},{_id:2,host:"172.21.244.94:27101",arbiterOnly:true}] }
#初始化集群
rs.initiate(config)
PS：
结果输出如下，说明集群初始化成功，可以通过rs.status()命令查看集群状态
{ "ok" : 1 }

5、添加存储集群的管理账号

登录主节点

?
1
2
3
4
5
6
7
8
9
/chj/data/mongodb/chj_db/bin/mongo --port 27101
use admin
db.createUser(
{
user: "root",
pwd: "123456",
roles: [ { role: "root", db: "admin" } ]
}
)

6、启动mongos 服务

?
1
/chj/data/mongodb/chj_db/bin/mongos -f /chj/data/mongodb/chj_db/conf/mongos.conf

7、添加config server的管理账号

登录任意一个mongos节点

?
1
2
3
4
5
6
7
8
9
/chj/data/mongodb/chj_db/bin/mongo --port 27000
use admin
db.createUser(
{
user: "root",
pwd: "123456",
roles: [ { role: "root", db: "admin" } ]
}
)

8、把存储节点添加到mongos

登录任意一个mongos节点（如果是在上一步的窗口，需要退出重新登录）

?
1
2
3
4
5
6
7
/chj/data/mongodb/chj_db/bin/mongo --port 27000
use admin
db.auth('root','123456')
#添加分片
sh.addShard('shard1/172.21.244.101:27101,172.21.244.102:27101,172.21.244.94:27101')
#查看分片状态
sh.status()

四、交付业务方

1、建立应用账号

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
登录任意一个mongos节点
/chj/data/mongodb/chj_db/bin/mongo --port 27000
use admin
db.auth('root','123456')
#切到业务数据库
use chj_db
#建立读写账号
db.createUser(
{
  user: "chj_db_rw",
  pwd: "123456",
  roles: [
   { role: "readWrite", db: "chj_db" },
   { role: "dbOwner", db: "chj_db" }
  ]
}
)
#建立只读账号(根据业务需求确认是否需要)
db.createUser(
{
user: "chj_db_r",
pwd: "123456",
roles: [ { role: "read", db: "chj_db" } ]
}
)

2、交付开发人员信息

?
1
2
3
4
连接地址：172.21.244.101:27000，172.21.244.102:27000，172.21.244.94:27000
库名：chj_db
账号：chj_db_rw
密码：123456

五、数据库启用分片

如果后期业务量大，需要开启分片，配置如下

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
#指定需要分片的数据库
mongos> sh.enableSharding("chj_db")
{
    "ok" : 1,
    "operationTime" : Timestamp(1557546835, 3),
    "$clusterTime" : {
        "clusterTime" : Timestamp(1557546835, 3),
        "signature" : {
            "hash" : BinData(0,"bkrrr8Kxrr9j9udrDc/hURHld38="),
            "keyId" : NumberLong("6689575940508352541")
        }
    }
}
#在chj_db数据库和users集合中创建了name和age为升序的片键
mongos> sh.shardCollection("chj_db.users",{name:1,age:1})
{
    "collectionsharded" : "chj_db.users",
    "collectionUUID" : UUID("59c0b99f-efff-4132-b489-f6c7e3d98f42"),
    "ok" : 1,
    "operationTime" : Timestamp(1557546861, 12),
    "$clusterTime" : {
        "clusterTime" : Timestamp(1557546861, 12),
        "signature" : {
            "hash" : BinData(0,"UBB1A/YODnmXwG5eAhgNLcKVzug="),
            "keyId" : NumberLong("6689575940508352541")
        }
    }
}
#查看分片情况
mongos> sh.status()
--- Sharding Status ---
 sharding version: {
    "_id" : 1,
    "minCompatibleVersion" : 5,
    "currentVersion" : 6,
    "clusterId" : ObjectId("5cd625e0da695346d740f749")
 }
 shards:
    { "_id" : "shard1", "host" : "shard1/172.21.244.101:27101,172.21.244.102:27101", "state" : 1 }
 active mongoses:
    "4.0.4-62-g7e345a7" : 3
 autosplit:
    Currently enabled: yes
 balancer:
    Currently enabled: yes
    Currently running: no
    Failed balancer rounds in last 5 attempts: 0
    Migration Results for the last 24 hours:
        No recent migrations
 databases:
    { "_id" : "chj_db", "primary" : "shard1", "partitioned" : true, "version" : { "uuid" : UUID("82088bc7-7b98-4033-843d-7058d8d959f6"), "lastMod" : 1 } }
        chj_db.users
            shard key: { "name" : 1, "age" : 1 }
            unique: false
            balancing: true
            chunks:
                shard1 1
            { "name" : { "$minKey" : 1 }, "age" : { "$minKey" : 1 } } -->> { "name" : { "$maxKey" : 1 }, "age" : { "$maxKey" : 1 } } on : shard1 Timestamp(1, 0)
    { "_id" : "config", "primary" : "config", "partitioned" : true }
        config.system.sessions
            shard key: { "_id" : 1 }
            unique: false
            balancing: true
            chunks:
                shard1 1
            { "_id" : { "$minKey" : 1 } } -->> { "_id" : { "$maxKey" : 1 } } on : shard1 Timestamp(1, 0)

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持服务器之家。

原文链接：https://blog.51cto.com/navyaijm/2392829

  • mongodb
  • 分片集群

    • 延伸 · 阅读

    精彩推荐
    • MongoDBMongoDB 内存使用情况分析

      MongoDB 内存使用情况分析

      都说 MongoDB 是个内存大户，但是怎么知道它到底用了多少内存呢...

      MongoDB教程网10002020-09-29
    • MongoDBMongoDB凭什么跻身数据库排行前五

      MongoDB凭什么跻身数据库排行前五

      MongoDB以比去年同期超出65.96分的成绩继续雄踞榜单前五，这个增幅在全榜仅次于PostgreSQL的77.99，而其相对于4月份的6.10分的增长也是仅次于微软SQL Server排名...

      孙浩峰3892020-05-22
    • MongoDB迁移sqlserver数据到MongoDb的方法

      迁移sqlserver数据到MongoDb的方法

      这篇文章主要介绍了迁移sqlserver数据到MongoDb的方法,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下...

      听枫xl9682021-01-03
    • MongoDBMongodb实现定时备份与恢复的方法教程

      Mongodb实现定时备份与恢复的方法教程

      这篇文章主要给大家介绍了Mongodb实现定时备份与恢复的方法教程，文中通过示例代码介绍的非常详细，对大家具有一定的参考学习价值，需要的朋友们下面...

      chenjsh364522020-05-13
    • MongoDB分布式文档存储数据库之MongoDB分片集群的问题

      分布式文档存储数据库之MongoDB分片集群的问题

      这篇文章主要介绍了分布式文档存储数据库之MongoDB分片集群的问题，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋...

      Linux-18743072020-12-20
    • MongoDBMongoDB安装图文教程

      MongoDB安装图文教程

      这篇文章主要为大家详细介绍了MongoDB安装图文教程，分为两大部分为大家介绍下载MongoDB和安装MongoDB的方法，感兴趣的小伙伴们可以参考一下 ...

      Yangyi.He6132020-05-07
    • MongoDBMongoDB中javascript脚本编程简介和入门实例

      MongoDB中javascript脚本编程简介和入门实例

      作为一个数据库，MongoDB有一个很大的优势——它使用js管理数据库，所以也能够使用js脚本进行复杂的管理——这种方法非常灵活 ...

      MongoDB教程网6982020-04-24
    • MongoDBmongodb基本命令实例小结

      mongodb基本命令实例小结

      这篇文章主要介绍了mongodb基本命令,结合实例形式总结分析了MongoDB数据库切换、查看、删除、查询等基本命令用法与操作注意事项,需要的朋友可以参考下...

      dawn-liu3652020-05-26
    最近更新
    编辑推荐
    阅读排行
    热门标签
    28663 　 数据库删除 　 db.serverStatus 　 分片技术 　 MongoDB教程 　 MongoDB安装图解 　 MongoDB安装教程 　 MongoDB入门教程 　 PHP驱动 　 修改用户密码 　 自定义连接池 　 replica 　 mongodb导入 　 mongodb导出 　 mongodb还原 　 mongodb备份 　 整库备份 　 数据库切换 　 数据库创建 　 cgroup 　 循环遍历 　 数据库游标 　 NumberInt32 　 添加管理员 　 安全设置命令 　 php分页类 　 编程模型 　 脚本编程 　 mongodb条件查询 　 mongodb数组查询 　
    © 2019-2025 服务器之家(www.zzvips.com) 版权所有关于我们联系我们版权申明网站地图