如何在Docker中抓包？

nsenter 命令是一个可以在指定进程的命令空间下运行指定程序的命令。它位于 util-linux 包中。

用途

一个最典型的用途就是进入容器的网络命令空间。相当多的容器为了轻量级，是不包含较为基础的命令的，比如说 ip address ， ping ， telnet ， ss ， tcpdump 等等命令，这就给调试容器网络带来相当大的困扰：只能通过 docker inspect ContainerID 命令获取到容器 IP，以及无法测试和其他网络的连通性。这时就可以使用 nsenter 命令仅进入该容器的网络命名空间，使用宿主机的命令调试容器网络。

此外，nsenter 也可以进入 mnt ， uts ， ipc ， pid ， user 命令空间，以及指定根目录和工作目录。

使用

首先看下 nsenter 命令的语法：

nsenter [options] [program [arguments]]





options:

-t, --target pid：指定被进入命名空间的目标进程的pid

-m, --mount[=file]：进入mount命令空间。如果指定了file，则进入file的命令空间

-u, --uts[=file]：进入uts命令空间。如果指定了file，则进入file的命令空间

-i, --ipc[=file]：进入ipc命令空间。如果指定了file，则进入file的命令空间

-n, --net[=file]：进入net命令空间。如果指定了file，则进入file的命令空间

-p, --pid[=file]：进入pid命令空间。如果指定了file，则进入file的命令空间

-U, --user[=file]：进入user命令空间。如果指定了file，则进入file的命令空间

-G, --setgid gid：设置运行程序的gid

-S, --setuid uid：设置运行程序的uid

-r, --root[=directory]：设置根目录

-w, --wd[=directory]：设置工作目录





如果没有给出program，则默认执行$SHELL。

示例：

运行一个 nginx 容器，查看该容器的 pid：

[root@staight~]#dockerinspect-f{{.State.Pid}}nginx5645

然后，使用 nsenter 命令进入该容器的网络命令空间：

[root@staight~]#nsenter-n-t5645[root@staight~]#ipaddr1:lo:<LOOPBACK,UP,LOWER_UP>mtu65536qdiscnoqueuestateUNKNOWNgroupdefaultqlen1000link/loopback00:00:00:00:00:00brd00:00:00:00:00:00inet127.0.0.1/8scopehostlovalid_lftforeverpreferred_lftforever18:eth0@if19:<BROADCAST,MULTICAST,UP,LOWER_UP>mtu1500qdiscnoqueuestateUPgroupdefaultlink/ether02:42:ac:11:00:02brdff:ff:ff:ff:ff:fflink-netnsid0inet172.17.0.2/16brd172.17.255.255scopeglobaleth0valid_lftforeverpreferred_lftforever

进入成功~

在 Kubernetes 中，在得到容器 pid 之前还需获取容器的 ID，可以使用如下命令获取：

[root@node1test]#kubectlgetpodtest-oyaml|grepcontainerID-containerID:docker://cf0873782d587dbca6aa32f49605229da3748600a9926e85b36916141597ec85

或者更为准确地获取 containerID ：

[root@node1test]#kubectlgetpodtest-otemplate--template='{{range.status.containerStatuses}}{{.containerID}}{{end}}'docker://cf0873782d587dbca6aa32f49605229da3748600a9926e85b36916141597ec85

原理

namespace

Linux在不断的添加命名空间，目前有：

• mount ： 挂载命名空间，使进程有一个独立的挂载文件系统，始于Linux 2.4.19

• ipc ： ipc命名空间，使进程有一个独立的ipc，包括消息队列，共享内存和信号量，始于Linux 2.6.19

• uts ： uts命名空间，使进程有一个独立的hostname和domainname，始于Linux 2.6.19

• net ： network命令空间，使进程有一个独立的网络栈，始于Linux 2.6.24

• pid ： pid命名空间，使进程有一个独立的pid空间，始于Linux 2.6.24

• user ： user命名空间，是进程有一个独立的user空间，始于Linux 2.6.23，结束于Linux 3.8

• cgroup ： cgroup命名空间，使进程有一个独立的cgroup控制组，始于Linux 4.6

[root@staightns]#pwd/proc/1/ns[root@staightns]#lltotal0lrwxrwxrwx1rootroot0Sep2319:53ipc->ipc:[4026531839]lrwxrwxrwx1rootroot0Sep2319:53mnt->mnt:[4026531840]lrwxrwxrwx1rootroot0Sep2319:53net->net:[4026531956]lrwxrwxrwx1rootroot0Sep2319:53pid->pid:[4026531836]lrwxrwxrwx1rootroot0Sep2319:53user->user:[4026531837]lrwxrwxrwx1rootroot0Sep2319:53uts->uts:[4026531838]

clone

clone 和 fork 比较类似，但更为精细化，比如说使用 clone 创建出的子进程可以共享父进程的虚拟地址空间，文件描述符表，信号处理表等等。不过这里要强调的是，clone 函数还能为新进程指定命名空间。

#define _GNU_SOURCE

#include <sched.h>





int clone(int (*fn)(void *), void *child_stack,

    int flags, void *arg, ...

    /* pid_t *ptid, void *newtls, pid_t *ctid */ );

其中 flags 即可指定命名空间，包括：

• CLONE_NEWCGROUP： cgroup

• CLONE_NEWIPC： ipc

• CLONE_NEWNET： net

• CLONE_NEWNS： mount

• CLONE_NEWPID： pid

• CLONE_NEWUSER： user

• CLONE_NEWUTS： uts

使用示例：

pid=clone(childFunc,stackTop,CLONE_NEWUTS|SIGCHLD,argv[1]);

setns

#
define _GNU_SOURCE       
/* See feature_test_macros(7) */


#
include 
<sched.h>







int 
setns
(
int fd, 
int nstype);





fd参数是一个指向一个命名空间的文件描述符，位于/proc/PID/ns/目录。





nstype指定了允许进入的命名空间，一般可设置为
0，表示允许进入所有命名空间。

因此，往往该函数的用法为：

1. 调用setns函数： 指定该线程的命名空间。

2. 调用execvp函数： 执行指定路径的程序，创建子进程并替换父进程。

这样，就可以指定命名空间运行新的程序了。

代码示例：

#
define _GNU_SOURCE


#
include 
<fcntl.h>


#
include 
<sched.h>


#
include 
<unistd.h>


#
include 
<stdlib.h>


#
include 
<stdio.h>






#
define errExit(msg)  do { perror(msg); exit(EXIT_FAILURE); \

            } while (0)







int


main
(
int argc, 
char *argv[])

{

  
int fd;





  
if (argc < 
3) {

    
fprintf(
stderr, 
"%s /proc/PID/ns/FILE cmd args...\n", argv[
0]);

    
exit(EXIT_FAILURE);

  }





  fd = open(argv[
1], O_RDONLY); 
/* Get file descriptor for namespace */

  
if (fd == 
-1)

    errExit(
"open");





  
if (setns(fd, 
0) == 
-1)    
/* Join that namespace */

    errExit(
"setns");





  execvp(argv[
2], &argv[
2]);  
/* Execute a command in namespace */

  errExit(
"execvp");

}

使用示例：

./ns_exec/proc/3550/ns/uts/bin/bash

nsenter

那么，最后就是 nsenter 了，nsenter 相当于在setns的示例程序之上做了一层封装，使我们无需指定命名空间的文件描述符，而是指定进程号即可。

指定进程号PID以及需要进入的命名空间后，nsenter会帮我们找到对应的命名空间文件描述符/proc/PID/ns/FD，然后使用该命名空间运行新的程序。