Docker与Cgroups资源控制实战

Cgroups（Control Groups）是Linux内核提供的一种机制，用于将进程按组进行管理，并限制和统计这些进程的资源使用情况。这些资源包括CPU、内存、存储、网络等。通过Cgroups，系统管理员可以方便地限制某个进程或进程组的资源占用，并实时监控这些资源的使用情况。

Cgroups的核心概念包括cgroup、subsystem和hierarchy。

cgroup：cgroup是对进程分组管理的一种机制，一个cgroup包含一组进程，并可以在这个cgroup上增加Linux subsystem的各种参数配置，将一组进程和一组subsystem的系统参数关联起来。
subsystem：subsystem是一个内核模块，被关联到一颗cgroup树之后，就会在树的每个节点（进程组）上做具体的操作。subsystem经常被称作“resource controller”，因为它主要被用来调度或者限制每个进程组的资源。
hierarchy：hierarchy可以理解为一棵cgroup树，树的每个节点就是一个进程组，每棵树都会与零到多个subsystem关联。在一颗树里面，会包含Linux系统中的所有进程，但每个进程只能属于一个节点（进程组）。

Linux支持多种subsystem，例如限制CPU的使用时间、限制使用的内存、统计CPU的使用情况等。这些subsystem可以单独或组合使用，以满足不同的资源管理需求。

在进行Cgroups资源控制之前，首先需要查看当前系统支持的subsystem和cgroup树的信息。

cat /proc/cgroups

该命令将显示当前系统支持的subsystem列表以及它们所关联的cgroup树的ID。

在/sys/fs/cgroup目录下，可以看到各种资源的cgroup控制目录，如cpu、memory、blkio等。可以通过在这些目录下创建子目录来创建新的cgroup。

例如，创建一个名为test_cpu的cpu cgroup：

sudo mkdir /sys/fs/cgroup/cpu/test_cpu

同样地，可以创建一个名为test_mem的memory cgroup：

sudo mkdir /sys/fs/cgroup/memory/test_mem

创建cgroup后，系统会自动在相应的目录中生成配置文件，用于设置资源限制。

在/sys/fs/cgroup/cpu/test_cpu目录下，可以看到一些用于设置CPU资源限制的文件，如cpu.cfs_quota_us和cpu.cfs_period_us。

例如，要将test_cpu cgroup的CPU使用率限制为20%，可以执行以下命令：

echo 20000 | sudo tee /sys/fs/cgroup/cpu/test_cpu/cpu.cfs_quota_us
echo 100000 | sudo tee /sys/fs/cgroup/cpu/test_cpu/cpu.cfs_period_us

这里，cpu.cfs_quota_us设置为20000，cpu.cfs_period_us设置为100000，因此CPU使用率限制为20%（20000/100000）。

在/sys/fs/cgroup/memory/test_mem目录下，可以看到一些用于设置内存资源限制的文件，如memory.limit_in_bytes和memory.swappiness。

例如，要将test_mem cgroup的内存使用量限制为200MB，可以执行以下命令：

echo 209715200 | sudo tee /sys/fs/cgroup/memory/test_mem/memory.limit_in_bytes

这里，memory.limit_in_bytes设置为209715200字节（即200MB）。

创建并设置好cgroup后，需要将目标进程添加到相应的cgroup中。这可以通过将进程的PID写入cgroup的tasks文件来实现。

例如，要将PID为1234的进程添加到test_cpu cgroup中，可以执行以下命令：

echo 1234 | sudo tee /sys/fs/cgroup/cpu/test_cpu/tasks

同样地，可以将进程添加到test_mem cgroup中：

echo 1234 | sudo tee /sys/fs/cgroup/memory/test_mem/tasks

Docker本质上也是通过调用Cgroups的API来完成对资源的管理的。Docker提供了丰富的选项来限制容器的资源使用。

限制CPU使用：

在创建Docker容器时，可以使用–cpu-quota和–cpu-period选项来限制容器的CPU使用。
```
docker run -itd --name test_container --cpu-quota=20000 --cpu-period=100000 centos:7 /bin/bash
```
这里，–cpu-quota设置为20000，–cpu-period设置为100000，因此容器的CPU使用率限制为20%（20000/100000）。
限制内存使用：

在创建Docker容器时，可以使用-m或–memory选项来限制容器的内存使用。
```
docker run -itd --name test_container -m 200m centos:7 /bin/bash
```
这里，-m或–memory设置为200m（即200MB）。
限制磁盘IO：

在创建Docker容器时，可以使用–device-read-bps和–device-write-bps等选项来限制容器的磁盘IO。
```
docker run -itd --name test_container --device-read-bps /dev/sda:1mb --device-write-bps /dev/sda:1mb centos:7 /bin/bash
```
这里，–device-read-bps和–device-write-bps分别设置为1mb，表示限制容器的磁盘读写速度为1MB/s。