https://www.cnblogs.com/deny/p/14169356.html

 

背景介绍

本文介绍的内容,以docker-ce=19.03.13~centos 和 kubernetes=1.16.2 版本为例介绍,其他版本应该大同小异。

我们知道,docker-ce的默认工作目录是/var/lib/docker,会存放docker镜像文件、容器日志及写到容器临时目录的文件等。

kubelet的默认工作目录是/var/lib/kubelet,会存放volume文件(包括emptyDir volume)、plugin文件等。

这实际存在一个风险:大量的镜像文件或容器日志等,可能把操作系统根分区容量占满,进而导致系统crash或k8s pod被频繁驱逐等异常发生。

我们在生产环境上,往往需要更改docker和kubelet的工作目录,将其改到另外一块数据盘的文件系统上,例如下文中的“/mnt/data”目录。

修改docker工作目录

修改  vim /usr/lib/systemd/system/docker.service启动文件,添加  –graph=/data/docker

ExecStart=/usr/bin/dockerd --graph=/data/docker -H fd:// --containerd=/run/containerd/containerd.sock

重启docker

systemctl daemon-reload
systemctl restart docker

修改kubelet工作目录

根据  /usr/lib/systemd/system/kubelet.service.d/10-kubeadm.conf  加载文件,只需要修改 /etc/sysconfig/kubelet 即可。

KUBELET_EXTRA_ARGS="--root-dir=/data/k8s/kubelet"

此时config.yaml文件还是在/var/lib/kubelet下,需要修改为 :  /data/k8s/kubelet

将  vim 文件中 /var/lib/kubelet 改为 /data/k8s/kubelet

Environment="KUBELET_CONFIG_ARGS=--config=/data/k8s/kubelet/config.yaml"
EnvironmentFile=-/data/k8s/kubelet/kubeadm-flags.env

移动数据到 /data/k8s/kubelet

mkdir -p /data/k8s/kubelet
mv /var/lib/kubelet/* /data/k8s/kubelet
cp -rp /data/k8s/kubelet/pki/ /var/lib/kubelet/     ##后面可能会报 证书路径问题,故将证书拷贝回原路径

重启kubelet

systemctl daemon-reload
systemctl restart kubelet

 修改etcd数据目录

使用kubeadm搭建的k8s集群,默认etcd的数据目录为 /var/lib/etcd 。
集群运行一段时间后, 发现在系统硬盘上的etcd即占空间,又影响速度。所以将其数据目录迁移到ssd中。

注意
修改配置文件后,etcd会自动重启,并且导致对应机器的kubectl不可用。
所以请一台一台修改,etcd leader 节点放到最后操作,并且确保其他机器的kubectl可用。

vim /etc/kubernetes/manifests/etcd.yaml
# 翻到最下方,编辑hostPath
复制代码
 volumes:
  - hostPath:
      path: /etc/kubernetes/pki/etcd
      type: DirectoryOrCreate
    name: etcd-certs
  - hostPath:
      path: /data/k8s/etcd        # 将这个路径改为你要更改到的路径
      type: DirectoryOrCreate
    name: etcd-data
复制代码

注意,这里不要修改command中的–data-dir。 command中的选项是控制容器中的数据目录,我们只需要改变hostpath就可以了。

修改完成后,etcd会自动重启,使用其他master查看etcd状态。
这里etcd起不来是正常的,需要执行一下几步:

  1. 删除etcd的pod,删除后pod会从列表中消失,这是正常现象
  2. 需把etcd的要把/var/lib/etcd/* 拷贝到更改后的目录
  3. 重启物理机的kubelet
  4. 查看状态
    以上4步做完之后,etcd应该已经起来了。 注意,这里一定要先修改配置文件,在拷贝etcd数据

使用kubectl ecex 到一个etcd节点中, 查看etcd状态,一定要等节点状态全部健康后,在继续操作其他节点。

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注