成为VIP
博客：
没有遇到故障的运维不是合格的运维，没有处理故障的运维不是好运维。
做运维这么多年，每天依然提心吊胆，担心突发故障，打破生活节奏。
可是，人算不如天算，大部分故障都来源于近乎合理的操作，这次也是一样。
起因是要把几百G的数据传输到阿里云的Nas，通过外网挂载的方式拷贝。按道理讲这没什么问题，不就几百G的数据么，之前拷贝几个T的数据都没问题。
可偏偏不按道理讲。
这几百G的数据全是由大量的小文件组成，在拷贝的时候既要频繁的占用本地磁盘IO，也要占用网络IO，然后事情就发生了——服务器的负载直接干爆（原本8核的CPU，负载高达500多），而且服务器是老年机，配置很Low。这就导致该服务器直接处于死亡状态，更可气的是该服务器是K8S集群的master，Master宕机，其他节点失联，集群处于崩溃中。
负载下不来，服务器无法操作。只有出绝招了——重启服务器。
在提心吊胆中服务器终于是起来了。但是，新问题来了，Docker起不来，提示/var/lib/docker/overlays Input/Output error。
这特么不是尽给我惹事么，所幸的是只是这个目录下的部分文件异常，整个文件系统并没有损坏。
既然你起不来，那我就换一个目录吧，我就在/etc/docker/daemon.json中重新更改了目录：
cat > /etc/docker/daemon.json << EOF
{
"data-root": "/data/docker"
}
EOF
Docker起来了，看似向好的方向发展了，可是Docker压根用不了。
陷入了沉默，内心焦躁不安，如果不及时解决会影响整体的项目进度……
开始做最坏的打算——重做。随机开始把未备份的数据进行备份etcd集群，然后另一方面问谷歌大佬，看有没有类似的问题，最后什么也没找到。
沉入谷底，如果重做，我一晚上都不一定能做好，但是不重做，所有的工作都可能停滞。
为了静下心，买了一盒泡面…..
其实问题的目标很明确了，修复好docker，一切都迎刃而解。
又重头去梳理Docker的配置。发现Docker的启动文件中有引入其他配置。
然后发现在docker-options.conf中有配置Docker的data-rootetcd集群，我就把其改了，把原来/etc/docker/daemon.json删了。
神奇的事情发生，Docker能够正常启动，也没有再报任何错误。
现在就开始启动Etcd，为了保险起见，将原有的数据进行了备份，然后重新恢复故障前最近的Etcd备份文件。
Etcd顺利起来了，然后apiserver、controller-manager等都起来了，整个集群开始正常运转。
问题发生的出乎意料，问题解决的也出乎意料。
所以，平时在工作中：
1、做好备份
2、谨慎操作
3、冷静分析
问题发生，总要找解决办法，做好最坏的打算。在解决问题的过程中一定要冷静，我有一阵子很急躁，导致没有仔细去看配置，所以延缓了恢复时间。
限时特惠：本站每日持续更新海量设计资源，一年会员只需29.9元，全站资源免费下载
站长微信：ziyuanshu688
htebazile
