一次服务器磁盘空间爆炸的排查

闪电
闪电
闪电
57
文章
0
评论
2020年4月25日17:23:40 评论 197

昨天服务器短信提醒,磁盘占用率持续91%。再上一次已经处理过,删了几个软件,最后降了不少,但是增长的速度有点快,昨天收到短信马上就抽时间排查错误。

磁盘占用从91%降到 28% ,效果还是可以的,接下来记录排查历程:

查看每个目录占用的空间大小:du -sh *

➜  ~ cd / && du -sh *
0 bin
184M boot
0 dev
37M etc
4.0K home
0 lib
0 lib64
16K lost+found
8.0K media
4.0K mnt
283M opt
du: 无法访问"proc/12104/task/12104/fd/4": 没有那个文件或目录
du: 无法访问"proc/12104/task/12104/fdinfo/4": 没有那个文件或目录
du: 无法访问"proc/12104/fd/4": 没有那个文件或目录
du: 无法访问"proc/12104/fdinfo/4": 没有那个文件或目录
0 proc
1.1G root
492K run
0 sbin
4.0K srv
0 sys
68K tmp
2.0G usr
2.1G var

经过查看,整体目录占用的空间不多,10G不到。如果在这查到占用多的文件,一层一层查询进去先删除,大多数都是日志的问题。

  • 查看占用空间大的已删除文件进程: lsof |grep delete
    ➜  ~ lsof |grep delete

    一次服务器磁盘空间爆炸的排查

罪魁祸首已经找到: pm2日志占用空间太大,并且已经删除,但是进程还在运作。

  • 清理 : kill 17817

经过杀掉没用进程后,存储空间恢复了正常

最后运维朋友送了三条最值钱的经验:

1. 有删除操作的时候,反复确认下当前路径,避免误删。

2. 配置修改前记得备份。

3. 重要数据定期备份。

weinxin
我的微信
微信扫一扫
闪电
  • 本文由 发表于 2020年4月25日17:23:40
  • 除非特殊声明,本站文章均为原创,转载请务必保留本文链接
Linux定时任务神器 - Crontab Linux技巧

Linux定时任务神器 – Crontab

1、前言 有时候我们需要执行一些简单定时任务,例如重启某个服务,自动备份等。本篇文章讲如何在Linux系统中使用Crontab执行定时任务。 2、脚本编写 创建一个文件:vi helloworld.s...
mac远程控制mac 技术随笔

mac远程控制mac

前言 当我们需要远程连接到其他电脑的时候,我们的第一反应应该是使用qq的远程控制,或者Teamview,这两个工具都非常好用,但是其实MacBook原生是支持远程链接另外一台MacBook的,并且网络...
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: