专栏首页数据之美linux 系统监控、诊断工具之 lsof 用法简介

linux 系统监控、诊断工具之 lsof 用法简介

1、lsof 简介

lsof 是 linux 下的一个非常实用的系统级的监控、诊断工具。 它的意思是 List Open Files,很容易你就记住了它是 “ls + of”的组合~ 它可以用来列出被各种进程打开的文件信息,记住:linux 下 “一切皆文件”, 包括但不限于 pipes, sockets, directories, devices, 等等。 因此,使用 lsof,你可以获取任何被打开文件的各种信息。

只需输入 lsof 就可以生成大量的信息,因为 lsof 需要访问核心内存和各种文件,所以必须以 root 用户的身份运行它才能够充分地发挥其功能。

lsof 的示例输出:

root@YLinux:~/lab 0# lsof
COMMAND     PID   TID       USER   FD      TYPE     DEVICE SIZE/OFF       NODE NAME
systemd       1             root  cwd       DIR        8,6     4096          2 /
systemd       1             root  rtd       DIR        8,6     4096          2 /
systemd       1             root  txt       REG        8,6  2273340    1834909 /usr/lib/systemd/systemd
systemd       1             root  mem       REG        8,6   210473    1700647 /lib/libnss_files-2.15.s
...

2、lsof 常用用法

2.1 监控打开的文件、设备

查看文件、设备被哪些进程占用

# lsof /dev/tty1
COMMAND     PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
bash       1770 jian    0u   CHR    4,1      0t0 1045 /dev/tty1
bash       1770 jian    1u   CHR    4,1      0t0 1045 /dev/tty1
bash       1770 jian    2u   CHR    4,1      0t0 1045 /dev/tty1
bash       1770 jian  255u   CHR    4,1      0t0 1045 /dev/tty1
startx     1845 jian    0u   CHR    4,1      0t0 1045 /dev/tty1
startx     1845 jian    1u   CHR    4,1      0t0 1045 /dev/tty1
...

2.2 监控文件系统

指定目录、挂载点,可以看到有哪些进程打开了其下的文件:

# lsof /data/
COMMAND   PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
bash    15983 jian  cwd    DIR    8,5     4096 8252 /data/backup
...

这在 umount 某个文件系统失败时非常有用(通常会报该 FS is busy)。

列出某个目录(挂载点 如 /home 也行)下被打开的文件:

# lsof +D /var/log/

COMMAND   PID   USER  FD   TYPE DEVICE SIZE/OFF   NODE NAME
rsyslogd  488 syslog   1w   REG    8,1     1151 268940 /var/log/syslog
rsyslogd  488 syslog   2w   REG    8,1     2405 269616 /var/log/auth.log
console-k 144   root   9w   REG    8,1    10871 269369 /var/log/ConsoleKit/history

列出被指定进程名打开的文件:

# lsof -c ssh -c init

COMMAND    PID   USER   FD   TYPE DEVICE SIZE/OFF   NODE NAME
init         1       root  txt    REG        8,1   124704  917562 /sbin/init
init         1       root  mem    REG        8,1  1434180 1442625 /lib/i386-linux-gnu/libc-2.13.so
init         1       root  mem    REG        8,1    30684 1442694 /lib/i386-linux-gnu/librt-2.13.so
...
ssh-agent 1528 lakshmanan    1u   CHR        1,3      0t0    4369 /dev/null
ssh-agent 1528 lakshmanan    2u   CHR        1,3      0t0    4369 /dev/null
ssh-agent 1528 lakshmanan    3u  unix 0xdf70e240      0t0   10464 /tmp/ssh-sUymKXxw1495/agent.1495

2.3 监控进程

指定进程号,可以查看该进程打开的文件:

# lsof -p 2064
COMMAND  PID USER   FD   TYPE     DEVICE SIZE/OFF    NODE NAME
firefox 2064 jian  cwd    DIR        8,6     4096 1571780 /home/jian
firefox 2064 jian  rtd    DIR        8,6     4096       2 /
firefox 2064 jian  txt    REG        8,6    44224 1985670 /usr/lib/firefox-12.0/firefox
firefox 2064 jian  mem    REG        8,6 14707012  925361 /usr/share/fonts/chinese/msyhbd.ttf
firefox 2064 jian  mem    REG        8,6 15067744  925362 /usr/share/fonts/chinese/msyh.ttf
firefox 2064 jian  mem    REG        8,6 16791251 1701681 /usr/share/fonts/wenquanyi/wqy-zenhei.ttc
firefox 2064 jian  mem    REG       0,16 67108904   10203 /dev/shm/pulse-shm-3021850167
...

当你想要杀掉某个用户所有打开的文件、设备,你可以这样:

kill -9 `lsof -t -u lakshmanan`

此处 -t 的作用是单独的列出 进程 id 这一列。

关于杀死进程的 4 种方式,请参考:

http://www.thegeekstuff.com/2009/12/4-ways-to-kill-a-process-kill-killall-pkill-xkill/

2.4 监控网络

查看指定端口有哪些进程在使用(lsof -i 列出所有的打开的网络连接):

# lsof -i:22
COMMAND  PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
sshd    1569 root    3u  IPv4  10303      0t0  TCP *:ssh (LISTEN)
sshd    1569 root    4u  IPv6  10305      0t0  TCP *:ssh (LISTEN)
...

列出被某个进程打开所有的网络文件:

lsof -i -a -p 234

或者

lsof -i -a -c ssh

列出所有 tcp、udp 连接:

lsof -i tcp; 
lsof -i udp;

列出所有 NFS 文件:

lsof -N -u lakshmanan -a

查看指定网口有哪些进程在使用:

# lsof -i@192.168.1.91
COMMAND     PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
skype      1909 jian   54u  IPv4   9116      0t0  TCP 192.168.1.91:40640->64.4.23.153:40047 (ESTABLISHED)
pidgin     1973 jian    7u  IPv4   6599      0t0  TCP 192.168.1.91:59311->hx-in-f125.1e100.net:https (ESTABLISHED)
pidgin     1973 jian   13u  IPv4   9260      0t0  TCP 192.168.1.91:54447->by2msg3010511.phx.gbl:msnp (ESTABLISHED)
...

3、更多使用技巧

3.1 监控用戶

查看指定用戶打开的文件(lsof -u ^lakshmanan 可以排除某用户):

# lsof -u messagebus
COMMAND    PID       USER   FD   TYPE     DEVICE SIZE/OFF    NODE NAME
dbus-daem 1805 messagebus  cwd    DIR        8,6     4096       2 /
dbus-daem 1805 messagebus  rtd    DIR        8,6     4096       2 /
dbus-daem 1805 messagebus  txt    REG        8,6  1235361 1834948 /usr/bin/dbus-daemon
dbus-daem 1805 messagebus  mem    REG        8,6   210473 1700647 /lib/libnss_files-2.15.so
dbus-daem 1805 messagebus  mem    REG        8,6   190145 1700642 /lib/libnss_nis-2.15.so
dbus-daem 1805 messagebus  mem    REG        8,6   490366 1700636 /lib/libnsl-2.15.so
...

3.2 监控应用程序

查看指定程序打开的文件:

# lsof -c firefox
COMMAND  PID USER   FD   TYPE     DEVICE SIZE/OFF    NODE NAME
firefox 2064 jian  cwd    DIR        8,6     4096 1571780 /home/jian
firefox 2064 jian  rtd    DIR        8,6     4096       2 /
firefox 2064 jian  txt    REG        8,6    44224 1985670 /usr/lib/firefox-12.0/firefox
firefox 2064 jian  mem    REG        8,6 14707012  925361 /usr/share/fonts/chinese/msyhbd.ttf
firefox 2064 jian  mem    REG        8,6 15067744  925362 /usr/share/fonts/chinese/msyh.ttf
firefox 2064 jian  mem    REG        8,6 16791251 1701681 /usr/share/fonts/wenquanyi/wqy-zenhei.ttc
...

4、命令模式技巧

4.1 组合逻辑查询条件

只有多个查询条件都满足, 用 "-a" 参数,默认是 -o 。

# lsof -a -c bash -u root
COMMAND  PID USER   FD   TYPE DEVICE SIZE/OFF    NODE NAME
bash    1986 root  cwd    DIR    8,6     4096 1701593 /root/lab
bash    1986 root  rtd    DIR    8,6     4096       2 /
bash    1986 root  txt    REG    8,6  1994157 1700632 /bin/bash
bash    1986 root  mem    REG    8,6  9690800  405214 /usr/lib/locale/locale-archive
bash    1986 root  mem    REG    8,6   210473 1700647 /lib/libnss_files-2.15.so

4.2 lsof 命令的重复执行模式:

基于给定的参数延时多少秒重复执行 lsof

+r 表示 当没有文件被打开的时候,repeat mode 将自行结束。

-r 表示 不管文件是否存在或者被打开,它都将执行,直到你中断它。

每个循环的输出使用 ‘=======’ 做分隔符,你也可以用 ‘-r’ | ‘+r’ 指定延时时间。

# lsof -u lakshmanan -c init -a -r5

=======
=======
COMMAND   PID       USER   FD   TYPE DEVICE SIZE/OFF    NODE NAME
inita.sh 2971 lakshmanan  cwd    DIR    8,1     4096  393218 /home/lakshmanan
inita.sh 2971 lakshmanan  rtd    DIR    8,1     4096       2 /
inita.sh 2971 lakshmanan  txt    REG    8,1    83848  524315 /bin/dash
inita.sh 2971 lakshmanan  mem    REG    8,1  1434180 1442625 /lib/i386-linux-gnu/libc-2.13.so
inita.sh 2971 lakshmanan  mem    REG    8,1   117960 1442612 /lib/i386-linux-gnu/ld-2.13.so
inita.sh 2971 lakshmanan    0u   CHR  136,4      0t0       7 /dev/pts/4
inita.sh 2971 lakshmanan    1u   CHR  136,4      0t0       7 /dev/pts/4
inita.sh 2971 lakshmanan    2u   CHR  136,4      0t0       7 /dev/pts/4
inita.sh 2971 lakshmanan   10r   REG    8,1       20  393578 /home/lakshmanan/inita.sh
=======

以上输出是前 5 秒没有输出,然后 “inita.sh” 启动后,开始有了输出。

5、最后的技巧

关于磁盘空间告警 df -h --max=1 与 du -hx --max=1 显示不一致的问题,

最常见的的还是下面这种情况:

lsof|grep -i delete

看看被删除的文件:有些删了文件,但是进程没 reload,那些空间还是占用的,你可以理解为类似 windows 下的进程句柄没释放的概念吧~ 

只是 windows 下如果有文件被进程使用,你一般是删不掉的,而 linux 虽然不做删除限制,但却要等到进程使用完文件才能完全释放,以防止进程奔溃,这是操作系统对资源的管理差异吧~ 例如 nginx 会有很多临时文件占用了 /tmp 目录,删掉后,依然占用着空间,

此时你可以:

pkill -9 nginx && /etc/init.d/nginx restart

那如果你想更优雅的释放空间,而不是强制重启进程呢?

可以借助 gdb 或者直接清空进程空间所持有的 fd:

let's assume we have a file my10MBfile

$ dd if=/dev/zero of=/tmp/my10MBfile bs=1M count=10
10+0 enregistrements lus
10+0 enregistrements écrits
10485760 octets (10 MB) copiés, 0,0454491 s, 231 MB/s

$ ls -l /tmp/my10MBfile
-rw-r--r-- 1 max max 10485760 avril 23 22:49 /tmp/my10MBfile

$ df -m /tmp
/dev/disk/by-uuid/6835b2fd-971d-420c-ba18-3c729ec2e8a0     14637  9225       4662  67% /
Now i open that file with less (yes it is a binary file... nevermind)

$ less /tmp/my10MBfile &

$ lsof -p $(pidof less) | grep 10MBfile
less    29351  max    4r   REG    8,3 10485760 521464 /tmp/my10MBfile
Then I remove that file

$ rm /tmp/my10MBfile

$ lsof -p $(pidof less) | grep 10MBfile
less    29351  max    4r   REG    8,3 10485760 521464 /tmp/my10MBfile (deleted)

$ df -m /tmp
/dev/disk/by-uuid/6835b2fd-971d-420c-ba18-3c729ec2e8a0     14637  9225       4662  67% /
Still there but deleted, look at the 4th column of the lsof output: File Descriptor number 4 open for Reading (4r)

let's running GDB!

$ gdb -p $(pidof less)

GNU gdb (GDB) 7.4.1-debian
....
Attaching to process 29351
....

(gdb) p close(4)
$1 = 0
(gdb) q
That's it!

$ df -m /tmp
/dev/disk/by-uuid/6835b2fd-971d-420c-ba18-3c729ec2e8a0     14637  9215       4672  67% /
Our 10MB are welcome back :)

$ ls /proc/29351/fd
0  1  2  3

$ ps 29351
29351 pts/0    S+     0:00 less /tmp/my10MBfile
Process is still running.

###############################################
## 如果想要更直接的话可以:
###############################################

find /proc/*/fd -ls 2> /dev/null | grep '(deleted)'
Find all opened file descriptors.

Grep deleted.

StdError to /dev/null

Output:

160448715    0 lrwx------   1 user      user            64 Nov 29 15:34 /proc/28680/fd/113 -> /tmp/vteT3FWPX\ (deleted)
Or you can use awk

find /proc/*/fd -ls 2> /dev/null | awk '/deleted/ {print $11}';

awk output(tested in bash Ubuntu 12.04):

/proc/28680/fd/113
Find and truncate all deleted files(tested in bash Ubuntu 12.04):

(DON'T DO THIS IF YOU DON'T KNOW WHAT YOU DO)

find /proc/*/fd -ls 2> /dev/null | awk '/deleted/ {print $11}' | xargs -p -n 1 truncate -s 0
-p prompt before execute truncate

Better way is manual truncate

Manual truncate:

: > /proc/28680/fd/113
or:

> /proc/28680/fd/113
or:

truncate -s 0 /proc/28680/fd/113
Enjoy ;)

好吧,本文到此结束了,关于 lsof 还有很多很多,不过笔者常用、知道的就这些了,也欢迎给位朋友留言交流分享。

6、refer:

[1] 使用 lsof 查找打开的文件

http://www.ibm.com/developerworks/cn/aix/library/au-lsof.html

[2] 15 Linux lsof Command Examples (Identify Open Files)

http://www.thegeekstuff.com/2012/08/lsof-command-examples/

[3] 实用的系统工具之 lsof

http://www.ylinux.org/forum/t/276

[4] How to recover free space on deleted files without restarting the referencing processes?

http://serverfault.com/questions/501963/how-to-recover-free-space-on-deleted-files-without-restarting-the-referencing-pr

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 巧用 SecureCRT 实现复杂的 ssh 登录过程自动化

    以前公司的服务器都是在 SecureCRT 里直接 ssh 连接,但是最近公司处于安全审计考虑,在所有服务器前加了一层堡垒机,而且密码采用 kerberos 集...

    用户1177713
  • Yarn(MapReduce 2.0)下分布式缓存(DistributedCache)的注意事项

    1、问题 最近公司的集群从 Apache hadoop 0.20.203 升级到了 CDH 4,迈进了 Hadoop 2.0 的新时代,虽然新一代的 h...

    用户1177713
  • 图文并茂详解 SQL JOIN

    Join是关系型数据库系统的重要操作之一,一般关系型数据库中包含的常用Join:内联接、外联接和交叉联接等。如果我们想在两个或以上的表获取其中从一个表中的行与另...

    用户1177713
  • ElasticSearch入门介绍之安装部署(二)

    我是攻城师
  • Centos7环境搭建安装jdk、tomcat、nginx、redis、fastDFS

    centos7安装jdk,tomcat,nginx,redis,fastDFS的步骤

    挑战者
  • 技术分享 | MySQL Test 初探

    MySQL Test 是 MySQL 发行版本中集成 all-in-one 测试框架,用于做 mysql 服务的单元,回归和一致性测试,并提供了运行单元测试和创...

    爱可生开源社区
  • 等保测评2.0之Centos安全审计

    在进行等级保护测评时,需要检查主机的安全审计功能,这里就以等级保护2.0来说一说centos6在这方面的检测,以下是安全计算环境的安全审计控制点中的测评项。

    FB客服
  • FSMC与FPGA通信

    STM32是ST(意法半导体)公司推出的基于ARM内核Cortex-M3的32位微控制器系列。Cortex-M3内核是为低功耗和价格敏感的应用而专门设计的,具有...

    anytao
  • 官方推荐:MySQL忘记root密码

    打开MySQL官网,在其首页搜缩框输入“forget password”搜索,意思是“忘记密码”。(搜索框有点小,点击那个放大镜就可以输入) 

    KEVINGUO_CN
  • UWP 流畅设计中的光照效果(容易的 RevealBorderBrush 和不那么容易的 RevealBackgroundBrush)

    发布于 2018-04-15 09:37 更新于 2018-12...

    walterlv

扫码关注云+社区

领取腾讯云代金券