笔记 | 如何在Python下调用Linux的Shell命令?

阅读大概需要5分钟

zenRRan:

昨天应导师要求,需要写很多python脚本在linux下,这样就会用到如何在python下调用linux命令。

这里有篇比较全的文章,推荐给大家!

地址:

https://blog.csdn.net/longerzone/article/details/17889969

导读

有时候难免需要直接调用Shell命令来完成一些比较简单的操作,比如mount一个文件系统之类的。那么我们使用Python如何调用Linux的Shell命令?下面来介绍几种常用的方法。

1. os模块

1.1. os模块的exec方法族

Python的exec系统方法同Unix的exec系统调用是一致的。这些方法适用于在子进程中调用外部程序的情况,因为外部程序会替换当前进程的代码,不会返回。( 这个看了点 help(os) --> search "exec" 的相关介绍,但是没太搞明白咋使用)

1.2. os模块的system方法

system方法会创建子进程运行外部程序,方法只返回外部程序的运行结果。这个方法比较适用于外部程序没有输出结果的情况。

>>> import os
>>> os.system("echo \"Hello World\"")   # 直接使用os.system调用一个echo命令
Hello World         ——————> 打印命令结果
0                   ——————> What's this ? 返回值?
>>> val = os.system("ls -al | grep \"log\" ")   # 使用val接收返回值
-rw-r--r--  1 root       root       6030829 Dec 31 15:14 log    ——————> 此时只打印了命令结果
>>> print val           
0                   ——————> 注意,此时命令正常运行时,返回值是0
>>> val = os.system("ls -al | grep \"log1\" ")
>>> print val       
256                 ——————> 使用os.system调用一个没有返回结果的命令,返回值为256~
>>>

注意:上面说了,此方法只返回外部程序的结果,也就是os.system的结果,所以如果你想接收命令的返回值,接着向下看~

1.3. os模块的popen方法

当需要得到外部程序的输出结果时,本方法非常有用。比如使用urllib调用Web API时,需要对得到的数据进行处理。os.popen(cmd) 要得到命令的输出内容,只需再调用下read()或readlines()等 如a=os.popen(cmd).read()

>>> os.popen('ls -lt')                  # 调用os.popen(cmd)并不能得到我们想要的结果
<open file 'ls -lt ', mode 'r' at 0xb7585ee8>
>>> print os.popen('ls -lt').read()     # 调用read()方法可以得到命令的结果
total 6064
-rwxr-xr-x 1 long       long            23 Jan  5 21:00 hello.sh
-rw-r--r-- 1 long       long           147 Jan  5 20:26 Makefile
drwxr-xr-x 3 long       long          4096 Jan  2 19:37 test
-rw-r--r-- 1 root       root       6030829 Dec 31 15:14 log
drwxr-xr-x 2 long       long          4096 Dec 28 09:36 pip_build_long
drwx------ 2 Debian-gdm Debian-gdm    4096 Dec 23 19:08 pulse-gylJ5EL24GU9
drwx------ 2 long       long          4096 Jan  1  1970 orbit-long
>>> val = os.popen('ls -lt').read()     # 使用变量可以接收命令返回值
>>> if "log" in val:                    # 我们可以使用in来判断返回值中有木有一个字符串
...     print "Haha,there is the log"
... else:
...     print "No,not happy"
...
Haha,there is the log

2. commands模块

使用commands模块的getoutput方法,这种方法同popend的区别在于popen返回的是一个文件句柄,而本方法将外部程序的输出结果当作字符串返回,很多情况下用起来要更方便些。

主要方法:

* commands.getstatusoutput(cmd) 返回(status, output)

* commands.getoutput(cmd) 只返回输出结果

* commands.getstatus(file) 返回ls -ld file的执行结果字符串,调用了getoutput,不建议使用此方法

long@zhouyl:/tmp/tests$ python
Python 2.7.3 (default, Jan  2 2013, 16:53:07) 
[GCC 4.7.2] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import commands
>>> commands.getstatusoutput('ls -lt')      # 返回(status, output)
(0, 'total 5900\n-rwxr-xr-x 1 long long      23 Jan  5 21:34 hello.sh\n-rw-r--r-- 1 long long     147 Jan  5 21:34 Makefile\n-rw-r--r-- 1 long long 6030829 Jan  5 21:34 log')
>>> commands.getoutput('ls -lt')            # 返回命令的输出结果(貌似和Shell命令的输出格式不同哈~)
'total 5900\n-rwxr-xr-x 1 long long      23 Jan  5 21:34 hello.sh\n-rw-r--r-- 1 long long     147 Jan  5 21:34 Makefile\n-rw-r--r-- 1 long long 6030829 Jan  5 21:34 log'
>>> commands.getstatus('log')               # 调用commands.getoutput中的命令对'log'文件进行相同的操作
'-rw-r--r-- 1 long long 6030829 Jan  5 21:34 log'
>>> 

3. subprocess模块

根据Python官方文档说明,subprocess模块用于取代上面这些模块。有一个用Python实现的并行ssh工具—mssh,代码很简短,不过很有意思,它在线程中调用subprocess启动子进程来干活。

>>> from subprocess import call
>>> call(["ls", "-l"])

subprocess与system相比的优势是它更灵活(你可以得到标准输出,标准错误,“真正”的状态代码,更好的错误处理,等..)。我认为使用os.system已过时,或即将过时。

4. 众方法的比较以及总结

4.1. 关于 os.system

os.system("some_command with args")将命令以及参数传递给你的系统shell,这很好,因为你可以用这种方法同时运行多个命令并且可以设置管道以及输入输出重定向。比如:

os.system("some_command < input_file | another_command > output_file")

然而,虽然这很方便,但是你需要手动处理shell字符的转义,比如空格等。此外,这也只能让你运行简单的shell命令而且不能运行外部程序。

4.2. 关于os.popen

使用stream = os.popen("some_command with args")也能做与os.system一样的事,与os.system不同的是os.popen会给你一个像文件的对象从而你可以使用它来访问哪个程序的标准输入、输出。而且popen还有三个变种都是在I/O处理上有轻微不同。假如你通过一个字符串传递所有东西,你的命令会传递给shell;如果你通过一个列表传递他们,你不用担心逃避任何事。

4.3. 关于subprocess.popen

subprocess模块的Popen类,意图作为os.popen的替代,但是因为其很全面所以比os.popen要显得稍微复杂,使用起来需要学习哦~~。

比如你可以使用 print Popen("echo Hello World", stdout=PIPE, shell=True).stdout.read() 来替代 print os.popen("echo Hello World").read()。但是相比之下它使用一个统一的类包括4中不同的popen函数还是不错的。

4.4. 关于subprocess.call

subprocess模块的call函数。它基本上就像Popen类并都使用相同的参数,但是它只简单的等待命令完成并给你返回代码。比如:

return_code = subprocess.call("echo Hello World", shell=True)

os模块中还有C中那样的fork/exec/spawn函数,但是我不建议直接使用它们。subprocess可能更加适合你

References

[1] http://demi-panda.com/2013/01/25/python-shell-command/index.html

[2] http://m.blog.csdn.net/blog/overstack/9295995

[3] http://blog.csdn.net/swiftshow/article/details/7755543

下面是对于文中所涉及的内容的python官方文档:

[4] http://docs.python.org/library/subprocess.html#replacing-older-functions-with-the-subprocess-module -- 关于使用subprocess 替代老的方法

[5] http://docs.python.org/lib/os-process.html -- os的exec方法族以及system方法

[6] http://docs.python.org/lib/os-newstreams.html -- os的popen方法

[7] http://docs.python.org/lib/node528.html -- os的subprocess介绍

原文发布于微信公众号 - 深度学习自然语言处理(zenRRan)

原文发表时间:2018-11-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏IT技术精选文摘

深入理解 Java 并发之 synchronized 实现原理

线程安全是并发编程中的重要关注点,应该注意到的是,造成线程安全问题的主要诱因有两点,一是存在共享数据(也称临界资源),二是存在多条线程共同操作共享数据。因此为了...

52370
来自专栏java一日一条

Jsoup代码解读之五-parser(中)

Jsoup parser的入口facade,封装了常用的parse静态方法。可以设置maxErrors,用于收集错误记录,默认是0,即不收集。与之相关的类有Pa...

7920
来自专栏程序你好

Java虚拟机JVM架构解析

每个Java开发人员都知道字节码将由JRE (Java运行时环境)运行。但是许多人不知道JRE是Java虚拟机(JVM)的实现,它分析字节码、解释并执行代码。作...

8820
来自专栏北京马哥教育

十分钟带你了解 Python3 多线程核心知识

每个独立的线程有一个程序运行的入口、顺序执行序列和程序的出口。但是线程不能够独立执行,必须依存在应用程序中,由应用程序提供多个线程执行控制。 每个线程都有他自...

27550
来自专栏散尽浮华

linux运维中的命令梳理(三)

----------文本操作命令---------- sed命令:文本编辑工具 sed是一个很好的文件处理工具,本身是一个管道命令,主要是以行为单位进行处理,可...

27580
来自专栏Astropeak

Python:怎样用线程将任务并行化?

23670
来自专栏java一日一条

Jsoup代码解读之五-parser(中)

Jsoup parser的入口facade,封装了常用的parse静态方法。可以设置maxErrors,用于收集错误记录,默认是0,即不收集。与之相关的类有Pa...

7720
来自专栏企鹅号快讯

用 Python 处理 HTML 转义字符的5种方式

Photo byAhmed SaffuonUnsplash 写爬虫是一个发送请求,提取数据,清洗数据,存储数据的过程。在这个过程中,不同的数据源返回的数据格式各...

44590
来自专栏编程微刊

如何把传统写法改成框架形式 es6http://www.expressjs.com.cn/

23820
来自专栏码代码的陈同学

Java中的类加载器

Class loaders属于JRE的一部分,负责在运行时将Java类动态加载到JVM。得益于class loaders,JVM在无需知晓底层文件或文件系统时就...

12920

扫码关注云+社区

领取腾讯云代金券