Python,Shell 和 三个标准文件

场景

使用 Python 执行 Shell 命令(或者脚本),有两种执行场景:

  1. 等待,直到命令执行完毕,一次性获取返回结果,做一些你想做的事情;
  2. 命令执行的同时,实时获取命令的持续输出,做一些你想做的事情。

例子

第一种场景:ls -a (list segment,Unix系统中使用非常频繁的命令)用于列出所有文件,文件列出之后就自动退出了。

第二种场景:ping zhihu.com 它会持续的输出结果,并不会退出(当然可以加 -t n 来指定 n 次之后结束退出,这样就属于场景一了,本文我们不指定 n)

相信这两种情况已满足了读者 90% 呃不 100% 需求了,如果没有请留言区留言


预备

执行一个 Shell 命令行时通常会自动打开三个标准文件,即:

  • 标准输入文件(stdin),通常对应终端的键盘
  • 标准输出文件(stdout)
  • 标准错误输出文件(stderr)

后两个文件对应终端的屏幕,进程从标准输入文件中得到输入数据,将正常输出数据输出到标准输出文件,而将错误信息送到标准错误文件中。

实战

比较一下比较好记忆:

ls -a (场景一)

import subprocess

def run_cmd(cmd):
    return subprocess.Popen(
        cmd,
        shell=False,
        stdout=subprocess.PIPE,
        stderr=subprocess.PIPE).communicate()

std_out_and_err = run_cmd(['ls', '-a'])
print(std_out_and_err)
# ('.\n..\ncontinuegetstdout.py\n', '')

两个点比较有价值:

  1. shell 这个参数很多人不理解,其实就是 False 的时候 Python 帮你执行命令, True 的时候相当于直接在终端执行命令。False 的时候,我们需要把命令按空格使用逗号分隔开来(即 list 数据结构)传给 cmd 参数(目的是让 Python 清楚这条命令的所有细节),代码中的例子就是使用这种;而 True 的时候只需要把命令一股脑(string 数据结构)的传给 cmd 参数,总结即 False:cmd=['ls', '-a'],True:cmd='ls -a' 纠结吗?推荐第一种
  2. communicate() 这个方法到底是干嘛的?官方文档如下:

Interact with process: Send data to stdin. Read data from stdout and stderr, until end-of-file is reached. Wait for process to terminate. The optional input argument should be a string to be sent to the child process, or None, if no data should be sent to the child. communicate() returns a tuple (stdout, stderr).

翻译一下:

与进程进行交互:将数据发送到 stdin。从 stdout 和 stderr 文件中读取数据,直到达到文件结尾。等待进程终止。可选的 input 参数应该是要发送到子进程的字符串,如果没有数据应该发送给子进程,则为 None。 communicate() 返回一个元组 (stdout, stderr)。

例子中我们并没有显式的指定 input 参数,默认为 None,我们只从 stdin 和 stderr 文件中读取数据。

这里其实是一个同步的过程,进程终止后才会返回所读取到的数据(进程终止,文件自然也结尾了),也就是 communicate() 方法直接使命令执行变为了同步,不执行完成就一直阻塞。如果我们执行 ping zhihu.com 等不会自己终止的命令,这种方式会一直卡死,因为进程一直没有结束,文件也一直不会结尾。

那么类似这种持续输出结果的命令如何执行呢?我们接着向下看

ping zhihu.com (场景二)

import subprocess

def run_cmd(cmd):
    return subprocess.Popen(
        cmd,
        shell=False,
        stdout=subprocess.PIPE,
        stderr=subprocess.PIPE)

p = run_cmd(['ping', 'zhihu.com'])
for i in iter(p.stdout.readline, ''):
    print(i.strip())

如代码所示,少了 communicate(),于是 p 是 subprocess.Popen 类的实例

查看 Popen 类源码 738 行:

self.stdout = os.fdopen(c2pread, 'rU', bufsize)

os.fdopen 的文档:

Return an open file object connected to a file descriptor.

得知 p.stdout 是一个:打开的文件对象,那么用 readline 就合理了。

注意这里使用了 iter() 内置函数,将 p.stdout 转换为一个迭代器,并使用 p.stdout.readline 替换迭代器的 next 方法,后面 '' 的意思就是当 p.stdout.readline 返回的值是 '' 的时候,迭代器终止,本篇不详细讲,有兴趣可以留言提问哦

原文发布于微信公众号 - 随心DevOps(heart-devops)

原文发表时间:2018-01-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏生信技能树

构建shell脚本一文就够

非常多的朋友在看我们公众号过往转录组,WES,等流程分享的时候发现很难理解我们的代码,其实就是缺乏shell脚本知识,那么这篇教程你就不容错过。 内容 使用多个...

3214
来自专栏九彩拼盘的叨叨叨

Node.js 版本管理器: nvm 介绍

有时候,我们需要测试写的 Nodejs 的程序在不同 Nodejs 版本下是否能正常运行;或是我们想要尝试下最新版 Nodejs 的新特性,但常用的代码需要旧版...

791
来自专栏专注 Java 基础分享

Struts2框架的基本使用(二)

     上一篇 Struts2框架的基本使用 我们限于篇幅,最后简单介绍了Action的配置问题,本篇接着介绍有关框架的一些其他基本用法,主要内容如下: Ac...

22010
来自专栏编程

AngularJS 指令

AngularJS 通过被称为指令的新属性来扩展 HTML。 AngularJS 通过内置的指令来为应用添加功能。 AngularJS 允许你自定义指令。 ? ...

18310
来自专栏破晓之歌

python之调用系统命令 原

os模块包装了不同操作系统的通用接口,使用户在不同操作系统下,可以使用相同的函数接口,返回相同结构的结果。

2234
来自专栏wym

转载[Linux/Ubuntu] vi/vim 使用方法讲解

源地址:http://www.cnblogs.com/emanlee/archive/2011/11/10/2243930.html

1092
来自专栏Python中文社区

Python还能做这个?真的好棒棒耶!

專 欄 ❈爱撒谎的男孩,Python中文社区专栏作者 博客:https://chenjiabing666.github.io ❈ 准备 好吧,其实我想说的是如...

2198
来自专栏黄Java的地盘

旧项目TypeScript改造问题与解决方案记

由于本次改造的项目为一个通过NPM进行发布的基础服务包,因此本次采用TypeScript进行改造的目标是移除Babel全家桶,减小包体积,同时增加强类型约束从而...

5321
来自专栏Python小屋

使用with关键字让你的Python代码更加Pythonic

首先解释一下上一篇文章Python科学计算扩展库numpy中的广播运算中最后的小题目,该题目答案是一个元组(True, 5),原因在于Python中的等号=虽然...

3518
来自专栏阮一峰的网络日志

npm scripts 使用指南

Node 开发离不开 npm,而脚本功能是 npm 最强大、最常用的功能之一。 本文介绍如何使用 npm 脚本(npm scripts)。 ? 一、什么是 np...

3417

扫码关注云+社区