Python文件处理(IO 技术)

Python文件处理

一、文本文件和二进制文件

按文件中数据组织形式，我们把文件分为文本文件和二进制文件两大类。

1. 文本文件

文本文件存储的是普通“字符”文本，python 默认为 unicode 字符集（两个字节表示 一个字符，最多可以表示：65536 个），可以使用记事本程序打开。注意:像 word 软件编辑的文档不是文本文件。

2. 二进制文件

二进制文件把数据内容用“字节”进行存储，无法用记事本打开。必须使用专用的软件 解码。常见的有：MP4 视频文件、MP3 音频文件、JPG 图片、doc 文档等等。

二、文件操作相关模块概述

在 Python 中，有几个常用的文件操作相关模块可以帮助你进行文件的创建、读取、写入、复制、移动等操作。

这些模块为 Python 中文件操作提供了强大的功能和灵活性，可以根据需求选择合适的模块来进行文件处理操作。

三、创建文件对象 open()

open() 函数用于打开一个文件，并返回一个文件对象，可以对该文件对象进行读取、写入等操作。 语法格式如下：

open(file, mode='r', buffering=-1, encoding=None, errors=None, newline=None, closefd=True, opener=None)

其中：

• file: 要打开的文件的路径。
• mode: 打开文件的模式，常用的模式包括： ‘r’: 以只读方式打开文件（默认）。 ‘w’: 以写入方式打开文件，会覆盖已存在的文件。 ‘a’: 以追加模式打开文件，如果文件存在，数据将被写入到文件末尾。 ‘b’: 以二进制模式打开文件。 ‘t’: 以文本模式打开文件（默认）。
• buffering: 缓冲策略，0 表示不缓冲，1 表示行缓冲，大于 1 表示缓冲区大小。
• encoding: 文件编码（例如 ‘utf-8’），只适用于文本模式。
• errors: 指定编解码错误时的处理方式。
• newline: 控制换行模式。
• closefd: 是否关闭底层文件描述符。
• opener: 用于打开文件的自定义函数。

如果只是文件名，代表在当前目录下的文件。文件名可以录入全路径，比如：D:\a\b.txt。 为了减少“\”的输入，可以使用原始字符串：r“d:\b.txt”。 【示例】

f = open(r"d:\b.txt","w")

打开方式有如下几种：

文本文件对象和二进制文件对象的创建： 如果我们没有增加模式“b”，则默认创建的是文本文件对象，处理的基本单元是“字符”。如果是二进制模式“b”，则创建的是二进制文件对象，处理的基本单元是“字节”。

四、文本文件的写入

1. 基本的文件写入操作

文本文件的写入一般就是三个步骤：

1. 创建文件对象
2. 写入数据
3. 关闭文件对象

【示例】 文本写入操作简单测试

f = open(r'文件对象.txt', 'a')
s = 'hello world!'
f.write(s)
f.close()

执行结果：

2. 常用编码介绍

(1). ASCII码 全称为 American Standard Code for Information Interchange，美国信 息交换标准代码，这是世界上最早最通用的单字节编码系统，主要用来显示现代英语及其他西欧语言。 ASCII 码用 7 位表示，只能表示 128 个字符。只定义了 2 7=128 个字符，用7bit 即可完全编码，而一字节 8bit 的容量是 256，所以一字节 ASCII 的编码最高位总是 0。 0～31 表示控制字符如回车、退格、删除等；32～126 表示打印字符即可以 通过键盘输入并且能显示出来的字符；其中 48～57 为 0 到 9 十个阿拉伯数字，65～90 为 26 个大写英文字母，97～122 号为 26 个小写英文字母，其余为一些标点符号、运算符号等，具体可以参考 ASCII 标准表。

(2). Unicode Unicode是一种字符集，它定义了全球范围内几乎所有的字符，并为每个字符分配了一个唯一的码点（code point）。Unicode中的码点用十六进制表示，例如U+0041表示拉丁字母"A"。 Unicode的目标是为世界上每个字符提供一个唯一的标识，并且不受特定的编码限制。这样就能够实现不同语言、不同文化背景的字符在计算机系统中的互通和共享。 Unicode采用不同的编码方式来表示这些码点，常见的编码方式有UTF-8、UTF-16和UTF-32等。其中，UTF-8是最常用的编码方式之一，它使用可变长度的方式来表示字符，能够兼容ASCII码，并且对于常用的字符使用较少的字节表示，提高了存储效率。

(3). UTF-8 UTF-8（Unicode Transformation Format-8）是一种可变长度的编码方式，能够表示Unicode字符集中的任意字符。它是互联网上最常用的字符编码之一，也是现代编程语言中的标准字符编码方式。 UTF-8采用1到4个字节来表示一个字符，具体长度根据字符的不同而变化。对于ASCII码的字符，UTF-8使用1个字节来表示，因此在存储英文文本时，UTF-8和ASCII码是兼容的。而对于非ASCII字符，UTF-8使用不同长度的字节序列来表示，确保了所有Unicode字符都能够被表示。

特点：

• 可变长度：UTF-8使用不定长编码，对于不同的字符使用不同长度的字节来表示。这样可以节省存储空间，并且方便了Unicode字符在不同系统之间的传输和处理。
• 兼容ASCII码：对于ASCII码的字符，UTF-8使用1个字节来表示。这使得ASCII文本可以直接在UTF-8系统中使用，而不需要进行转换。
• 自我同步性：UTF-8编码方式具有自我同步性，即任何一个字节都可以作为起始字节。这样能够确保在传输和处理过程中不会出现数据混乱和解码错误。
• 国际化支持：UTF-8能够支持全球范围内几乎所有的字符，包括中文、日文、韩文等亚洲语言，以及西方语言和其他一些少数民族语言。

(4). GBK GBK编码是一种中文字符集编码方式，它是中国国家标准GB 2312的扩展形式。GBK编码能够表示中文字符以及包括繁体字在内的一些其他字符。

GBK编码使用双字节表示一个字符，每个字节使用8位二进制数表示。第一个字节的范围是0x81-0xFE，第二个字节的范围是0x40-0xFE（不包括0x7F），因此GBK编码总共可以表示(94+33)×(94+33)=30,664个字符。

GBK编码兼容ASCII码，即对于ASCII字符，使用单字节表示，与标准的ASCII编码一致。而对于中文字符和其他非ASCII字符，使用双字节表示。

注意: GBK编码是一种中文字符集编码方式，不同于Unicode编码。Unicode是一个统一的全球字符集，而GBK编码只是其中的一种特定编码方式，主要用于中文字符的表示。

3. 中文乱码问题

windows 操作系统默认的编码是 GBK，Linux 操作系统默认的编码是 UTF-8。当我们用 open()时，调用的是操作系统打开的文件，默认的编码是GBK。

【示例】 中文字符文件，乱码出现测试

f = open(r'中文乱码.txt', 'w')
s = '你好！\n'
f.write(s)  # 把字符串 s 写入到文件中
f.close()

运行结果（Linux 环境中不存在这个问题）：

**【示例】**通过指定文件编码解决中文乱码问题

f = open(r'中文乱码.txt', 'w', encoding='utf-8')
s = '你好！\n'
f.write(s)  # 把字符串 s 写入到文件中
f.close()

运行结果：

4. close()关闭文件流

由于文件底层是由操作系统控制，所以我们打开的文件对象必须显式调用 close()方法关闭文件对象。当调用 close()方法时，首先会把缓冲区数据写入文件(也可以直接调用 flush()方法)，再关闭文件，释放文件对象。

为了确保打开的文件对象正常关闭，一般结合异常机制的 finally 或者 with 关键字实现无论何种情况都能关闭打开的文件对象。

【示例】 结合异常机制 finally 确保关闭文件对象

# 结合异常机制 finally 确保关闭文件对象
try:
    f = open('close关闭流.txt', 'w')
    str1 = 'hello'
    f.write(str1)
except BaseException as e:
    print(e)
finally:
    f.close()

运行结果：

5. 文本文件的读取

文件的读取一般使用如下三个方法：

• read([size])：从文件中读取 size 个字符，并作为结果返回。如果没有 size 参数，则读取整个文件。读取到文件末尾，会返回空字符串。
• readline()：读取一行内容作为结果返回。读取到文件末尾，会返回空字符串。
• readlines()：文本文件中，每一行作为一个字符串存入列表中，返回该列表

【示例】 读取一个文件前 3 个字符

with open('with语句(上下文管理器).txt', 'r', encoding='utf-8') as f:
    str1 = f.read(3)
    print(str1)

运行结果：

【示例】 文件较小，一次将文件内容读入到程序中

# 文件较小，一次将文件内容读入到程序中
with open('with语句(上下文管理器).txt', 'r', encoding='utf-8') as f:
    str1 = f.read()
    print(str1)

运行结果：

【示例】 为文本文件每一行的末尾增加行号

with open('中文乱码.txt', 'r', encoding='utf-8') as f:
    lines = f.readlines()
    lines = [line.rstrip() + '  # ' + str(index + 1) + '\n' for index, line in enumerate(lines)]

with open('文本文件每一行的末尾增加行号.txt', 'w', encoding='utf-8') as f:
    f.writelines(lines)

运行结果：

6. 二进制文件的读取和写入

二进制文件的处理流程和文本文件流程一致。首先还是要创建文件对象，不过，我们需要指定二进制模式，从而创建出二进制文件对象。

创建好二进制文件对象后，仍然可以使用 write()、read()实现文件的读写操作。 【示例】 读取图片文件，实现文件的拷贝

# 二进制文件的读取
with open('aa.gif', 'rb') as f:
    line = f.read()

# 二进制文件的写入
with open('copy_aa.gif', 'wb') as f:
    f.write(line)

运行结果：

五、文件对象的常用属性和方法

文件对象的属性

文件对象的打开模式

文件对象的常用方法

六、文件任意位置操作

【示例】 seek()移动文件指针示例

with open('中文乱码.txt', 'r', encoding='utf-8') as f:
    print('文件名：{0}'.format(f.name))
    print(f.tell())
    print('读取的内容：{0}'.format(str(f.readline())))
    print(f.tell())
    f.seek(0, 0)
    print('读取的内容：{0}'.format(str(f.readline())))

运行结果：

七、CSV 文件的操作

csv(Comma Separated Values)是逗号分隔符文本格式，常用于数据交换、Excel文件和数据库数据的导入和导出。 与 Excel 文件不同，CSV 文件中：

• 值没有类型，所有值都是字符串
• 不能指定字体颜色等样式
• 不能指定单元格的宽高，不能合并单元格
• 没有多个工作表
• 不能嵌入图像图表

Python 标准库的模块 csv 提供了读取和写入 csv 格式文件的对象。

1. csv.reader 对象和 csv 文件读取

【示例】 csv.reader 对象于从 csv 文件读取数据

import csv
with open('豆瓣.csv', 'r', encoding='utf-8') as f:
    read = csv.reader(f)
    for row in read:
        print(row)

运行结果：

csv.writer 对象和 csv 文件写入

【示例】 csv.writer 对象写一个 csv 文件

import csv
headers = ['标题', '类型', '评分', '引言']
rows = [('当幸福来敲门', '剧情 传记 家庭', 9.2, '平民励志片。'),
        ('寻梦环游记', '喜剧 动画 奇幻 音乐', 9.1, '死亡不是真的逝去，遗忘才是永恒的消亡。'),
        ('末代皇帝', '剧情 传记 历史', 9.3, '“不要跟我比惨，我比你更惨”再适合这部电影不过了。')]
with open('豆瓣.csv', 'w', encoding='utf-8', newline='') as f:
    write = csv.writer(f)
    write.writerow(headers)
    write.writerows(rows)

运行结果：

pickle 序列化

Python 中，一切皆对象，对象本质上就是一个“存储数据的内存块”。有时候，我们需要将“内存块的数据”保存到硬盘上，或者通过网络传输到其他的计算机上。这时候，就需要“对象的序列化和反序列化”。 对象的序列化机制广泛的应用在分布式、并行系统上。 序列化指的是：将对象转化成“串行化”数据形式，存储到硬盘或通过网络传输到其他地方。反序列化是指相反的过程，将读取到的“串行化数据”转化成对象。

【示例】 将对象序列化到文件中

import pickle

with open(r"data.dat", "wb") as f:
    a1 = ['ZX', [123], {'age': 18}]
    pickle.dump(a1, f)

【示例】 将获得的数据反序列化成对象

import pickle

with open('data.dat', 'rb') as f:
    a = pickle.load(f)
print(a)

运行结果：

os 和 os.path 模块

os 模块可以帮助我们直接对操作系统进行操作。我们可以直接调用操作系统的可执行文件、命令，直接操作文件、目录等等。在系统运维的核心基础。

os 模块-调用操作系统命令

os.system 可以帮助我们直接调用系统的命令 【示例】 os.system 调用 windows 系统的记事本程序

import os
os.system('cmd')
os.system('regedit')

【示例】 os.system 调用 windows 系统中 ping 命令

import os
os.system("ping www.baidu.com")

运行结果：

os.startfile：直接调用可执行文件

【示例】 运行安装好的微信

import os
os.startfile('D:\软件\微信\WeChat\WeChat.exe')

运行结果：

os 模块-文件和目录操作

os 模块下常用操作文件的方法

os 模块下关于目录操作的相关方法

【示例】 os 模块：创建、删除目录、获取文件信息等

import os
# 获取文件和文件夹相关的信息
print(os.name)  # windows->nt; linux 和 unix->posix
print(os.sep)  # windows->\; linux 和 unix->/
print(repr(os.linesep))  # windows->\r\n;linux-->\n\
print(os.stat('os模块-文件和目录操作.py'))

# 关于工作目录的操作
print(os.getcwd())  # 返回当前工作目录
# os.chdir('d:')  # 改变当前的工作目录为：d:盘根目录

# 创建目录、创建多级目录、删除
os.mkdir('电影')  # 创建目录
os.makedirs('音乐/周杰伦/稻香')  # 创建多级目录
os.makedirs('../电影1')  # ../表示上一级

print(os.listdir('电影'))

os.path 模块

os.path 模块提供了目录相关（路径判断、路径切分、路径连接、文件夹遍历）的操作。

【示例】 测试 os.path 中常用方法

import os.path
# 是否为绝对路径
print(os.path.isabs('d:/a1.txt'))
# 是否为目录
print(os.path.isdir('d:/a1.txt'))
# 是否为文件
print(os.path.isfile('d:/a1.txt'))
# 文件是否存在
print(os.path.exists('d:/a1.txt'))
# 文件大小
print(os.path.getsize('d:/a1.txt'))
# 输出所在目录
print(os.path.dirname('d:/a1.txt'))
# 返回创建时间
print(os.path.getctime('d:/a1.txt'))
# 返回最后访问时间
print(os.path.getatime('d:/a1.txt'))
# 返回最后修改时间
print(os.path.getmtime('d:/a1.txt'))
# 输出绝对路径
print(os.path.abspath('d:/a1.txt'))
# 返回元组：目录、文件
print(os.path.split('d:/a1.txt'))
# 返回元组：路径、扩展名
print(os.path.splitext('d:/a1.txt'))
# 路径连接
print(os.path.join('d: ', 'python', 'a.txt'))

运行结果：

【示例】 列出指定目录下所有的.py 文件，并输出文件名

# 方法一
import os.path
path = os.getcwd()
file_list = os.listdir(path)
for filename in file_list:
    if filename.endswith('py'):
        print(filename)

# 方法二
import os.path
path = os.getcwd()
file_list = os.listdir(path)
filename = [filename for filename in file_list if filename.endswith('py')]
for f in filename:
    print(f)

walk()递归遍历所有文件和目录

os.walk()方法： 返回一个 3 个元素的元组，(dirpath, dirnames, filenames),

• dirpath：要列出指定目录的路径
• dirnames：目录下的所有文件夹
• filenames：目录下的所有文件

【示例】 使用 walk()递归遍历所有文件和目录

import os

all_files = []
path = os.getcwd()
list_files = os.walk(path)
for dirpath, dirnames, filenames in list_files:
    for dir in dirnames:
        all_files.append(os.path.join(dirpath, dir))
    for name in filenames:
        all_files.append(os.path.join(dirpath, name))
# 打印子目录和子文件
for file in all_files:
    print(file)

运行结果：

shutil 模块(拷贝和压缩)

shutil 模块是 python 标准库中提供的，主要用来做文件和文件夹的拷贝、移动、删除等；还可以做文件和文件夹的压缩、解压缩操作。 os 模块提供了对目录或文件的一般操作。shutil 模块作为补充，提供了移动、复制、压缩、解压等操作，这些 os 模块都没有提供。

【示例】 实现文件的拷贝

import shutil
# copy 文件内容
shutil.copy('1.txt', '1_copy.txt')

【示例】 实现递归的拷贝文件夹内容(使用 shutil 模块)

import shutil
#"音乐"文件夹不存在才能用。
shutil.copytree("电影/学习","音乐",ignore=shutil.ignore_patterns("*.html","*.htm"))

【示例】 实现将文件夹所有内容压缩

import shutil
# 将"电影/学习"文件夹下所有内容压缩到"音乐 2"文件夹下生成 movie.zip
# shutil.make_archive("音乐 2/movie", "zip", "电影/学习")


# 压缩:将指定的多个文件压缩到一个 zip 文件
import zipfile
z = zipfile.ZipFile("a.zip","w")
z.write("1.txt")
z.write("2.txt")
z.close()

运行结果：

【示例】 实现将压缩包解压缩到指定文件夹

import zipfile
# 解压缩：
z2 = zipfile.ZipFile("a.zip", "r")
z2.extractall("d:/")  # 设置解压的地址
z2.close()

运行结果：

递归算法

递归是一种常见的解决问题的方法，即把问题逐渐简单化。递归的基本思想就是“自己调用自己”，一个使用递归技术的方法将会直接或者间接的调用自己。 利用递归可以用简单的程序来解决一些复杂的问题。比如：斐波那契数列的计算、汉诺塔、快排等问题。

递归结构包括两个部分：

• 定义递归头。
• 递归体。

【示例】 使用递归求 n!

def factorial(n):
    if n == 1:
        return 1
    else:
        return n * factorial(n - 1)

a = factorial(5)
print(a)

运行结果：

【示例】 使用递归算法遍历目录下所有文件

import os
allfile = []

def getFiles(path, level):
    childFiles = os.listdir(path)
    for file in childFiles:
        filepath = os.path.join(path, file)
        if os.path.isdir(filepath):
            getFiles(filepath, level + 1)
        allfile.append("\t" * level + filepath)

getFiles(os.getcwd(), 0)
for f in reversed(allfile):
    print(f)

运行结果：