python之文件操作、OS模块、CSV
一 文件操作
1 文件系统和文件
在磁盘上读写文件的功能都是由操作系统提供的，现代操作系统不允许普通的程序直接操作磁盘，所以，读写文件就是请求操作系统打开一个文件对象（通常称为文件描述符），然后，通过操作系统提供的接口从这个文件对象中读取数据（读文件），或者把数据写入这个文件对象（写文件）。 文件是计算机中由OS管理的具有名字的存储区域，在Linux中，文件是被看做字节序列.
2 python内置的打开文件的方式open读取
1 文件打开open
open(文件目录（可以是绝对路径和相对路径）[文件打开模式][文件输出缓存]) 后面两项是可选参数。默认返回是一个文件对象的内存，其默认的读写模式是只读模式，
可以通过赋值进行输出结果read（输出的字节数）默认是全部
通过参数指定读取的范围：
2 文件操作的模式
3 文件的其他属性
1 文件的常用操作
A seek([文件偏移量][文件指针位置]) 文件指针的返回 为0表示文件的起始，为1 表示当前位置，为2表示末尾位置。 通过指定文件的指针可以重复读取文件的第一行内容，
偏移量的大小表现为文件的字节数，当为正时，表示向右读取，当为负时，表示向左读取，当为0时，表示不偏移
B tell（）显示指针目前所处位置
C close()表示关闭当前文件
D closed 检查当前文件是否关闭，若为True ，则表示已关闭，若为False，则表示未关闭
E name 查看文件名称
F mode 查看当前文件的打开模式
G flush 将当前文件的内容刷新到磁盘上，其目的是为了防止断电而保存。
H next() 用于读取文件内容，每次读取一行，其指针位置不发生变化
2 文件的读取
A readline（）每次读取一行文件内容
B readlines() 每次读取文件的所有内容
C read （） 指定读取文件的字节数，默认是全部读取
3 文件的写入
A write()其可以写入字符串，
B writelins()用于传入多个参数
4 总结如下
1 编码问题
编码：用一个字节代表什么，两个字节代表什么， 编码问题： 1 Windows的默认编码规则是cp936国标，cp936是GBK 的一种，GBK不是国际标准，GB2312是国际标准。 2 Linux的默认编码规则是utf-8，Unicode传输编码，其一个汉字是3个字节，偶尔可能是4个字节，其总共占6个字节 Gbk 是 a0 开始的，在utf-8中不能识别 GBK 是顺序的中文编码，GBK是两个字节。utf-8大多是3个字节，可能是4个字节 换行符问题：
2 nowline 换行问题
可使用newline进行指定换行符，文本模式中，换行的转换可以为None，"",'\r','\n','\r\n' 读取时，None 标识'\r'，'\n'，'\r\n'都被转换为'\n'， ""（空字符串）表示、 不会自动转换通用换行符,其他合法字符表示换行符就是指定字符，就会按照自定字符分行，重新定义分割符。 写入时，None 表示"\n"都会被替换为系统缺省分割符os.linsep,'\n'或"" 表示"\n"不替换，其他合法字符表示 换行符"\n"都会被替换为指定分割符。 文件描述符： 默认的三种，0 标准输入， 1 标准输出， 2 错误输出 文件描述符可表示打开文件的数量，当打开文件数量达到系统打开文件数量上限时，则会报错
3 seek 问题
seek(offset[,whence]) offset默认是针对于起始位置开始，表示从头测试 文本模式下： whence=0 缺省值,表示从头开始，offset只能接受正整数 whence=1 表示从当前位置开始，offset 只接受0 whence=2 表示从EOF 开始，offset 只接受0 二进制模式： whence=0 缺省值，表示从头开始offset只能是正整数 whence=1 表示从当前位置开始，offset可正可负 whence=2 表示从EOF开始，offset可正可负 二进模式支持任意起点的偏移，从头，从尾，从中间位置开始向后seek可以超界，但是向前seek的时候，不能超界，否则会报异常。 size 表示读取多少个字符或字节，负数或None表示读取到EOF
4 字节和字符
流对象，字符序列，字节序列，网络流至没有边界 ，都指的是序列， 网络流：和时间有关，也是一个序列 文本流，字符流， 二进制流，字节流： 将文件就按照字节理解，与字符编码无关，二进制模式操作时，字节操作使用bytes类型
f=open('test2','wb')
f.write("爱国".encode()) #此处使用字节输入，其默认编码是utf-8，
print (f)
f.close()
f=open('test2') # 此处读取，默认编码是utf-8
print (f)
print (f.read(1))
print (f.read(1))
f.close()结果如下：
5 上下文管理
1 问题引出
在Linux 中，执行
查看打开文件情况
由于打开文件未关闭，导致打开文件数过多，每次打开文件都会产生文件表述符，则导致问题，Linux默认的打开文件数量是1024，其由于未关闭而导致有如上报错。 解决方式1
通过异常处理进行关闭。
2 通过上下文管理进行处理
with open('test2') as f:
f.write("zhongguo")
print (f.closed)结果如下
二 OS 模块
作用：用于将python与文件系统更加紧密连接的一种模块
1 常用os模块方法
1 目录相关目录相关
os.Chdir() 改变目录/通过文件描述改变工作目录 os.chroot（） 设定当前进程的根目录 os.listdir（） 列出指定目录下的所有文件名 os.Mkdir（）创建指定目录，默认为一级 os.makedirs('x/y/z') os.getcwd（）获取当前目录 os.Rmdir()删除目录 os.Removedirs() 删除多级目录 os.removedirs('/mnt/aaa/bbb/ccc') 必须制定所有的目录才可以删除
2 文件相关
os.mkfifo() 创建先进先出管道（命名 os.mknod() ：创建设备文件 os.Remove() 删除文件 os.Unlink( ) 删除链接 os.Rename() 文件重命名 os.rename('passwd','aaa') os.Stat() 返回文件状态信息 os.Symlink() 创建文件链接，符号链接 In [33]: os.symlink('text2.txt','text2.syslink') text2.syslink os.utime（） 更新文件的事件戳 updatetime os.tmpfile() 创建并打开一个新的临时文件，打开模式是(w+b)
3 访问权限相关
os.access（） 检验权限模式 In [42]: os.access('/tmp/text2.txt',0) UID 管理员的访问权限 os.Out[42]: True In [43]: os.access('/tmp/text2.txt',100) 普通用户的访问权限 Out[43]: False os.Chmod() 修改权限 In [44]: os.chmod('text2.txt',0640) os.chmod('aaa',0777)为四位 os.Chwon 修改属主 ，属组 In [47]: os.chown('text2.txt',1000,1000) [root@www tmp]# id admin uid=1000(admin) gid=1000(admin) 组=1000(admin) [root@www tmp]# ll text2.txt -rw-r-----. 1 admin admin 2525 11月 19 20:35 text2.txt os.Umask() 设置默认权限模式
4 文件描述符相关
os.Open():打开一个文件，底层操作系统的open os.Read() 较低io的读取操作 os.Write() 较低IO的写操作
5 设备文件相关
os.Mkdev() 根据指定的主设备号，次设备号创建文件 In [48]: help(os.makedev) Help on built-in function makedev in module posix: makedev(...) makedev(major, minor) -> device number Composes a raw device number from the major and minor device numbers. (END) os.Major() 从指定的设备获取主设备号 os.Minor() 从指定的设备获取次设备号
6 其他常用属性：
1 os.system 用于python 与shell之间的交互命令，如果存在，则返回0，否则返回其他
os.popen(命令).read()
os.uname() 获取当前模块的详细信息
2 os.path模块
1 文件路径相关
In [55]: import os.path A.os.path.Basename()：路径基名 In [58]: file1=os.path.basename('/etc/sysconfig/netw') /etc/sysconfig/network /etc/sysconfig/network-scripts/ B.os.path.irname() 路径目录名 C.os.path.join（） 将路径基名和目录名整合成一个名字 In [60]: os.path.join(dir1,file1) Out[60]: '/etc/sysconfig/network-scripts/' In [63]: for filename in os.listdir('/tmp'): ....: print os.path.join('/tmp',filename) C. os.path.splist()分割文件名和文件，返回dir和basename()元组 In [64]: os.path.split('/etc/sysconfig/') Out[64]: ('/etc/sysconfig', '') D os.path.Splitext() 返回（filename，extension） 元组 6]: os.path.splitext('/tmp/') Out[86]: ('/tmp/', '')
2 文件信息：
A os.path.getatime（） 返回文件最近一次的访问记录 B os.path.Getctime() C os.path.Getmtime() D os.path.Getsize() 返回文件的大小
3 判断查询类的操作
A os.path.Exists（） 判断指定文件是否存在，档不存在时，以只读方式打开文件是错误的。 B os.path.Isabs() 判断指定的路径是否是绝对路径 C os.path.isdir（） 判断指定路径是否为目录 D os.path.Isfiel() 判断指定文件是否为文件 E os.path.Islink() 判断时否为符号链接 F os.patj.Ismount() 是否为挂载点 G os.path.Sanefiek() 两个路径是否执行了同一个文件
3 IO 模块中的类
简介： 在内存中开辟一个文本模式的buffer，可以像文件一样操作它，当close方法被调用时，这个buffer被释放，此处没有持久化
1 StrinIO
#!/usr/local/bin/python3.6
#coding:utf-8
from io import StringIO
sio=StringIO()
sio.write("MySQL数据库")
print (sio.readline(),1) # 此处由于指针在写入时的原因，导致指针指在了最后，因此导致其读取不能完成
sio.seek(0) # 指针归零
print (sio.readline(),2) # 进行读取
print (sio.readline(),3) #由于指针到最后，因此导致其不能读取
print (sio.read(),4) #由于指针到最后，因此导致其不能读取
print (sio.getvalue(),5) # 此方法不会在乎指针
sio.close() #文件关闭查看显示结果
优点：一般来说，磁盘操作比内存慢，内存足够的情况下，一般的优化思路是减少落地，减少磁盘IO的过程，可以大大提高程序的运行效率，单台机器可以使用StringIO,多台设备之间使用redis来实现
2 BytesIO
#!/usr/local/bin/python3.6
#coding:utf-8
from io import BytesIO
bio=BytesIO()
bio.write("MYSQL数据库".encode('utf-8')) # 写入汉字需要指定编码格式
print (bio.getvalue()) # 读取数据，不管指针
bio.write(b'mysql database')
bio.seek(0)
print (bio.readline()) # 读取一行
bio.seek(0)
print (bio.read())
bio.close()结果如下
3 file-like 对象 类文件对象，可以像文件一样操作
from sys import stdout
f=stdout
print (type(f))
f.write('51cto.com') #直接输出到屏幕上结果如下
4 pathlib模块
1 介绍
3.4 版本开始，支持使用pathlib模块提供对Path对象的操作，包括文件和目录
2 操作简介
p=Path() # 类初始化，初始化成实例 p.absolute() # 查看p的绝对路径 p # 查看p的路径，相对路径 p=p.joinpath('/etc','a','b','c') # 此处第一个若有/表示绝对路径，也表示重新创建路径，若此处无/ 则表示在p的当前路径下进行增加，及拼接 p=p /'c'/'d' # 对p进行增加路径'c'/'d'，也成为路径拼接
p1=Path('/a','b','/c') # 若指定多个绝对路径，则以后面覆盖前面的路径 p1.parts # 返回一个元组，打印其跟和相对路径 p1.parent # 返回当前路径的父路径 p1.parent.parent #返回当前父路径的父路径，依次类推，但若不存在则会报错，因此不建议这样使用 list(p1.parents) # 此处返回一个可迭代对象，可用for循环进行遍历，并逐步取出其父路径，其父路径的父路径，依次类推
list(p2.absolute().parents) # 对于相对路径获取其父路径的方式 list(p2.absolute().parents)[0] # 获取其父路径
p3=Path('/etc/sysconfig/network/51.cfg') p3.name # 获取目录的最后一部分，及51.cfg p3.stem # 获取目录最后一部分的扩展名 p3.suffix # 获取目录最后一部分，没有扩展名
p4=Path('/etc/sysconfig/network/51.cfg.gz') p4.suffix # 获取扩展名后缀 .gz p4.suffixes # 返回多个扩展名列表 及 [.cfg,.gz] p4=p4.with_suffix('.sz') # 修改扩展名后缀 结果为 /etc/sysconfig/network/51.cfg.sz p4=p4.with_name('52.cfg.gz') # 修改名字，结果如下 /etc/sysconfig/network/52.cfg.gz
p.iterdir()
列出该目录下的文件，默认是一个生成器对象，其默认返回是一个PosixPath，其支持的方法有很多
l1[0].stat() 获取文件的基本信息
此处有获取其模式，硬链接，uid，gid，以及大小，日期等信息
此处有判断其类型，有块，字符，目录，管道，文件，socket等，其返回是一个布尔类型
此处使用stat 可获取如同Linux一般的权限列表
获取属主和属组
2 习题实例
要求 实现ls命令功能 1 实现显示路径下的文件列表 2 -a 和-all 显示包含.开头的文件 3 -l 显示详细列表信息 4 -h和 -l 配合，人性化显示文件大小，如1k,1M,1G等 5 按照文件名排序输出，可以和ls的顺序不同，但要求按照文件名进行排序
#!/usr/bin/poython3.6
#conding:utf-8
from pathlib import Path
import datetime
import stat
import argparse
def showDir(path:Path='.',all=False,lis=False,detailed=False):
def _showSize(size:int): # 此处用于格式化文件大小
unit=" KMGTP"
depth=0
while size>=1000:
size=size //1000
depth+=1
return "{}{}".format(size,unit[depth])
def _showDir(path:Path='.',all=False,lis=False,detailed=False):
p=Path(path)
for file in p.iterdir():
if str(file.name).startswith('.') and not all:# 此处用于判断文件是否需要列出隐藏文件
continue
if lis: #此处用于判断是否需要列出详细信息
st=file.stat() # 此处返回一个文件详细信息表
# -rw-r--r-- 1 root root 430 6月 3 14:02 char.py
h=st.st_size
if detailed: # 此处用于判断是否
h=_showSize(st.st_size)
yield (stat.filemode(st.st_mode),st.st_nlink,file.owner(),file.group(),h,
datetime.datetime.fromtimestamp(st.st_atime).strftime("%Y-%m-%d %H:%M:%S"),
file.name)
else:
yield file.name
yield from sorted(_showDir(args.path,args.all,args.l,args.h),key=lambda x:x[-1]) # 此处用于对文件最后文件名进行排序
# 此处用于定义参数，
parsent=argparse.ArgumentParser(prog='ls',description='list file',add_help=False) # prog表示提示usage为ls，add_help为False表示取消默认的-h显示
parsent.add_argument('path',nargs='?',default='.',help="Incoming path information") #path 位置参数，nargs表示其参数的个数，'?'表示可有可无，若无，则启用默认参数
parsent.add_argument('-a','--all',action='store_true') # action='store_true' 此处若不填，则后面有大写的选项参数
parsent.add_argument('-l',action='store_true',help='list file info')
parsent.add_argument('-h',action='store_true',help='list file detailed')
if __name__ == "__main__":
args=parsent.parse_args(('/root','-lh'))
for file in showDir(args.path,args.all,args.l,args.h): #此处的作用在于遍历
print (file)结果如下
三 CSV
1 简介
csv 是一个被行分隔符，列分隔符划分成行和列的文本文件，没有特定的字符编码，可压缩，大大节约空间 行分割符 \r \n ，最后一行可以没有换行符 列分割符常常用逗号或制表符进行处理 每一行成为一个record 字段可以使用双括号括起来，也可以不使用，如果字段中出现了双引号，逗号，换行符必须使用双引号括起来，如果字典中的值是双引号，则使用功能两个双引号表示一个转义
2 参数简介
reader(csvfile,dialect='excel',**fmtparams) # 返回DictReader 的实例，是个行迭代器 delimiter #列分割符 逗号 lineterminator # 行分割符 \r\n quotechar # 字段的引用符号，缺省为双引号 双引号的处理： doublequote 双引号的处理，默认为True，如果和quotechar为同一个，True则使用2个双引号表示，False表示转义字符将作为双引号的前缀 escapechar 一个转义字符，默认为None quoting 指定双引号的规则，QUOTE_ALL 所有字段，QUOTE_MINIMAL 特殊字符字段 QUOTE_NONNUMERIC非数字字段，QUOTE_NONE 都不使用引号。 writer(csvfile,dialect='excel',**fmtparams) 返回DictWriter的实例 主要方法有writerow,writerows
3 实例
#!/usr/local/bin/python3.6
#coding:utf-8
from pathlib import Path
import csv
p=Path('/root/test.csv')
if not p.parent.exists(): # 判断其父路径是否存在，若不存在，则创建
p.parent.mkdir(parents=True) #创建其父路径
line1=[1,2,3,4,576]
with open(p,'w') as f:
writer=csv.writer(f) #写入文件系统
writer.writerow(line1) #进行写入一行操作结果如下
#!/usr/local/bin/python3.6
#coding:utf-8
from pathlib import Path
import csv
p=Path('/root/test.csv')
if not p.parent.exists(): # 判断其父路径是否存在，若不存在，则创建
p.parent.mkdir(parents=True) #创建其父路径
line1=[1,2,3,4,576]
line2=[10,22,'3',40,'576']
with open(p,'w') as f:
writer=csv.writer(f) #写入文件系统
writer.writerow(line1) #进行写入一行操作
writer.writerow(line2) #写入下一行操作写入结果如下
同时写入多行
#!/usr/local/bin/python3.6
#coding:utf-8
from pathlib import Path
import csv
p=Path('/root/test.csv')
if not p.parent.exists(): # 判断其父路径是否存在，若不存在，则创建
p.parent.mkdir(parents=True) #创建其父路径
line1=[1,2,3,4,576]
line2=[10,22,'3',40,'576']
line3=[line1,line2]
with open(p,'w') as f:
writer=csv.writer(f) #写入文件系统
writer.writerow(line1) #进行写入一行操作
writer.writerow(line2) #写入下一行操作
writer.writerows(line3) #同时写入多行操作结果如下
读取操作
#!/usr/local/bin/python3.6
#coding:utf-8
from pathlib import Path
import csv
p=Path('/root/test.csv')
if not p.parent.exists(): # 判断其父路径是否存在，若不存在，则创建
p.parent.mkdir(parents=True) #创建其父路径
line1=[1,2,3,4,576]
line2=[10,22,'3',40,'576']
line3=[line1,line2]
with open(p,'w') as f:
writer=csv.writer(f) #写入文件系统
writer.writerow(line1) #进行写入一行操作
writer.writerow(line2) #写入下一行操作
writer.writerows(line3) #同时写入多行操作
with open(p) as f:
reader=csv.reader(f) #由于其返回的是一个迭代器，因此可通过for循环方式进行读取操作
for line in reader:
if line: #判断读取到的行是否存在
print (line)结果如下
Dictreader 和 DictWriter 对象 使用 dictreader可以向操作字典那样获取数据，把表的第一行（一般是表头）作为key，可访问每一行中的那个key对应的数据
#!/usr/local/bin/python3.6
#coding:utf-8
import itertools
import pymysql
import csv
filename='/root/test1.csv'
with open(filename) as f:
reader=csv.DictReader(f)
for row in reader:
max_tmp=row['passwd'],row['name'],row['createtime']
print (max_tmp)结果如下
DictWriter 类，可以写入的字典形式的数据，同样键也是表头
#!/usr/local/bin/python3.6
#coding:utf-8
import csv
headers=['name','age']
datas=[
{'name':'zhang1','age':25},
{'name': 'zhang2', 'age': 26},
{'name': 'zhang3', 'age': 27},
]
with open('/root/test2.csv','w+') as f:
writer=csv.DictWriter(f,headers) # 写入表的形式
writer.writeheader() # 写入表头数据
for row in datas:
writer.writerow(row) # 写入真实数据，逐条写入
writer.writerows(datas) # 写入真实数据，一次性写入结果如下
四 ini 文件处理
1 简介
.ini 文件时initalization file 的缩写，及就是初始化文件，是windows的系统配置文件所采用的存储格式，统一管理Windows的各项配置，一般用户就用Windows提供的各项图形化管理工具变可实现相同配置，如今的mysql依然采用这种方式实现配置文件的初始化操作。 格式 INI 文件由节（区域），键，值组成 节及就是 section 其中是由key=value的形式保存，key成为option选项
2 configparser
configparser 模块的ConfigParser类就是用来操作的 方法
1 读取方法
read(filenames,encoding=None) 读取ini文件，可以是单个文件，也可以是文件列表，可以指定文件编码 optons(section) 返回section下的所有option get(section,option,*,raw=False,vars=None[,fallback]) 从指定的段的选项上取值，如果找到则返回，如果没找到，则取DEFAULT段中查找 getint(section,option,*,raw=False,vars=None[,fallback]) 从指定的字段选项上取值，返回×××，相当于做了int() 进行转型，默认是str字符串类型 getfloat(section,option,*,raw=False,vars=None[,fallback]) 同上 getboolean(section,option,*,raw=False,vars=None[,fallback]) 同上 布尔类型 items(raw=False,vars=None) #对所有进行遍历，返回键值对，不指定段，默认返回所有段中的key和value的值，若中途存在相同的key=value再不同的段中出现，则可能发生冲突，建议使用下面的方式进行处理 items(section,raw=False,vars=None) # 指定返回段的key和value sections()返回section列表，缺省section不包括在内[DEFAULT]
2 判断方法
has_section(section_name) 判断section是否存在 has_option(section,option) 判断section 是否存在这个option
3 修改方法
add_section(section_name) 增加一个section set(section,option,value)#section 存在的情况下，写入option=value，要求option，value 必须是字符串 remove_section(section) #移除section及其所有的option remove_option(section,option) # 移除section下的option write(fileobject,space_around_delimiters=True) # 将当前config的所有内容写入到flieobject中，一盘open函数使用w模式。
3 应用
1 基本读取
#!/usr/local/bin/python3.6
#coding:utf-8
from configparser import ConfigParser
cfg=ConfigParser() # 初始化操作
cfg.read('/etc/my.cnf') # 读取文件内容
print (cfg.sections()) # 打印其区，并返回列表
for sections in cfg.sections(): #遍历section
for opt in cfg.options(sections): # 遍历其中的值
print (sections,opt) # 打印section和option
for i in cfg.items('mysqld'): #指定section，返回其下面的key和value，以元组的方式返回
print (i)结果如下
2 写入和移除
#!/usr/local/bin/python3.6
#coding:utf-8
from configparser import ConfigParser
from pathlib import Path
p=Path('/root/my.cnf') # 定义一个文件
parent=p.parent # 获取其父目录
if not parent.exists(): # 判断其父目录是否存在。若不存在则创建
parent.mkdir(parent=True)
with open(p,'w+') as f: # 以写的方式创建父目录
f.write("")
cfg=ConfigParser() # 定义初始化
cfg.read('/root/my.cnf') # 定义读取
if not cfg.has_section('test'): # 查看section是否存在，若不存在，则创建
cfg.add_section('test')
if not cfg.has_option('test','test1'): #查看test下的test1是否存在，若不存在，则创建
cfg.set('test','test1','2')#其value必须是字符串
with open(p, 'w') as f:
cfg.write(f) # 将数据持久化存储至文件中
print (cfg.items('test')) # 查看
print (type(cfg.get('test','test1')),cfg.get('test','test1')) # 获取key对应的value
print (type(cfg.getint('test','test1')),cfg.getint('test','test1')+1) # 获取key对应的value,并以×××输出
cfg.remove_option('test','test1') #移除其中的key和value
print (cfg.sections())
cfg.remove_section('test') #移除这个段
print (cfg.sections())查看结果
