python模块之io
一 IO模型 分为：
1 阻塞IO （accept recv）
2 非阻塞IO
3 IO多路复用（监听多个链接）
4 异步IO
5 驱动信号模型（不经常使用）
1 阻塞IO (blocking IO)
特点：全程阻塞（进程不能干其他的事儿）
当用户进程调用了recvfrom这个系统调用，kernel就开始了IO的第一个阶段：准备数据。对于network io来说，很多时候数据在一开始还没有到达，这个时候kernel就要等待足够的数据到来，而在用户进程这边，整个进程会被阻塞。
当kernel直等到数据准备好了，他就会将数据从kernel中拷贝到用户内存，然后kernel返回结果，用户进程才解除block的状态，重新运行起来。
2 非阻塞IO（non-blocking IO）
特点：发送多次系统调用
优点：wait for data时无阻塞
缺点：多次系统调用，消耗，不能第一时间拿取数据
两个阶段：wait for data非阻塞
cope data是阻塞的
注意：在网络IO时候，非阻塞IO也会进行recvfrom系统调用，检查数据是否准备好，与阻塞IO不一样，”非阻塞将大的整片时间的阻塞分成N多的小的阻塞，所以进程不断地有机会’被CPU光顾’”。即每次recvfrom系统调用之间，cpu的权限还在进程手中，这段时间可以做其他事情。
也就是说非 阻塞的recvfrom系统调用，进程并没有被阻塞，内核马上返回给进程，如果数据还没有准备好，此时会返回一个error。进程在返回之后，可以干点别的事情，然后在发起recvfrom系统调用，重复上面的过程。不断重复进行recvfrom系统调用，这个过程被称为轮询，轮询检查内核数据，直到数据被准备好，再拷贝数据到进程，进行数据处理，需要注意，拷贝数据整个过程，进程仍然是属于阻塞的状态。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 | #服务端 import socket sk=socket.socket() sk.bind(("127.0.0.1",8000)) sk.listen(5) sk.setblocking(False) while True: try: print("waiting.........") conn,addr=sk.accept() print("++++",conn) data=conn.recv(1024) print(data.decode("utf8")) except Exception as e: print(e) time.sleep(4) #客户端 import time import socket sk=socket.socket() sk.connect(("127.0.0.1",8000)) while True: data=input(">>") sk.send(data.encode("utf-8")) time.sleep(2) 执行结果： waiting......... [WinError 10035] 无法立即完成一个非阻止性套接字操作。 waiting......... [WinError 10035] 无法立即完成一个非阻止性套接字操作。 waiting......... [WinError 10035] 无法立即完成一个非阻止性套接字操作。 waiting......... |
|---|
3 IO多路复用（IO multiplexing）
特点：1全程阻塞（wait for data, copy data）
2 能监听多个文件描述符
实现并发
select, epoll，poll
select发起系统调用（监听多个连接 实行并发）
对于文件描述符（套接字对象）：
1 是一个非零整数，不会变
2 收发数据的时候，对于接收端而言，数据先到内核空间，然后通过copy到用户空间，同时，内核空间数据清空。
IO multiplexing这个词可能有点陌生，但是如果说select，epoll，大概就都能明白了，有些地方也称这用IO方式为event driven IO。我们知道，select/epoll的好处就在于单个process就可以同时处理多个网络连接的IO，它的基本原理就是selet/epoll这个function会不断的轮询所有的socket，当某个socket有数据到达了，就通知用户进程。
当用户进程调用了select，那么整个进程会被block，而同时，kernel会”监视”所有select负责的socket，当任何一个socket中的数据准备好了，select就回返回。这个时候用户进程再调用read操作，将数据从kernel拷贝到用户进程。
需要使用两个system call（select和recvfrom），而blocking IO只调用了一个system call（recvfrom）。
注意1：select函数返回结果中如果有文件可读了，那么进程就可以通过调用accept()或recv()
来让kernel将位于内核中准备到数据copy到用户区。
注意2：select的优势在于可以处理多个连接，不适用于单个连接
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 | #服务端 import socket import select sock=socket.socket() sock.bind(("127.0.0.1",8000)) sock.listen(5) # sock.setblocking(False) inputs=[sock,] while True: r,w,e=select.select(inputs,[],[]) #监听有变化的套接字， for obj in r: if obj==sock: conn,addr=obj.accept() inputs.append(conn) #l=[sock,conn] else: data=obj.recv(1024) print(data.decode("utf8")) send_data=input(">>>") obj.send(send_data.encode("utf8")) #客户端 import socket sock=socket.socket() sock.connect(("127.0.0.1",8000)) while True: data=input(">>>") sock.send(data.encode("utf8")) res=sock.recv(1024) print(res.decode("utf8")) sock.close() |
|---|
4 异步IO（Asynchronous I/O）
特点：全程无阻塞
用户进程发起read操作之后，立刻就可以开始去做其他的事儿，从另一方面，从kernel的角度，当它收到一个asynchronous read 之后，首先它会立刻返回，所以不会对用户进程产生任何block，然后，kernel会 数据准备完成 ，然后将数据拷贝到用户内存，当着一切都完成之后，kernel就给用户进程发送一个signal，告诉它read操作完成了。
同步阻塞：包括（阻塞IO，非阻塞IO，IO多路复用）
异步阻塞：无阻塞 包括（异步IO）
各个IO Model的比较如果所示：
腾讯云开发者
