欢迎来到本系列最核心的课程，异步并发爬虫。本部分分为三篇博客来叙述，准备好上车了吗？
摘要： 简介 asyncio可以实现单线程并发IO操作，是Python中常用的异步处理模块。关于asyncio模块的介绍，笔者会在后续的文章中加以介绍，本文将会讲述一个基于asyncio实现的HTTP框架――aiohttp，它可以帮助我们异步地实现HTTP请求，从而使得我们的程序效率大大提高。
在 Python 众多的 HTTP 客户端中，最有名的莫过于 requests、aiohttp 和 httpx。在不借助其他第三方库的情况下，requests 只能发送同步请求；aiohttp 只能发送异步请求；httpx 既能发送同步请求，又能发送异步请求。在并发量大的情况下，如何高效的处理数据，异步是我们的优选，今天我们主要详解的是在生产环境广泛使用的 aiohttp。
本基础分为十个部分： 1-数字 2-字符串 3-列表 4-控制流 5-函数 6-数据结构 7-模块 8-深层输入与输出 9-异常和错误 10-类 11-标准库简介 12-协程
写在前面： 花了一周的时间，对协程做了一个简单的梳理，特别是异步编程asyncio库的使用，做了详细的说明。本文主要包括的知识点有：yield生成器的复习并实现协程的功能、greenlet库实现协程、gevent库实现协程、asyncio异步协程的介绍、异步协程的创建与运行、任务的创建与运行、并发运行gather/wait/as_complete/wait_for等方法的实现、异步协程的嵌套、await关键字的理解等等，这些都是基础。由于篇幅比较长，打算分为两篇，第二篇在介绍一下asyncio的其他用法。
Awesome-asyncio 是 Timo Furrer 发起并维护的 Python Asyncio 资源列表。本项目是其中文版，在这里，收集了大量的 Asyncio 的最棒、最新的资源，供大家探索 Python 异步编程世界。
1 Asyncio loop = get_event_loop(): 得到当前上下文的事件循环。 loop.call_later(time_delay, callback, argument): 延后 time_delay 秒再执行 callback 方法。 loop.call_soon(callback, argument): 尽可能快调用 callback, call_soon() 函数结束，主线程回到事件循环之后就会马上调用 callback 。 loop.time(): 以float类型返回当前时间循环的内部时间。 asyncio.set_event_loop(): 为当前上下文设置事件循环。 asyncio.new_event_loop(): 根据此策略创建一个新的时间循环并返回。 loop.run_forever(): 在调用 stop() 之前将一直运行。
协程 实现协程的方法： greenlet 早期模块 yield关键字 asyncio装饰器（python3.4加入） async、await关键字（python3.5加入）推荐使用 asyncio的使用 在python3.4及之后加入内置模块 import asyncio @asyncio.coroutine def func1(): print('函数func1') yield asyncio.sleep(5) print('函数func1完成') @asyncio.cor
代码有点多，我都注释过了，该文章仅协程部分，python官网入门教程的化请看我github:python3.9入门教程 群：970353786 代码有点多，不懂可群问我，下面是协程方面的代码demo:
我们一直都相信这样一种说法：协程是比多线程更高效的一种并发工作方式，它完全由程序本身所控制，也就是在用户态执行，协程避免了像线程切换那样产生的上下文切换，在性能方面得到了很大的提升。毫无疑问，这是颠扑不破的业界共识，是放之四海而皆准的真理。
从广义上讲，Asyncio 是新的、流行的、讨论广泛的和令人兴奋的。然而，对于何时应该在项目中采用它存在很多困惑。
协程函数和普通的函数不一样，不能直接执行。必须将协程对象（函数）放入事件循环中来执行。在Python3.4的时候，引入内置模块asyncio，该模块可以将协程对象加入到事件循环中执行。
Python 中的 asyncio 模块提供了一些有用的 debug 工具，可以帮助我们更好地理解异步IO程序的运行状态，并找到程序中的错误。在本节中，我们将介绍 asyncio 的 debug 工具，并介绍如何使用这些工具进行调试。
异步编程在现代软件开发中扮演着越来越重要的角色，特别是在网络爬虫等需要处理大量 I/O 操作的场景中。本文将介绍 asyncio 这个强大的异步编程库，并探讨如何在 Scrapy 爬虫框架中充分利用 asyncio 提升爬虫的效率和灵活性。此外，还将介绍如何集成爬虫代理功能，进一步提高爬虫的效率和稳定性。
import asyncio @asyncio.coroutine def fa(num): f=1 for i in range(2,num+1): print("Asyncio.Task:Computer factories({})".format(i)) yield from asyncio.sleep(1) f=i print("Asyncio.Task - factorial({}) ={}".format(num,f)) @asyncio.coroutine def fi(num): a,b=0,1 for i in range(2, num + 1): print("Asyncio.Task:Computer fibonacci({})".format(i)) yield from asyncio.sleep(1) a,b=b,a+b print("Asyncio.Task - fibonacci({}) ={}".format(num, a)) @asyncio.coroutine def bi(n,k): result=1 for i in range(1,k+1): result=result(n-i+1)/i print("Asyncio.Task:Computer binomialcoeff({})".format(i)) yield from asyncio.sleep(1) print("Asyncio.Task - binomialcoeff({},{}) ={}".format(n,k,result)) if name=="main": tasks=[asyncio.Task(fa(10)),asyncio.Task(fi(10)),asyncio.Task(bi(20,10))] loop=asyncio.get_event_loop() loop.run_until_complete(asyncio.wait(tasks)) loop.close()
并发：一次处理多件事。 并行：一次做多件事。 并发用于制定方案，用来解决可能（但未必）并行的问题。并发更好。
Asyncio 任务可以通过调用它们的 cancel() 方法来取消。我们可以通过将任务包装在对 asyncio.shield() 的调用中来保护任务不被取消。
asyncio 是 Python 的一个内置库，它的主要用途是编写单线程并发代码，主要通过协程实现。这个库在 Python 3.4 版本中引入，作为 Python 的异步 I/O 框架，提供了基于事件循环的并发模型。
一直对asyncio这个库比较感兴趣，毕竟这是官网也非常推荐的一个实现高并发的一个模块，python也是在python 3.4中引入了协程的概念。也通过这次整理更加深刻理解这个模块的使用 asyncio 是干什么的？ 异步网络操作 并发 协程 python3.0时代，标准库里的异步网络模块：select(非常底层) python3.0时代，第三方异步网络库：Tornado python3.4时代，asyncio：支持TCP,子进程 现在的asyncio，有了很多的模块已经在支持：aiohttp,aiodns
asyncio 程序的核心是事件循环。在本节中，我们将花点时间看一下 asyncio 事件循环。
在 Python 3.7版本开始，引入了新功能asyncio.run来快速运行一段异步代码。
Python 在 3.5 版本中引入了关于协程的语法糖 async 和 await, 在 python3.7 版本可以通过 asyncio.run() 运行一个协程。 所以建议大家学习协程的时候使用 python3.7+ 版本，本文示例代码在 python3.8 上运行的。
asyncio.subprocess.Process 类提供了由 asyncio 运行的子进程的表示。它在 asyncio 程序中提供子进程的句柄，允许对其执行操作，例如等待和终止它。
我们可以通过 asyncio.wait() 函数等待异步任务完成。可以等待不同的条件，例如所有任务完成、第一个任务完成以及第一个任务因异常而失败。
协程是一种轻量级的线程，它允许函数在执行过程中暂停并恢复。与常规函数不同，协程具有多个入口点，可以在函数内部的任何位置暂停和继续执行。Python的协程通过async和await关键字来定义和管理。
我们可以反省在 asyncio 事件循环中运行的任务。这可以通过为当前运行的任务和所有正在运行的任务获取一个 asyncio.Task 对象来实现。
在协程编程中，由于协程的异步执行特性，多个协程任务可以并发执行，从而提高程序的执行效率。然而，当需要对多个协程任务进行并发控制时，我们需要使用协程的并发控制机制，如 Semaphore、Event、Lock 等。
您可以从 asyncio 程序中的协程创建任务对象。任务提供独立调度和运行的协程的句柄，并允许查询、取消任务，以及稍后检索结果和异常。异步事件循环管理任务。因此，所有协程都成为事件循环中的任务并作为任务进行管理。
asyncio的编程模型就是一个消息循环。我们从asyncio模块中直接获取一个EventLoop的引用，然后把需要执行的协程扔到EventLoop中执行，就实现了异步IO。
Timeout 是 asyncio 中的一个概念，它代表一个超时时间。我们可以使用 asyncio.wait_for() 方法设置协程任务的超时时间，从而避免协程任务无限阻塞。
Python 的 asyncio 模块提供了一些高级用法，可以帮助我们更好地利用协程来实现异步编程。
协程：又称为微线程，在一个线程中执行，执行函数时可以随时中断，由程序（用户）自身控制，执行效率极高，与多线程比较，没有切换线程的开销和多线程锁机制。
上面的代码也可以这样写，将15到21行换成一行await asyncio.gather(a(), b())也能实现类似的效果，await asyncio.gather 会并发运行传入的可等待对象（Coroutine、Task、Future）。
Python的asyncio模块是一个用于编写单线程并发代码的库，使用协程，多路复用IO以及其他技术。asyncio即Asynchronous I/O是python一个用来处理并发(concurrent)事件的包，是很多python异步架构的基础，多用于处理高并发网络请求方面的问题。
Python的asyncio是使用 async/await 语法编写并发代码的标准库。通过上一节的讲解，我们了解了它不断变化的发展历史。到了Python最新稳定版 3.7 这个版本，asyncio又做了比较大的调整，把这个库的API分为了 高层级API和低层级API，并引入asyncio.run()这样的高级方法，让编写异步程序更加简洁。
我们可以使用 asyncio.wait_for() 函数等待 asyncio 任务或协程超时完成。如果在任务完成之前超时已过，任务将被取消。
协程调度测试可以通过使用不同的协程调度算法来实现。Python中的asyncio模块提供了多个调度算法，包括默认的asyncio.DefaultEventLoopPolicy，asyncio.SelectorEventLoopPolicy和asyncio.ProactorEventLoopPolicy等。
所谓「异步 IO」，就是你发起一个 IO 操作，却不用等它结束，你可以继续做其他事情，当它结束时，你会得到通知。
Task用于并发调度协程，通过asyncio.create_task()的方式创建Task对象，我们可以添加多个任务在其中，当遇到io阻塞时，会去调用其他的任务执行。（python 3.7)
众所周知，JavaScript 是单线程的，所以浏览器通过 JavaScript 发起的请求是异步请求。Python 自带的 asyncio 模块为 Python 带来了原生的异步能力。
asyncio 的一个好处是我们可以同时运行许多协程。这些协同程序可以在一个组中创建并存储，然后同时一起执行。这可以使用 asyncio.gather() 函数来实现。
同步是指完成事务的逻辑，先执行第一个事务，如果阻塞了，会一直等待，直到这个事务完成，再执行第二个事务，顺序执行
五一快乐呀(5.10日:对不起我卡住了太久)，由于我玩了三天所以没怎么更新，我的干货也发完啦。现在开始学习新的东西了，异步编程，觉得有点儿难，有些东西理解不了，话说现在我的学习进度很慢，需要加快点速度了。
Asyncio 是并发（concurrency）的一种方式。对 Python 来说，并发还可以通过线程（threading）和多进程（multiprocessing）来实现。Asyncio 并不能带来真正的并行（parallelism）。当然，因为 GIL（全局解释器锁）的存在，Python 的多线程也不能带来真正的并行。 .
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
