首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

异步思维——把请求与解析分开

例如有下面这个代码片段: async def parse(html): selector = fromstring(html) print('...解析 HTML 的数据...= await request(next_page_url) await parse(next_page_html) 这种场景常常发生在需要翻页的时候,不同页面的处理逻辑是完全一样的,...但实际上,解析 HTML 是一个 CPU 密集型的工作,它没有 IO 等待,根本就没有必要异步!...我们来看下面这个例子: def parse_1(html): print('处理页面1的源代码') def parse_2(html): print('处理页面2的源代码')...而负责请求网站的代码,不关心它自己请求的是哪个页面,它只管请求,然后调用 callback 传入 html 即可。这样就是实现了,列表页和详情页同时请求。速度大大提升。

38710
领券