专栏首页python3requests-html async异步使用

requests-html async异步使用

requests-html async的使用

示例代码:

from requests_html import AsyncHTMLSession

asession = AsyncHTMLSession()
ua = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36"

async def get_jd():
    r = await asession.get('https://www.jd.com', headers={'user-agent': ua})
    return r.html.xpath("//head/title/text()")[0]

async def get_taobao():
    r = await asession.get('https://www.taobao.com', headers={'user-agent': ua})
    return r.html.xpath("//head/title/text()")[0]

async def get_amazon():
    r = await asession.get('https://www.amazon.cn', headers={'user-agent': ua})
    return r.html.xpath("//title/text()")[0]

async def get_suning():
    r = await asession.get('https://www.suning.com', headers={'user-agent': ua})
    return r.html.xpath("//title/text()")[0]

results = asession.run(get_jd, get_taobao, get_amazon, get_suning)
print(results)

返回结果;

['苏宁易购(Suning.com)-送货更准时、价格更超值、上新货更快', '亚马逊-网上购物商城:要网购, 就来Z.cn!', '淘宝网 - 淘!我喜欢', '京东(JD.COM)-正品低价、品质保障、配送及时、轻松购物!']

本文参与 腾讯云自媒体分享计划 ,欢迎热爱写作的你一起参与!
本文分享自作者个人站点/博客:http://www.py3study.com/复制
如有侵权,请联系 cloudcommunity@tencent.com 删除。
登录 后参与评论
0 条评论

相关文章

  • 异步(async)

    Task用于并发调度协程,通过asyncio.create_task()的方式创建Task对象,我们可以添加多个任务在其中,当遇到io阻塞时,会去调用其他的任务...

    用户8442333
  • spring boot使用@Async异步任务

    返回值,若想获取到返回值,应该轮询方法获取,否则若果没有isDone则不会走下面的方法,或者可以使用CompletableFuture:

    小森啦啦啦
  • 使用@Async实现异步调用

    “异步调用”对应的是“同步调用”,同步调用指程序按照定义顺序依次执行,每一行程序都必须等待上一行程序执行完成之后才能执行;异步调用指程序在顺序执行时,不等待异...

    allsmallpig
  • 使用Spring的@Async创建异步方法

    在开发系统的过程中,通常会考虑到系统的性能问题,提升系统性能的一个重要思想就是“串行”改“并行”。说起“并行”自然离不开“异步”,今天我们就来聊聊如何使用Spr...

    小忽悠
  • 使用@async注解实现异步调用

    异步调用对应的是同步调用,假设现在有三个无关任务等待执行,同步调用的方式是逐次等待,即第一个任务完成后再开始第二个任务….以此类推。

    呼延十
  • Spring使用异步注解@Async正确姿势

    * 必须用在public方法上 * 在某异步方法的同一个类的其他方法调用此异步方法无效

    明明如月学长
  • 使用 Async 和 Await 的异步编程

    基于任务的异步编程模型 (TAP) 提供了异步代码的抽象化。你只需像往常一样将代码编写为一连串语句即可。就如每条语句在下一句开始之前完成一样,你可以流畅地阅读代...

    科控自动化
  • Springboot - Async 异步任务

    用户5927264
  • Spring Boot使用@Async实现异步调用

    ==异步调用对应的是同步调用,同步调用可以理解为按照定义的顺序依次执行,有序性;异步调用在执行的时候不需要等待上一个指令调用结束就可以继续执行。==

    码哥字节
  • python 异步async库的使用说明

    同步是指完成事务的逻辑,先执行第一个事务,如果阻塞了,会一直等待,直到这个事务完成,再执行第二个事务,顺序执行

    砸漏
  • SpringBoot系列之异步任务@Async使用教程

    ps:不按照原文进行翻译,根据自己的实践,整合两篇博客,进行说明Springboot异步任务的使用,本博客可以作为异步任务的学习参考

    SmileNicky
  • Flutter异步编程async与await的基本使用

    异步编程常用于网络请求、缓存数据加载、本地File图片加载、定时与延时任务等,在Flutter开发中 ,使用async开启一个异步开始处理,使用await来等待...

    早起的年轻人
  • SpringBoot@Async异步方法

    最近呢xxx接到了一个任务,是需要把AOP打印出的请求日志,给保存到数据库。xxx一看这个简单啊,不就是保存到数据库嘛。一顿操作猛如虎,过了20分钟就把这个任务...

    不一样的科技宅
  • nodejs之async异步编程

    在回调函数中进行下一步操作的代码编写风格,常见的如setTimeout函数、ajax请求等等。

    笔阁
  • Js处理异步async,await

    明知山
  • 异步函数async和await

    前面我们介绍的是promise对象,这里我们介绍一下async...await异步函数,创建函数时候使用async关键词表示这是一个异步函数,await必须和a...

    十月梦想
  • Python 的异步 IO:Async

    首先,为了便于测试,我们用 Python 内建的 http 模块,运行一个简单的 HTTP Server。

    py3study
  • JavaScript异步编程:Generator与Async

    贾顺名

扫码关注腾讯云开发者

领取腾讯云代金券