专栏首页Python七号如何用最快的方式发送 10 万个 http 请求

如何用最快的方式发送 10 万个 http 请求

假如有一个文件,里面有 10 万个 url,需要对每个 url 发送 http 请求,并打印请求结果的状态码,如何编写代码尽可能快的完成这些任务呢?

Python 并发编程有很多方法,多线程的标准库 threading,concurrency,协程 asyncio,当然还有 grequests 这种异步库,每一个都可以实现上述需求,下面一一用代码实现一下,本文的代码可以直接运行,给你以后的并发编程作为参考:

队列+多线程

定义一个大小为 400 的队列,然后开启 200 个线程,每个线程都是不断的从队列中获取 url 并访问。

主线程读取文件中的 url 放入队列中,然后等待队列中所有的元素都被接收和处理完毕。代码如下:

from threading import Thread
import sys
from queue import Queue
import requests

concurrent = 200


def doWork():
    while True:
        url = q.get()
        status, url = getStatus(url)
        doSomethingWithResult(status, url)
        q.task_done()


def getStatus(ourl):
    try:
        res = requests.get(ourl)
        return res.status_code, ourl
    except:
        return "error", ourl


def doSomethingWithResult(status, url):
    print(status, url)


q = Queue(concurrent * 2)
for i in range(concurrent):
    t = Thread(target=doWork)
    t.daemon = True
    t.start()

try:
    for url in open("urllist.txt"):
        q.put(url.strip())
    q.join()
except KeyboardInterrupt:
    sys.exit(1)

运行结果如下:

有没有 get 到新技能?

线程池

如果你使用线程池,推荐使用更高级的 concurrent.futures 库:

import concurrent.futures
import requests

out = []
CONNECTIONS = 100
TIMEOUT = 5

urls = []
with open("urllist.txt") as reader:
    for url in reader:
        urls.append(url.strip())

def load_url(url, timeout):
    ans = requests.get(url, timeout=timeout)
    return ans.status_code

with concurrent.futures.ThreadPoolExecutor(max_workers=CONNECTIONS) as executor:
    future_to_url = (executor.submit(load_url, url, TIMEOUT) for url in urls)
    for future in concurrent.futures.as_completed(future_to_url):
        try:
            data = future.result()
        except Exception as exc:
            data = str(type(exc))
        finally:
            out.append(data)
            print(data)

协程 + aiohttp

协程也是并发非常常用的工具了:

import asyncio
from aiohttp import ClientSession, ClientConnectorError

async def fetch_html(url: str, session: ClientSession, **kwargs) -> tuple:
    try:
        resp = await session.request(method="GET", url=url, **kwargs)
    except ClientConnectorError:
        return (url, 404)
    return (url, resp.status)

async def make_requests(urls: set, **kwargs) -> None:
    async with ClientSession() as session:
        tasks = []
        for url in urls:
            tasks.append(
                fetch_html(url=url, session=session, **kwargs)
            )
        results = await asyncio.gather(*tasks)

    for result in results:
        print(f'{result[1]} - {str(result[0])}')

if __name__ == "__main__":
    import sys
    assert sys.version_info >= (3, 7), "Script requires Python 3.7+."
    with open("urllist.txt") as infile:
        urls = set(map(str.strip, infile))
    asyncio.run(make_requests(urls=urls))

grequests[1]

这是个第三方库,目前有 3.8K 个星,就是 Requests + Gevent[2],让异步 http 请求变得更加简单。Gevent 的本质还是协程。

使用前:

pip install grequests

使用起来那是相当的简单:

import grequests

urls = []
with open("urllist.txt") as reader:
    for url in reader:
        urls.append(url.strip())

rs = (grequests.get(u) for u in urls)

for result in grequests.map(rs):
    print(result.status_code, result.url)

注意 grequests.map(rs) 是并发执行的。运行结果如下:

也可以加入异常处理:

>>> def exception_handler(request, exception):
...    print("Request failed")

>>> reqs = [
...    grequests.get('http://httpbin.org/delay/1', timeout=0.001),
...    grequests.get('http://fakedomain/'),
...    grequests.get('http://httpbin.org/status/500')]
>>> grequests.map(reqs, exception_handler=exception_handler)
Request failed
Request failed
[None, None, <Response [500]>]

最后的话

今天分享了并发 http 请求的几种实现方式,有人说异步(协程)性能比多线程好,其实要分场景看的,没有一种方法适用所有的场景,笔者就曾做过一个实验,也是请求 url,当并发数量超过 500 时,协程明显变慢。

关于 Python 并发编程,推荐阅读文章:

Python并发编程应该使用哪个标准库?

并发时用多线程还是协程?

Python异步IO操作,看这个就够了

Python 多线程操作

如果你有更好的实现异步 I/O 的操作,不妨留言分享哦。

看到这里了,你确定不关注一下嘛?

参考资料

[1]

grequests: https://github.com/spyoungtech/grequests

[2]

Gevent: http://www.gevent.org/

本文分享自微信公众号 - Python七号(PythonSeven),作者:somenzz

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2021-08-26

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 最简单的方式使用原生 js 发送 http 请求

    主要用于在没有引入 jQuery 等工具的页面上需要验证一些 api 能否调得通的时候,可以快速调出浏览器调试界面发请求。 这在判断是否存在跨域问题的场景下,特...

    王图思睿
  • 如何使用jMeter发送两个逻辑上相关的HTTP请求

    现在我有另一个需求场景:假设我开发了一个**创建**Service Request的微服务,需要使用HTTP post调用。为了防止Cross Site Req...

    Jerry Wang
  • 如何使用jMeter发送两个逻辑上相关的HTTP请求

    在前一篇文章使用jMeter构造大量并发的随机HTTP请求里我通过jMeter构造了大量的HTTP GET并发请求,对服务器产生了大量读操作。

    Jerry Wang
  • PHP使用curl发送HTTP请求时,如何使用本地的SSL证书

    版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。

    Jerry Wang
  • 网络编程之浅谈http无连接、无状态

    一、http协议 HTTP(超文本传输协议)是一个客户端和服务器端请求和应答的标准(TCP)。客户端是终端用户,服务器端是网站。通过使用Web浏览器、网络爬...

    lyb-geek
  • Nginx 必须知道哪些事?

    Nginx(发音同engine x)是一个异步框架的 Web 服务器,也可以用作反向代理,负载平衡器 和 HTTP 缓存。该软件由 Igor Sysoev 创建...

    YP小站
  • 想开发IM集群?先搞懂什么是RPC!

    本文引用了后端技术指南针公众号“浅谈RPC那些事儿1”和即时通讯网的“即时通讯新手入门:快速理解RPC技术——基本概念、原理和用途”两篇文章的部分内容。

    JackJiang
  • 浏览器预连接性能测试

    原文 / https://developer.akamai.com/blog/2018/06/25/experiments-with-browser-preco...

    LiveVideoStack
  • 糟糕,系统又被攻击了

    几年前,我们的电商平台遭遇过一次CC攻击(一种分布式网络攻击,后面有详细介绍),当时整个网站几乎陷于瘫痪的状态。期间很多PC网页和APP页面打不开或者持续报错,...

    用户7927337
  • IM开发基础知识补课(九):想开发IM集群?先搞懂什么是RPC!

    本文引用了后端技术指南针公众号“浅谈RPC那些事儿1”和即时通讯网的“即时通讯新手入门:快速理解RPC技术——基本概念、原理和用途”两篇文章的部分内容。

    JackJiang
  • Go语言异步服务器框架原理和实现

    Go语言类库中,有两个官方的服务器框架,一个HTTP,一个是RPC。使用这个两个框架,已经能解决大部分的问题,但是,也有一些需求,这些框架是不够的,这篇文章,我...

    李海彬
  • 协议森林15 先生,要点单吗? (HTTP协议概览)

    我在TCP流通信中说明了,TCP协议实现了数据流的传输。然而,人们更加习惯以文件为单位传输资源,比如文本文件,图像文件,超文本文档(hypertext docu...

    Vamei
  • 雅虎前端优化的35条军规

    问题:我怎么才能收到你们公众号平台的推送文章呢? 内容部分 1.尽量减少HTTP请求数 80%的终端用户响应时间都花在了前端上,其中大部分时间都在下载页面上的各...

    企鹅号小编
  • 达达O2O后台架构演进实践:从0到4000高并发请求背后的努力

    达达创立于2014年5月,业务覆盖全国37个城市,拥有130万注册众包配送员,日均配送百万单,是全国领先的最后三公里物流配送平台。 达达的业务模式与滴滴以及Ub...

    JackJiang
  • 一秒找出用时间和随机数生成的上传文件名

    在做渗透测试或者ctf比赛的时,常遇到一种任意文件上传漏洞,上传后的文件名,是使用时间加随机数生成的。常见的如php的uniqid函数生成的文件名,或用时间戳或...

    FB客服
  • 01 . Nginx简介及部署

    在说事件驱动模型之前先了解以下几个概念: 同步和异步,阻塞和非阻塞** 同步机制和异步机制

    常见_youmen
  • HTTP 协议Note

    名称含义:HTTP协议是Hyper Text Transfer Protocol(超文本传输协议)的缩写。

    KaliArch
  • 关于Http协议,你必须要知道的

    HTTP协议是Hyper Text Transfer Protocol(超文本传输协议)的缩写,是用于从万维网服务器传输超文本到本地浏览器的传送协议。HTTP ...

    心莱科技雪雁
  • 防抖与节流 & 若每个请求必须发送,如何平滑地获取最后一个接口返回的数据

    日常浏览网页中,在进行窗口的 resize、scroll 或者重复点击某按钮发送请求,此时事件处理函数或者接口调用的频率若无限制,则会加重浏览器的负担,界面可能...

    Krry

扫码关注云+社区

领取腾讯云代金券