Python3 requests 下载进度条

obaby

发布于 2023-02-22 10:58:38

1.3K0

发布于 2023-02-22 10:58:38

文章被收录于专栏：obaby@mars

代码：

def proxy_get_content_stream(url):
    if is_use_proxy:
        socks.set_default_proxy(socks.SOCKS5, PROXY_HOST, PROXY_PORT)
        socket.socket = socks.socksocket
    return requests.get(url, headers=HEADERS, stream=True, timeout=300)
def save_image_from_url_with_progress(url, cnt):
    with closing(proxy_get_content_stream(url)) as response:
        chunk_size = 1024  # 单次请求最大值
        content_size = int(response.headers['content-length'])  # 内容体总大小
        data_count = 0
        with open(cnt, "wb") as file:
            for data in response.iter_content(chunk_size=chunk_size):
                file.write(data)
                data_count = data_count + len(data)
                now_position = (data_count / content_size) * 100
                print("\r[D] 下载进度： %s %d%%(%d/%d)" % (int(now_position) * '▊' + (100 - int(now_position)) * ' ',
                                                      now_position,
                                                      data_count,
                                                      content_size,), end=" ")
        print('')

实际效果：

****************************************************************************************************
       _           _             ____                           
  ___ | |__   __ _| |__  _   _  / __ \ _ __ ___   __ _ _ __ ___ 
 / _ \| '_ \ / _` | '_ \| | | |/ / _` | '_ ` _ \ / _` | '__/ __|
| (_) | |_) | (_| | |_) | |_| | | (_| | | | | | | (_| | |  \__ \
 \___/|_.__/ \__,_|_.__/ \__, |\ \__,_|_| |_| |_|\__,_|_|  |___/
                         |___/  \____/                          

美图录爬虫
Verson: 21.6.15
Blog: http://www.h4ck.org.cn
****************************************************************************************************
****************************************************************************************************
[*] 2021-06-17 15:48:22 QRY: 高跟 开始搜索......
****************************************************************************************************
[*] 2021-06-17 15:48:24 PAGE: 开始分析页面链接
[*] 2021-06-17 15:48:24 DOWNLOAD: 开始下载：[Ligui丽柜] 语寒 - 透视装+肉丝袜高跟美足
[*] 2021-06-17 15:48:24 DOWNLOAD: http://www.meitulu.cn/item/8899.html
[*] 2021-06-17 15:48:24 DOWNLOAD: 下载目录：[Ligui丽柜] 语寒 - 透视装+肉丝袜高跟美足
[*] 2021-06-17 15:48:24 SKP: 已经存在该目录，跳过。
****************************************************************************************************
[*] 2021-06-17 15:48:24 DOWNLOAD: 开始下载：[ISHOW爱秀] No.047 舒欣然Shirley 超短裙制服高跟
[*] 2021-06-17 15:48:24 DOWNLOAD: http://www.meitulu.cn/item/8494.html
[*] 2021-06-17 15:48:24 DOWNLOAD: 下载目录：[ISHOW爱秀] No.047 舒欣然Shirley 超短裙制服高跟
[*] 2021-06-17 15:48:24 SKP: 已经存在该目录，跳过。
****************************************************************************************************
[*] 2021-06-17 15:48:24 DOWNLOAD: 开始下载：[Ligui丽柜] 2015.07.30 Model 语寒 肉丝袜高跟OL美女
[*] 2021-06-17 15:48:24 DOWNLOAD: http://www.meitulu.cn/item/8552.html
[*] 2021-06-17 15:48:24 DOWNLOAD: 下载目录：[Ligui丽柜] 2015.07.30 Model 语寒 肉丝袜高跟OL美女
[*] 2021-06-17 15:48:24 SKP: 已经存在该目录，跳过。
****************************************************************************************************
[*] 2021-06-17 15:48:24 DOWNLOAD: 开始下载：[Ligui丽柜] 允儿 - 黑丝长腿高跟女郎美足诱惑
[*] 2021-06-17 15:48:24 DOWNLOAD: http://www.meitulu.cn/item/8535.html
[*] 2021-06-17 15:48:24 DOWNLOAD: 下载目录：[Ligui丽柜] 允儿 - 黑丝长腿高跟女郎美足诱惑
[*] 2021-06-17 15:48:24 SKP: 已经存在该目录，跳过。
****************************************************************************************************
[*] 2021-06-17 15:48:24 DOWNLOAD: 开始下载：[Ligui丽柜] 允儿 - 黑丝长腿高跟热裤妹子
[*] 2021-06-17 15:48:24 DOWNLOAD: http://www.meitulu.cn/item/8515.html
[*] 2021-06-17 15:48:24 DOWNLOAD: 下载目录：[Ligui丽柜] 允儿 - 黑丝长腿高跟热裤妹子
[*] 2021-06-17 15:48:24 SKP: 已经存在该目录，跳过。
****************************************************************************************************
[*] 2021-06-17 15:48:24 DOWNLOAD: 开始下载：[Ligui丽柜] Wendy - 黑丝美腿高跟美足套图
[*] 2021-06-17 15:48:24 DOWNLOAD: http://www.meitulu.cn/item/8548.html
[*] 2021-06-17 15:48:24 DOWNLOAD: 下载目录：[Ligui丽柜] Wendy - 黑丝美腿高跟美足套图
[*] 2021-06-17 15:48:24 SKP: 已经存在该目录，跳过。
****************************************************************************************************
[*] 2021-06-17 15:48:24 DOWNLOAD: 开始下载：[Ligui丽柜] 佳怡 - 白丝红高跟护士美女
[*] 2021-06-17 15:48:24 DOWNLOAD: http://www.meitulu.cn/item/8544.html
[*] 2021-06-17 15:48:24 DOWNLOAD: 下载目录：[Ligui丽柜] 佳怡 - 白丝红高跟护士美女
[*] 2021-06-17 15:48:25 IMG: 正在下载:http://image.meitulu.cn/d/file/bigpic/2016/06/28/03/20160628032013115087.jpg
[*] 2021-06-17 15:48:25 IMG: 图片保存路径:/Users/zhongming/Private/meitulu/[Ligui丽柜] 佳怡 - 白丝红高跟护士美女/b37d44c33558e512dd8e98041a65c3d6.jpg
[D] 下载进度： ▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊ 100%(511593/511593) 
[*] 2021-06-17 15:48:28 IMG: 下载完成，下一页：http://www.meitulu.cn/item/8544_2.html
[*] 2021-06-17 15:48:29 IMG: 正在下载:http://image.meitulu.cn/d/file/bigpic/2016/06/28/03/20160628032014115089.jpg
[*] 2021-06-17 15:48:29 IMG: 图片保存路径:/Users/zhongming/Private/meitulu/[Ligui丽柜] 佳怡 - 白丝红高跟护士美女/2b2f9d418e1ea71d8c1cc160e209cad8.jpg
[D] 下载进度： ▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊ 100%(381245/381245) 
[*] 2021-06-17 15:48:32 IMG: 下载完成，下一页：http://www.meitulu.cn/item/8544_3.html
[*] 2021-06-17 15:48:32 IMG: 正在下载:http://image.meitulu.cn/d/file/bigpic/2016/06/28/03/20160628032015115091.jpg
[*] 2021-06-17 15:48:32 IMG: 图片保存路径:/Users/zhongming/Private/meitulu/[Ligui丽柜] 佳怡 - 白丝红高跟护士美女/a492b50399a7de3719654974e1061434.jpg
[D] 下载进度： ▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊ 100%(401774/401774) 
[*] 2021-06-17 15:48:35 IMG: 下载完成，下一页：http://www.meitulu.cn/item/8544_4.html
[*] 2021-06-17 15:48:36 IMG: 正在下载:http://image.meitulu.cn/d/file/bigpic/2016/06/28/03/20160628032018115098.jpg
[*] 2021-06-17 15:48:36 IMG: 图片保存路径:/Users/zhongming/Private/meitulu/[Ligui丽柜] 佳怡 - 白丝红高跟护士美女/dd43b64079ae56ff186bb38423b709a9.jpg
[D] 下载进度： ▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊ 100%(405808/405808) 
[*] 2021-06-17 15:48:39 IMG: 下载完成，下一页：http://www.meitulu.cn/item/8544_5.html
[*] 2021-06-17 15:48:39 IMG: 正在下载:http://image.meitulu.cn/d/file/bigpic/2016/06/28/03/20160628032019115100.jpg
[*] 2021-06-17 15:48:39 IMG: 图片保存路径:/Users/zhongming/Private/meitulu/[Ligui丽柜] 佳怡 - 白丝红高跟护士美女/1aeeb6b00675d91360cdc235f0d99af3.jpg
[D] 下载进度： ▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊ 100%(377261/377261) 
[*] 2021-06-17 15:48:42 IMG: 下载完成，下一页：http://www.meitulu.cn/item/8544_6.html
[*] 2021-06-17 15:48:43 IMG: 正在下载:http://image.meitulu.cn/d/file/bigpic/2016/06/28/03/20160628032019115102.jpg
[*] 2021-06-17 15:48:43 IMG: 图片保存路径:/Users/zhongming/Private/meitulu/[Ligui丽柜] 佳怡 - 白丝红高跟护士美女/7b5c581148880f61653e5e67813e46d6.jpg
[D] 下载进度： ▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊ 100%(392955/392955) 
[*] 2021-06-17 15:48:46 IMG: 下载完成，下一页：http://www.meitulu.cn/item/8544_7.html
[*] 2021-06-17 15:48:46 IMG: 正在下载:http://image.meitulu.cn/d/file/bigpic/2016/06/28/03/20160628032020115104.jpg
[*] 2021-06-17 15:48:46 IMG: 图片保存路径:/Users/zhongming/Private/meitulu/[Ligui丽柜] 佳怡 - 白丝红高跟护士美女/73b5550b4c5ed7df4c0e75570d3cdede.jpg
[D] 下载进度： ▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊ 100%(362227/362227) 
[*] 2021-06-17 15:48:49 IMG: 下载完成，下一页：http://www.meitulu.cn/item/8544_8.html
[*] 2021-06-17 15:48:50 IMG: 正在下载:http://image.meitulu.cn/d/file/bigpic/2016/06/28/03/20160628032020115106.jpg
[*] 2021-06-17 15:48:50 IMG: 图片保存路径:/Users/zhongming/Private/meitulu/[Ligui丽柜] 佳怡 - 白丝红高跟护士美女/51718d4123fceecbd5eb9f05f733e684.jpg
[D] 下载进度： ▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊ 100%(426628/426628) 
[*] 2021-06-17 15:48:53 IMG: 下载完成，下一页：http://www.meitulu.cn/item/8544_9.html
[*] 2021-06-17 15:48:54 IMG: 正在下载:http://image.meitulu.cn/d/file/bigpic/2016/06/28/03/20160628032021115108.jpg
[*] 2021-06-17 15:48:54 IMG: 图片保存路径:/Users/zhongming/Private/meitulu/[Ligui丽柜] 佳怡 - 白丝红高跟护士美女/8173e6f01c98fcf394161b0235c4eea5.jpg
[D] 下载进度： ▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊ 100%(381118/381118) 
[*] 2021-06-17 15:48:56 IMG: 下载完成，下一页：http://www.meitulu.cn/item/8544_10.html
[*] 2021-06-17 15:48:57 IMG: 正在下载:http://image.meitulu.cn/d/file/bigpic/2016/06/28/03/20160628032022115110.jpg
[*] 2021-06-17 15:48:57 IMG: 图片保存路径:/Users/zhongming/Private/meitulu/[Ligui丽柜] 佳怡 - 白丝红高跟护士美女/2a4a6a8123aae46b0cbed9e92767b10d.jpg
[D] 下载进度： ▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊ 100%(377419/377419) 
[*] 2021-06-17 15:49:00 IMG: 下载完成，下一页：http://www.meitulu.cn/item/8544_11.html
[*] 2021-06-17 15:49:00 IMG: 正在下载:http://image.meitulu.cn/d/file/bigpic/2016/06/28/03/20160628032022115112.jpg
[*] 2021-06-17 15:49:00 IMG: 图片保存路径:/Users/zhongming/Private/meitulu/[Ligui丽柜] 佳怡 - 白丝红高跟护士美女/ff29f4797f5ce29a52fc68a172ed8f5c.jpg
[D] 下载进度： ▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊ 100%(283681/283681)