前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >如何使用Python批量下载图片

如何使用Python批量下载图片

原创
作者头像
jackcode
发布2023-02-21 14:36:42
1.4K0
发布2023-02-21 14:36:42
举报
文章被收录于专栏:爬虫资料爬虫资料
显示器2.jpg
显示器2.jpg

爬虫程序在采集网页的过程中,需要从网上下载一些图片,比如表情包、壁纸、素材等,如果图片的数量很多,这样做就会非常麻烦和耗时。那么有没有更方便快捷的方法呢?答案是肯定的。我们可以利用Python编程语言来实现批量下载图片的功能。Python是一种简单易学、功能强大、跨平台的编程语言,它有很多优秀的第三方库和模块,可以帮助我们处理各种网络请求和数据处理。

具体来说,我们需要做以下几个步骤:

● 第一步:准备一个URL列表,也就是包含图片地址的文本文件或者Python列表。每个URL占一行或者一个元素。例如下面图片:

https://gw.alicdn.com/bao/upload/O1CN01Rc0Lms1CaTDV8Qbum_!!6000000000097-0-yinhe.jpg_Q75.jpg

https://gw.alicdn.com/bao/upload/O1CN01P9rnvt1FT5gVAczF5_!!6000000000487-0-yinhe.jpg_Q75.jpg

https://gw.alicdn.com/bao/upload/O1CN01EEpS2k1tZZvTCb4om_!!6000000005916-0-yinhe.jpg_Q75.jpg

● 第二步:导入需要用到的模块或库,比如requestsurllib.requestthreadingmultiprocessing等。

● 第三步:准备爬虫代理,用于提高爬虫采集效率,规避网站的IP限制

● 第四步:定义一个下载图片的函数,传入图片的URL和本地文件名作为参数,并使用相应的模块或库来发送HTTP请求和保存图片数据。

● 第五步:遍历URL列表,并调用下载图片的函数。如果需要提高下载速度和效率,可以考虑使用多线程或多进程来并发执行下载任务。

● 第六步:检查下载结果,统计下载进度。

通过以上几个步骤,在使用多线程或多进程时我们需要将下载任务分解成若干个子任务,并将它们分配给不同的线程或进程。我们可以使用range函数来生成子任务索引,并使用map函数或for循环将索引传递给线程或进程对象。然后,在每个线程或进程中我们可以根据索引选择对应URL和文件名并调用opener对象retrieve方法下载。

下面是代码示例:

代码语言:python
复制
# 导入urllib.request和threading模块
import urllib.request
import threading

# 定义一个列表,存放要下载的图片的URL
image_urls = [
    "https://gw.alicdn.com/bao/upload/O1CN01Rc0Lms1CaTDV8Qbum_!!6000000000097-0-yinhe.jpg_Q75.jpg",
    "https://gw.alicdn.com/bao/upload/O1CN01P9rnvt1FT5gVAczF5_!!6000000000487-0-yinhe.jpg_Q75.jpg",
    "https://gw.alicdn.com/bao/upload/O1CN01EEpS2k1tZZvTCb4om_!!6000000005916-0-yinhe.jpg_Q75.jpg"
]

# 定义一个列表,存放要保存的本地文件名
image_filenames = [
    "dianqi.jpg",
    "yifu.jpg",
    "xiezi.jpg"
]

# 定义一个回调函数,用来显示下载进度
def report_progress(block_num, block_size, total_size):
    # 计算已经下载和总大小的百分比
    percent = (block_num * block_size * 100) / total_size
    # 打印百分比和换行符
    print(f"{percent:.2f}%", end="\r")
    
# 定义一个字典参数,表示不同协议的代理服务器URL:www.16yun.com
proxy_dict = {
    'http': 'http://16yun:16ip@www.16yun.com:3128/',
    'https': 'https://16yun:16ip@www.16yun.com:3128/'
}

# 创建一个ProxyHandler对象,并传入字典参数
proxy_handler = urllib.request.ProxyHandler(proxy_dict)

# 创建一个OpenerDirector对象,并传入ProxyHandler对象作为参数
opener = urllib.request.build_opener(proxy_handler)

# 定义一个函数,接受一个索引参数,并根据索引选择对应的图片URL和文件名进行下载
def download_image(index):
    # 根据索引获取对应的图片URL和文件名
    image_url = image_urls[index]
    image_filename = image_filenames[index]
    
    # 使用opener对象的retrieve方法下载图片,并传入回调函数和本地文件名
    opener.retrieve(image_url, filename=image_filename, reporthook=report_progress)
    
    # 打印完成信息和换行符
    print(f"Downloaded {image_filename} successfully.\n")

# 创建一个空列表,用来存放工作线程对象    
threads = []

# 使用for循环遍历range(3),生成三个子任务索引(0, 1, 2)
for i in range(3):
    
    # 创建一个Thread对象,并传入download_image函数和i作为参数(target=download_image, args=(i,))
     thread = threading.Thread(target=download_image, args=(i,))
     
    # 将Thread对象添加到threads列表中,并调用start方法启动线程 
     threads.append(thread)
     thread.start()

以上就是如何使用Python批量下载图片。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档