专栏首页有趣的Python和你Python爬虫之煎蛋网图片下载

Python爬虫之煎蛋网图片下载

受程序员群的影响(自己污的本性),他们总是带我开车,想想我也该收集一些资料了(美女图片)

代码

import requests
from lxml import etree

urls = ['http://jandan.net/ooxx/page-{}'.format(str(i)) for i in range(0,20)]
path = 'C://Users/Administrator/Desktop/煎蛋网/'

header = {
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
}

def get_photo(url):
    html = requests.get(url)
    selector = etree.HTML(html.text)
    photo_urls = selector.xpath('//p/a[@class="view_img_link"]/@href')
    for photo_url in photo_urls:
        data = requests.get('http:'+photo_url,headers=header)
        fp = open(path + photo_url[-10:],'wb')
        fp.write(data.content)
        fp.close()

for url in urls:
    get_photo(url)

我以前做个视频,这次用不了,出错,爬虫只有进行时啊!!!!

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 短文本分析----基于python的TF-IDF特征词标签自动化提取

    最近做课题,需要分析短文本的标签,在短时间内学习了自然语言处理,社会标签推荐等非常时髦的技术。我们的需求非常类似于从大量短文本中获取关键词(融合社会标签和时间属...

    用户1539362
  • 简单NLP分析套路(3)---- 可视化展现与语料收集整理

    构思这个系列的初衷是很明显的,之前我是从图论起家搞起了计算机视觉,后来发现深度学习下的计算机视觉没的搞了,后来正好单位的语料很丰富就尝试了NLP 的一些东西,早...

    用户1539362
  • 基于python3-sklearn,Flask 的回归预测系统

    “傍晚小街路面上沁出微雨后的湿润,和煦的西风吹来,抬头看看天边的晚霞,嗯明天又是一个好天气。走到水果摊旁,挑了个根蒂蜷缩、敲起来声音浊响的青绿西瓜,一边满心期待...

    用户1539362
  • python3.X 使用pip 离线安装whl包

    机器上python2,3混用的问题,参考: http://blog.csdn.net/wangyaninglm/article/details/533126...

    用户1539362
  • 大数据ETL实践探索(3)---- 大数据ETL利器之pyspark

    本系列文章主要针对ETL大数据处理这一典型场景,基于python语言使用Oracle、aws、Elastic search 、Spark 相关组件进行一些基本的...

    用户1539362
  • Python--批量重命名文件

    对角巷法师
  • Ubuntu--切换默认Python版本

    对角巷法师
  • 大数据ETL实践探索(2)---- python 与aws 交互

    本系列文章主要针对ETL大数据处理这一典型场景,基于python语言使用Oracle、aws、Elastic search 、Spark 相关组件进行一些基本的...

    用户1539362
  • Python--numpy和list,查询指定元素的个数及其位置

    查询指定元素个数: 调用list.count(obj)函数,返回obj在list中的个数

    对角巷法师
  • DarkNet(2)--修改Python调用接口,支持输入numpy图片

    DarkNet源码中提供的接口,用Python处理一张图片的时候,只能传入图片路径,见python/darknet.py的demo。

    对角巷法师

扫码关注云+社区

领取腾讯云代金券