腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Python、Flask、Django

专栏作者

137

文章

156426

阅读量

42

订阅数

爬虫学习--第六个爬虫程序

爬虫 html xml 人工智能

思路呢，教程呢，都是学习了人家的。只不过有的地方出错，有的地方理解不了。就换成了自己能理解的方法改写了一点。 #-*- coding:utf-8 -*- from bs4 import BeautifulSoup import requests import os,sys import time class mzitu(): def allUrl(self,url): #获取图片页面所有连接 html = self.request(url)

2018-07-18

2900

爬虫--下载视频

爬虫 xml 正则表达式

#-*-coding:utf-8-*- from bs4 import BeautifulSoup from urllib import urlretrieve import requests import re def getVideo(page): res = requests.get('http://www.budejie.com/video/%s' %page) soup = BeautifulSoup(res.text,'lxml') reg =

2018-07-18

5740

python中用requests获取API参数

python api 爬虫

不得不说这个第三方是真的好用，之前在写爬虫的时候就已经开始用啦。然后今天在写接口的时候，别人写的文章是用urllib的，但是我想用requests怎么办呢，怎么去兼容它呢，首先来打开中文文档http:

2018-07-18

2.5K0

scrapy unicode编码问题

爬虫数据处理

scrapy 在爬虫的时候使用xpath提取到的信息全部是 u'u5c97....'这样的字符。所以这样的话在输出的时候不知道自己提取到的信息到底有木有啊=-= 解决方案：在spider程序中。输

2018-07-18

7300

有没有什么好看的网址，想爬点东西做个可视化

爬虫 mongodb github hive

两个月前写的爬取妹子图网站图片的爬虫。大致功能如下： 1、将所以连接遍历出来，存到mongodb中，加上状态码 2、保存标题，图片地址到mongodb中 3、将图片下载到本地 ps:已经过去两个月了。

2018-07-17

1.1K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态