USpider~一只超级污的司机蜘蛛

这绝对是一篇正经的文章 ? 

之前就看到了狂放小朋友的PHP版本的污言爬虫,然后我就征求了一下小朋友的意见,就改成了Python版本的爬虫,也算是当做练手了

污言

许多博客网站都在用一言这个API,这个污言是什么呢?

你好污啊是Roogle搞的一个网站,污言就是爬取这个网站所得

爬取方式

用Python爬这个简直是简单的不要不要的,用requests去发起请求,xpath和lxml库去处理数据

import requests
from lxml import etree

res = requests.get('https://www.nihaowua.com/')
res.encoding = 'utf-8'
selector = etree.HTML(res.text)
xpath_reg = "//p/text()"
results = selector.xpath(xpath_reg)
content = results[0]
print(content)

就这几行代码,我们就能拿到数据了,但是这样并不是我们所要的,一次做到位,将这些污言保存下来,然后为了防止反扒,加上随机代理和随机UA等功能 ? 手动滑稽

使用方法

使用前请确定你有没有以下的模块,如果没有的话使用pip安装一下:

requests
random
lxml
bs4
fake-useragent

安装成功以后,直接在代码目录执行python spider.py就行了

我将代码放在了Github上,可以进行下载

注意

  • 我的代码中使用了西刺的代理IP,请在使用前加上延时,或者使用自建IP池,否则短时间内多次请求西刺可能会block你的IP
  • 作者自己说他是一枚计算机门外汉,只是写来玩玩而已。而且服务器是小水管,我们还是少爬些吧,作者舍弃了Ajax,就是怕爬虫。所以我们爬的时候不要太猛,烧钱的…

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏游戏开发那些事

【游戏开发】基于VS2017的OpenGL开发环境搭建

  最近,马三买了两本有关于“计算机图形学”的书籍,准备在工作之余鼓捣鼓捣图形学和OpenGL编程,提升自己的价值(奔着学完能涨一波工资去的)。俗话说得好,“工...

1913
来自专栏比原链

剥开比原看代码17:比原是如何显示交易的详细信息的?

Gitee地址:https://gitee.com/BytomBlockchain/bytom

741
来自专栏FreeBuf

Kali Linux下社工密码字典生成工具Cupp和Cewl教程

Cupp是一款用Python语言写成的可交互性的字典生成脚本。尤其适合社会工程学,当你收集到目标的具体信息后,你就可以通过这个工具来智能化生成关于目标的字典。当...

4536
来自专栏xingoo, 一个梦想做发明家的程序员

sql基础知识:日期的常用用法

日期操作 select sysdate,add_months(sysdate,12) from dual; -- + 1 year select sysdate...

1907
来自专栏互联网杂技

内存卡存储原理,你知道吗?

1、 简介: SD卡(Secure Digital Memory Card)是一种为满足安全性、容量、性能和使用环境等各方面的需求而设计的一种新型存储器...

4106
来自专栏美团技术团队

Node.js Stream - 进阶篇

在构建较复杂的系统时,通常将其拆解为功能独立的若干部分。这些部分的接口遵循一定的规范,通过某种方式相连,以共同完成较复杂的任务。譬如,shell通过管道|连接各...

4054
来自专栏北京马哥教育

Python安全运维实战:针对几种特定隐藏方式的Webshell查杀

作者:北门喂猫 来源: http://www.freebuf.com/articles/web/131350.html Webshell一直都是...

2733
来自专栏MixLab科技+设计实验室

设计师编程指南之Sketch插件开发 1

发现网上关于sketch插件开发的指南太少了,而且都不一定可以成功运行,于是我就写了这个系列的文章: 1 我们需要了解的语法特点 sketch 是基于 Coc...

5358
来自专栏逍遥剑客的游戏开发

基于Unity的编辑器开发(二): 进程间通信

先要做的, 是需要编辑器和Unity共享一部部分代码, 至少协议定义和解析我不想写两遍. 虽然有protobuf这样的工具库, 但是如果不是跨语言的话, 我觉得...

50516
来自专栏日常学python

如何爬取asp动态网页?搞定可恶的动态参数,这一文告诉你!

这个asp网站是我的学校的电费查询系统,需要学校的内网才能查询,所以这文说下思路和我遇到的一些坑。我搞这个网站主要是为了方便查电费而已,其实也方便不了多少。而且...

2383

扫码关注云+社区