Python爬虫的实践技巧

如今已然是大数据时代,数据正在驱动着业务开发,驱动着运营手段,有了数据的支撑可以对用户进行用户画像,个性化定制,数据可以指明方案设计和决策优化方向,所以互联网产品的开发都是离不开对数据的收集和分析,数据收集的一种是方式是通过上报API进行自身平台用户交互情况的捕获,还有一种手段是通过开发爬虫程序,爬取竞品平台的数据,后面就重点说下爬虫的应用场景和实践中会遇到的问题和反反爬虫的一些套路与技巧。

应用场景

互联网平台,偏向销售公司,客户信息的爬取

客户信息的爬取可以释放销售人员寻找客户资源的时间,提高销售对市场开发的效率 爬取相关平台上的客户信息,上报到CRM管理系统,提供给销售人员进行开发

资讯爬取并应用到平台业务中

经常浏览资讯的时候会发现其实很多平台的热门资讯内容都很相似,尊重版权的平台,会标明来源出处 爬取资讯信息,应用到资讯业务中,可以减轻资讯内容编辑人员的压力,如果不需要创造自己的内容,也可全部 托管给程序AI运营

竞品公司重要数据挖掘分析与应用

竞品平台重要业务数据,如:汽车X家的车型信息,X哪儿的酒店信息,返X网的商品信息,... ... 爬取竞品重要数据,对数据进行筛选和处理,然后投入业务中展示,增加这块业务数据量,减轻这块资源的运营编辑的压力

爬虫开发

python开发爬虫(推荐) 入门也比较简单,代码短小精干,各种便于爬虫开发的模块和框架 其他语言 很多语言也都可以开发爬虫,但是均都不是很全面,根据实际技术栈和开发场景去使用,语言只是工具,思路才是通用的

爬虫必备技巧

做爬虫开发,需要对WEB这块有相对全面深入的理解,这样后面遇到反爬虫才能得心应手,见招拆招

了解HTML

会使用HTML标签构造页面,知道如何解析出DOM里标签,提取想要的数据内容

了解CSS

了解CSS,会解析出样式里的数据内容

了解JS

基本JS语法,能写能读懂,并了解JS库:Jquery,Vue 等,可以对使用开发者工具调试JS

了解JSON

了解JSON数据,会序列化和反序列化数据,通过解析JSON对象获取数据内容

了解HTTP/HTTPS

能够分析请求信息和响应信息,可以通过代码构造请求

会正则解析

通过正则匹配出符合规则的字符串,提取想要的数据内容

会数据库操作

通过数据库操作对爬取数据进行存储,如:MYSQL语法

会使用抓包工具

浏览器F12开发者调试工具(推荐:谷歌),Network(网络)栏目可以获取抓包信息

工具:Charles,Fiddler (可抓包HTTPS,抓包APP)

通过抓包工具可以过滤出数据接口或者地址,并且分析请求信息和响应信息,定位数据所在的字段或者HTML标签

会使用开发者工具

浏览器F12开启开发者工具

需要会使用开发者工具调试HTML,CSS,JS

会模拟请求

工具:Charles,Fiddler,Postman

通过模拟请求,分析出请求需要那些必要的信息,如:参数,COOKIE,请求头,懂得怎么模拟请求就知道编码的时候如何去构造

能定位数据

数据在API中:前端/原生APP请求数据API,API返回数据大部分是JSON格式,然后渲染展示

数据在HTML中:查看页面HTML源代码,如果源代码里有想要获取的数据,就说明在服务端已经绑定好数据在HTML里

数据在JS代码中:查看页面HTML源代码,如果获取数据不在HTML里,又没有请求数据API,可以看下数据是不是绑定到JS变量里

会部署

可以部署到Windows或者Linux服务器,使用工具进行爬虫进程监控,然后进行定时轮训爬取

反爬虫对抗技巧

反爬虫可以分为服务端限制和前端限制 服务端限制:服务器端行请求限制,防止爬虫进行数据请求 前端限制:前端通过CSS和HTML标签进行干扰混淆关键数据,防止爬虫轻易获取数据

设置请求头(服务端限制)

Referer User-Agent ... ...

签名规则(服务端限制)

如果是JS发起的请求,签名规则可以在JS函数中找到,然后再根据规则去构造签名 如果是APP发起的请求,可能是前端调用原生封装的方法,或者原生发起的,这个就比较无解,需要反编译APP包,也不一定能成功

延迟,或者随机延迟(服务端限制)

如果请求被限制,建议可以试试请求延迟,具体延迟xxx毫秒/x秒,根据实际情况设定合适的时间

代理IP(服务端限制)

如果延迟请求还是被限制,或者需要延迟很长时间才不会被限制,那就可以考虑使用代理IP,根据实际场景与限制的规律去运用,一般只要被限制的时候就切换请求的代理IP,这样就基本可以绕过限制

目前有很多收费的代理IP服务平台,有各种服务方式,具体可以搜索了解下,费用一般都在可以接受的范围 登录限制(服务端限制)

请求带上登录用户的COOKIE信息 如果登录用户COOKIE信息会在固定周期内失效,那就要找到登录接口,模拟登录,存储COOKIE,然后再发起数据请求,COOKIE失效后重新这个步骤 验证码限制(服务端限制)

简单验证码,对图片里的字母或者数字进行识别读取,使用识图的模块包可以实现

复杂验证码,无法通过识图识别,可以考虑使用第三方收费服务 CSS/HTML混淆干扰限制(前端限制)

前端通过CSS或者HTML标签进行干扰混淆关键数据,破解需要抽样分析,找到规则,然后替换成正确的数据

1 . font-face,自定义字体干扰

如列子:汽车X家论帖子猫X电影电影评分

<!--css-->
<!--找到://k3.autoimg.cn/g13/M05/D3/23/wKjByloAOg6AXB-hAADOwImCtp047..ttf--> 
<style>
    @font-face {font-family: 'myfont';src: url('//k2.autoimg.cn/g13/M08/D5/DD/wKgH41oAOg6AMyIvAADPhhJcHCg43..eot');src: url('//k3.autoimg.cn/g13/M08/D5/DD/wKgH41oAOg6AMyIvAADPhhJcHCg43..eot?#iefix') format('embedded-opentype'),url('//k3.autoimg.cn/g13/M05/D3/23/wKjByloAOg6AXB-hAADOwImCtp047..ttf') format('woff');}
</style>

<!--html-->
<!--会员招募中-->
<div> Mercedes C+ 会员招募<span style='font-family: myfont;'></span></div>

<!--
    从html中获取【html中文编码】=
    然后解析ttf文件得到【ttf中文编码】列表
    匹配发现【ttf中文编码】=uniF159可以与【html中文编码】=匹配,在第7个,第7个中文就是"中"
    (抽样分析会发现ttf中中文位置是固定的,中文编码是动态变化的,所以只要映射出【ttf中文编码】索引就可以知道中文字符了)
-->

破解思路:

找到ttf字体文件地址,然后下载下来,使用font解析模块包对ttf文件进行解析,可以解析出一个字体编码的集合,与dom里的文字编码进行映射,然后根据编码在ttf里的序号进行映射出中文

可以使用FontForge/FontCreator工具打开ttf文件进行分析

2 . 伪元素隐藏式

通过伪元素来显示重要数据内容 如例子:汽车X家

<!--css-->
<style>
.hs_kw60_configod::before {
    content: "一汽";
}
.hs_kw23_configod::before {
    content: "大众";
}
.hs_kw26_configod::before {
    content: "奥迪";
}
</style>

<!--html-->
<div>
    <span class="hs_kw60_configod"></span>
    -
    <span class="hs_kw23_configod"></span>
    <span class="hs_kw26_configod"></span>
</div> 

破解思路:

找到样式文件,然后根据HTML标签里class名称,匹配出CSS里对应class中content的内容进行替换

**3 **. backgroud-image

通过背景图片的position位置偏移量,显示数字/符号,如:价格,评分等 根据backgroud-postion值和图片数字进行映射

4 . html标签干扰

通过在重要数据的标签里加入一些有的没的隐藏内容的标签,干扰数据的获取 如例子:xxIP代理平台

<!--html-->
<td class="ip">
    <p style="display:none;">2</p>
    <span>2</span>
    <span style="display:inline-block;"></span>
    <div style="display: inline-block;">02</div>
    <p style="display:none;">.1</p>
    <span>.1</span>
    <div style="display:inline-block;"></div>
    <span style="display:inline-block;"></span>
    <div style="display:inline-block;">09</div>
    <span style="display: inline-block;">.</span>
    <span style="display:inline-block;">23</span>
    <p style="display:none;">7</p>
    <span>7</span>
    <p style="display:none;"></p>
    <span></span>
    <span style="display: inline-block;">.</span>
    <div style="display: inline-block;"></div>
    <p style="display:none;">3</p>
    <span>3</span>
    <div style="display: inline-block;">5</div>:
    <span class="port GEA">80</span>
</td>
<!--js-->
<script>
    $(".ip:eq(0)>*:hidden").remove()
    $(".ip:eq(0)").text()
</script>
<!--
    输出:202.109.237.35:80
    通过移除干扰标签里有display:none隐藏标签,然后再获取text就不会有干扰的内容了
-->

破解思路:

过滤掉干扰混淆的HTML标签,或者只读取有效数据的HTML标签的内容

防止投毒

有些平台发现爬虫后并不会进行限制封杀,而是给爬虫提供误导的数据,影响竞品公司进行错误的决策,这就是投毒

为了防止被投毒,需要对数据进行抽样校验

总结

1.目前大部分中小平台对防御爬虫的意识还比较薄弱,促使了爬虫的盛行,通过爬虫可以用比较小的代价,获取更大的利益 2.竞品数据的挖掘分析与应用对于业务增长有着举足轻重的作用,爬虫开发对于互联网产品公司的来说是个必不可少的技术 3.当前并没有一种可以完全避免爬虫的技术,所以添加反爬虫策略只是增加了一定的难度门槛,只要拆招技术够硬还是可以被突破翻越 反爬虫和反反爬虫是技术之间的较量,这场没有硝烟的战争永不停息。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏游戏杂谈

IAP的几个问题

这种情况应该得到重视,对于用户而言实际上是钱已经消费掉了,但是元宝或者物品没有获得,这会让人很焦虑的。的确,作为一名开发人员,遇到这种情况,第一反映确实是苹果出...

1761
来自专栏知晓程序

开发 | 减少一半工作量!有了这个「轮子」,小程序 UI 搭建超简单

前段时间,微信低调地推出了小程序「自定义组件」能力。这个能力允许开发者,根据实际需要创建自定义组件,并在小程序中使用。

1183
来自专栏贾鹏辉的技术专栏@CrazyCodeBoy

每位开发人员都应该有一款的GitHub最受欢迎与最热项目浏览器发布@GitHubPopular

GitHub Popular 这是一个用来查看GitHub最受欢迎与最热项目的App,它基于React Native支持Android和iOS双平台。项目源码 ...

3527
来自专栏发迹网(www.082765.com)

网站怎么优化?百度官方发布有关搜索网页标题规范说明

怎么优化网站?关于这问题,一直是站长们非常关心的问题,由于百度算法经常更新,seoer还得经常关注百度搜索的公告,不断的“奋斗”在seo优化的道路上。

830
来自专栏GIS讲堂

echart实现地图的逐级钻取

本文讲述在echart下基于行政区划的地图逐级钻取功能。主要实现: 1、点击地图展示下一级地图; 2、通过区域导航可返回上一级地图;

4163
来自专栏腾讯移动品质中心TMQ的专栏

【UTP自动化测试平台系列之终章】前端探索之路

UTP自动化测试平台是TMQ的一个联合项目,目的是方便大家更好地开展自动化测试建设工作,减少重复平台建设的成本,提高产品的自动化测试效率。但是随着项目规模与用户...

41411
来自专栏日常学python

分享一个爬取网站的小技巧

你也许听说过,抓取手机 App 端数据就需要搭建手机抓包环境。那么我们就要屁颠屁颠去抓包搭建?哈哈,显然不用。我给大家分享一个小技巧,可以节省搭建环境的时间。

1030
来自专栏编程微刊

h5调用底层接口的一些知识

1.5K5
来自专栏知晓程序

如何让小程序在后台保持运行?| 小程序问答 #22

我们在用小程序听歌、看书的时候,好友发来消息,我们都希望能快速把小程序放到后台运行。

1151
来自专栏知晓程序

小程序插件审核又没通过?这才是提审的正确姿势

1433

扫码关注云+社区

领取腾讯云代金券