3.1、苏宁百万级商品爬取 思路讲解 商品爬取

本章节是最重要,也是最复杂的章节,因为这里面涉及到的点比较多。直至我编码完成后,我还有几个问题没有解决,希望各位网友有好的思路可以提供给我,具体的问题在之后的描述中我会说明。

思路解析

如下图,我们可以得到当前商品的xpath路径 //*[@id="filter-results"]/ul/li 在根据第二张图我们又可以得到单独商品的价格,标题,链接地址等等信息 看上去好像非常的简单,其逻辑和商品类别爬取类似。首先得到所有的商品,然后循环,对实体类别,最后返回一个list列表就行。可是实际却并不是如此。我们接下去就对内容进行分析。

商品解析图1.png

商品解析图2.png

问题1 所见非所得

我们首先来看俩张对比图,第一张图是我们请求当前页面会返回给我们的Html Document数据,我们之前做的爬取都是基于Document的爬取。在图1中我们去找寻第一个商品的价格,我们发现<em>标签中内容为空,这是为什么呢? 之后我们再来看第二张图,第二张图是F12通过开发者工具定位在第一个商品的价格,这时候我们发现,价格是存在的。 此时,我们就要开始提示了,是什么样子情况才会导致这种问题的产生。各位看客也可以想一想。 经过分析后,我们得出了结论 京东做了反爬处理,即不会把一些重要信息直接作为response返回,而且在网页加载结束之后,通过js在将对应的值赋值上去。 抽象来讲,用一个成语,画龙点睛。 先画好结构,最后赋值。这种在一定程度上能否对小白进行一些反爬虫,可是如果有点水平的人,我们通过分析f12的web请求,我们就可以发现,无非就是用了一个jsonp的方式,做了值的获取

所见非所得1.png

所见非所得2.png

上面我们说到苏宁用了jsonp的方法做了价格的获取,那么我们怎么查看呢,见图所示 分析我们得到,每次得到5个值,页面上一行也是5个商品。 所以他们的做法是,当每次鼠标向下移动,下一行商品出现的时候,执行一个jsonp方法,将对应的内容进行绑定

jsonp获取1.png

jsonp获取2.png

那么我们又迎来了新的问题,这个jsonp的方法是通过什么样的规律生成接口获得数据的呢 我们取俩个案例进行分析,我们发现方法头和尾部都是标准jsonp的用法,那么只有中间的参数会有影响。 我们可以看到,参数由逗号分隔,参数形式总共有俩种

  • 参数1+下划线 000000010088601142_
  • 参数1+下划线+2+参数2 000000000617721823__2_0070137013

那我们开始对这俩种参数形式进行分析 参数1和参数2分别是什么?我们不妨大胆猜测一下,有没有可能是商品的唯一key 还有一点,如果是商品的唯一key,我们如何获取?

https://ds.suning.cn/ds/generalForTile/000000010044087492_,000000000688241235_,000000010044087493_,000000000144695267_,000000010073350865_,000000000610267239_,000000000132230908_,000000000192930418_,000000010526739331__2_0070207958,000000000624606189_-025-2-0000000000-1--ds0000000009487.jsonp?callback=ds0000000009487

https://ds.suning.cn/ds/generalForTile/000000000617721823__2_0070137013,000000000132236927_,000000000638993733_,000000010519041260__2_0070203680,000000010084257326_-025-2-0000000000-1--ds000000000588.jsonp?callback=ds000000000588

通过分析,我得到了结论,请大家看如下图红框圈出来的内容,我们发现也是俩中形式,一种是参数1+参数2 ,一种是参数1+0000000

example: 0000000000-10044087492 0070207958-10526739331

分析1.png

分析2.png

分析3.png

分析4.png

我们可以通过打黄色标识的俩张图发现规律,页面上的内容和jsonp方法体组成的内容是相反的,所以我们需要在获取内容后,将顺序颠倒,然后按照规定的字符串长度进行拼接即可

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏tkokof 的技术,小趣及杂念

随便再聊一点点Coroutine(确实只是一点点~)

  之前写过一点Coroutine相关的东西(这里和这里),大致讲了些自己关于Unity协程的理解,自己在平日的工作中也确实用到了不少相关的知识,遂而引发了一个...

891
来自专栏互联网杂技

ES2017 异步函数现已正式可用

ES2017标准已于2017年6月份正式定稿了,并广泛支持最新的特性:异步函数。如果你曾经被异步 JavaScript 的逻辑困扰,这么新函数正是为你设计的。 ...

2844
来自专栏java一日一条

程序员你为什么这么累【续】:编码习惯之接口定义

工作中,少不了要定义各种接口,系统集成要定义接口,前后台掉调用也要定义接口。接口定义一定程度上能反应程序员的编程功底。列举一下工作中我发现大家容易出现的问题:

1032
来自专栏深度学习自然语言处理

【收藏】这些Python代码技巧,你肯定还不知道

人们还经常把 Python 笑称为「可执行伪码(executable pseudocode)」。但是,当你可以编写这样的代码时,很难去反驳这种言论:

723
来自专栏算法与数据结构

PTA 银行排队问题之单队列多窗口服务

假设银行有K个窗口提供服务,窗口前设一条黄线,所有顾客按到达时间在黄线后排成一条长龙。当有窗口空闲时,下一位顾客即去该窗口处理事务。当有多个窗口可选择时,假设顾...

31110
来自专栏微服务生态

究竟怎样写代码才算是好代码

今天让我们来谈谈代码吧。代码重要吗?当然,代码就是设计(Jack W.Reeves, 1992);代码是最有价值的交付物。我们需要好代码吗?在给“好代码”下个定...

843
来自专栏逆向技术

COM编程_第一讲_深入COM框架以及实现简单的COM

一丶我们要理解COM是什么(为什么理解) 现在很多人会用com(也就是ALT)但是不知道原理,如果改一点东西,那么整体的框架重来,因为你不懂改哪里,如果懂了,那...

2640
来自专栏WindCoder

网易MySQL微专业学习笔记(六)-内置函数

这个系列属于个人学习网易云课堂MySQL数据库工程师微专业的相关课程过程中的笔记,本篇为其“MySQL数据库对象与应用”中的MySQL数据类型相关笔记。

651
来自专栏代码GG之家

【安卓开发代码保护】浅谈代码混淆加固技术

随着移动互联网的快速发展,应用的安全问题不断涌现出来,于是越来越多的应用开发者将核心代码由java层转到native层,以对抗成熟的java逆向分析工具,...

2136
来自专栏Crossin的编程教室

【Python 第33课】 处理文件中的数据

我们已经知道了如何读取和写入文件。有了这两个操作文件的方法,再加上对文件内容的处理,就能写一些小程序,解决不少日常的数据处理工作。 比如我现在拿到一份文档,里面...

3378

扫码关注云+社区