00:00
好,各位同学大家好,那么接下来啊,我们要讲一个新的比较牛的一个知识点,叫啥呢?叫做sliium这个单词呢,大家听着是不是比较陌生啊,对吧?因为它是啥呢?它是化学硒元素的一个英文单词啊,所以说大家可能平时啊,接触化学的这个时间并不是很多是吧,所以说就对这个单词比较陌生,那这个东西啊,它到底是啥?对吧,我们要为啥要学它,那接下来我们来说明一下子啊,首先什么是sliium,那在这有一个描述啊,说sliium呢,是一个用于web应用程序测试的工具,那我就说干啥呢?我如果用到sli,它就能帮我们测试一些数据,对吧?哎,那第二句话说啥呢?说它测试直接运行在浏览器中,就像真正的用户操作一样。那这句话我们得详细解释一下,为啥呢?大家我们看啊,我们之前写的课件中,写的代码中都会这么去说一句话,我们叫啥呢?叫模拟浏览器向服务器方请求,对吧?有一句话说的好啊,假的真的假的真不了,真的假不了对吧?各位,那你模拟浏览器它或多或少都会有一些数据的缺失吧。
01:20
所以他这个时候因为我们是模拟的,所以他才会长大,给我们做一个反扒,各种各样的反扒,那么此时呢,如果说当你遇到了服务器没有给你数据的话,或者说你的给你数据有一些这个加密的形式情况下,那是因为啥呀?是因为他判断你是爬虫程序的。那假如说我们现在啊,我们随便打开任何的网站,你联网的情况下,你随便打开,难道他不给你数据吗。他不让你访问吗?它存在的意义是不是就让我们访问呢?对吧,大家,但是现在之所以我们在写爬虫的时候,他没有给你数据,就是因为他检测到了你是爬虫程序。
02:04
而而slinu它能帮助我们驱动真实的浏览器,那它有啥不给你数据的呢?明白吗?各位,诶就这样,那评学老师你为啥不早讲那个你你你才讲,因为啥,因为它有点慢啊,我们在爬虫的时候也要追加效率的啊,所以有点慢,但我们也能解决它的效率性能问题啊,好而且要注意啊,Sli支持各种驱动,那像什么火狐啊,IE opera啊,Chrome啊,这个驱动都有,然后我们如果把这些拿到之后,我们就能驱动真实的浏览器去让我们访问,那这样的话,它是不是就会给我们数据了呀,对吧?好而且注意啊,还有一个非常牛的一个地方,这个等我们讲到潘GS大家就明白了啊,它支持无界面浏览器啊,支持无界面览器,大家有点印象就行,好,那到底我们为什么使用sli呢?那接下来同学们啊,我们来爬一下京东的首页吧,来,我先在这儿创建一个新的文件。
03:03
啊,因为为啥爬京东的首页呢?因为京东的首页有一些秒杀的数据是不给我们的啊,不给我们的为什么要学习这个sliium哎,咱们得了解它,我们再去学习它,对吧?来写上import your.request啊写个URL,这个URL我们先不写,我们先干啥呢?我们看下京东的这个网页啊,我们要干啥啊,来写上京东好在这这里边呢,它有一个秒杀的模块啊,秒杀的模块,电商的秒杀模块其实还是比较复杂的啊,那我们要干啥呢?我们来给它定位一下吧。啊,定位去了。大家来看哈,那么这个页面中是不是有一个东西啊,就是就是它呀,叫做啥呢?叫做JCQJCQ,那么它就是一个秒杀小模块,这个图片不在这里吗?对吧,一会我们就要爬取它这个图片啥的是吧?呃,但是我想知道的是什么呢?这里边它有一个ID叫做J。
04:16
CQ是吧,那它是一个ID,那页面肯定有这个ID值嘛,那现在呢,我们就对京东访问一下,看有没有哈,这个页这个地址应该是对的啊,都没有任何的问题,好同学们,那现在呢,我们来把这个地址复制一下,URL等于谁呢?等于它,然后呢,我对它进行一次访问,等于UR li.request.you are open,再获取一下它的网页源码,Response。点read点抵扣de,我看一下它这里边儿的数据啊,完不完整是吧,万一有一些数据他没给我们呢,来content好同学们,我们这就是对京东的首页进行了啥呀,进行了一次访问,那现在呢,我们右键运行一下。
05:04
嗯,好,确实给我们数据了啊。那给我们数据我们看一下啊,我看一下谁呢?我们看一下秒杀这个模块啊,他给我们这个数据给没给我们啊直走大家看啊说了这下是不是有个JCQ啊,哎,这是ID哈,那我来在这呢看一下吧,走来粘贴你发现红色的叫no matches什么意思啊,没有任何的匹配。这个时候就很奇怪呀,同学们。为啥呀?因为当我们模拟浏览器向服务器发送请求之后,那么他是不是没有给我们数据啊?那这是因为啥呢?哎,告诉各位啊,这就是他校验里的,校验里你的浏览器,因为我们是模拟的浏览器。明白吧,各位模拟浏览器它肯定是检测你不并不是真实的浏览器内核啊,对吧,所以说此时呢,他就没有给你给我们数据,大家听懂了吗?那么这个时候他说老师那那咋整啊,我不写了,不要这样啊,不要这样那怎么办呢?我们就可以使用sliium来帮助我们。
06:13
让干啥呢?让他来驱动一个真实的浏览器,然后给我们获取数据,OK吧,各位,诶,这就是我们学习STEM的这个原因啊原由,好,同学们,OK,那我把视频暂停一下。
我来说两句