00:00
OK,同学们,那么刚才有同学可能会问哈,所以老师啊,你用了一个,虽然用了一个代理对吧,那么说如果这个代理在短时间之内高频次的去访问了某一个网站,那么他会不会被封啊,我告诉大家啊,你猜呢是吧,一定会的,对不对,一定会的,所以这个时候我们咋办呢?我告诉各位同学啊,一个成熟的爬虫的公司,它一定会有一个代理池。这个字眼不不难理解吧,对吧,啥叫代理池啊,指的就是啥,这里边儿这个里边有一堆高密的一个代理IP啊,啥叫高腻呢,就是非常安全的啊,它不会暴露你真实IP的这样一个IP,所以说这个时候呢,我们可以自己造一个代理词啊来看一下。啊,假如说写上啊代理池,嗯,好同学们,那它是用啥来实现呢?它可以用一个列表,我们先写一个简易的代理词啊。
01:01
那简历在这小心吐是吧,啊等一个列表,这列表里边啊,同学们你注意啊,它是放的一些真实的代理,就是像我们这样的啊,像我们这样的诶一个啊一个,然后放在这里。给它点开啊,这样好看一点,然后往这挪一挪。OK,这是一个代理,那么紧接着呢,我不再把这复制一下,它又是一个代理啊,又是一个代理,然后我们怎么做呢,我们怎么做呢,这里边111啊,再来几个二二,我们来随机一下啊,也就是说他会利用随机的特性,你这次用111,下次用二二这样的一种思维来实现这样的代理池,一般情况下呢,很多公司都有自己的代理池啊,他咋用,同学们看啊,它导入一个叫random。而random这个东西,它要干啥呢?大家你看哈。
02:01
假如说写一个process啊,等于等于啥random看有啥方法没有点choice,这里边有两个啊有两个到底我们选上边这个还是下边这个呢?假如说先选上边这个,里边要给他一个process铺,那我现在来就来打印一下,Print一下啊process哎就打印一下,只是看能不能给我们选一个呢,来看走。嗯,有一个在运行。走R再走走R,是不是出现了这样一个随机的一个结果啊,啊是不是出现了一个随机结果,这个不一定的,不一定随机谁,所以说前几次可能用111,后几次可能用二二,明白不的诶,这就是一个非常简易版的一个啥呀,代理池,那现在呢,我们都知道,如果你这个代理词里边都是真实的这个IP的话,那么我们这IP那就太好用了吧,对吧,接下来咋写呀。
03:01
把这个谁呀,把这urr拿过来啊,把UR拿过来,在这写上UR,那head是不是也得拿过来呀,对吧,各位哎,Heads也得拿过来,把下边我们自己写啊,好,同学们,当你有这个随机出来的代理之后啊,有这个随机出来代理之后,我们干啥呀?我们做一个请求对象的定制,但是前提你要干什么,你是不是要导一下这个U力吧。点request,好,那么我们做请求对象定制啊,等于your力点request,点大的request等于ul headers等于headers OK,那么这等于完之后呢,我们写个response,等于ul li.request.url open,但我说了这种能使用代理吗?同学们。是不是不可以呀,所以这句话不允许直接就写啊,我再次强调,如果要用代理的话,你必须得用什么?
04:04
是不是有handler啊,对吧?所以在这写上handler等于your li.request点叫做process handler,那这里边是不是有个参数啊,叫process process等于什么?是不是等于你随机出来那个process对吧?大家就是它了啊,看这里。就是它了,好,那么等于它之后,接下来第二个叫什么来着,是不是叫opener opener等于啥?等于ul Li点快点build opener,然后里边传一个handler,对吧,传一个handler,那接下来response等于your Li。点啊,Sorry,等于啥,等于opener点啥,Open里边存一个什么,存一个request是不是就完事了,哎,那接下来我就可以获取啥了,获取它的一个响应的源码,点de扣de u TL杠八,这个逻辑刚才我们都写过了,是吧?然后接下来写上位open,写上代理。
05:08
啊,写上代理点HTML,然后写个W,写个encoding,等于utf-8SFPLP.right来写一个content OK,不大呀,诶这个刚才这段代码我们都不写过了嘛,对不对,只是说这里边要注意啊,我们如何去实现一个简单的代理池呢?你的公司给你一些高密的IP就OK了哈,好同学们,我们来运行一下,看可不可以走。如果这里边报错的话,注意啊,一定是这个行星头,你要改改啊,你要改改好我们来看一下。来,走你。看来这个钱不白花呀,是吧,很稳定啊,是重庆市腾讯云对吧?好同学们,这个呀,就在这儿给大家实现了一个简单的代理词啊,希望各位同学呢,以后在你的公司中注意啊,一般公司的时候啊,会给你个账号啊,你输入一下密码和用户名就可以了,他就给你给你一堆这个高的IP啊好同学们,我把视频暂停一下。
我来说两句