00:00
OK,同学们,那么接下来啊,我们要讲一个关于代理的一个东西,那到底啥是代理呢?他又能解决我们在爬虫的过程中哪些问题呢?咱们先举例说明一下,假如说呀,将来我们要想爬取某个网站的一些数据,对吧?但是呢,我们爬取的时候并没有什么节制,我们在短时间之内高频次的访问了某些网站,那这样的话,这些网站就检测到了我们的一些异常行为,对吧,那咋办呢?诶,他这个在人类的这个基本操作中,他根本就完成不了这件事情。所以呢,这个时候呢,他就把你的啥,把你的IP给封掉了啊,把你IP封掉了,那我们应该。怎么办呢?难道封掉之后我们就不爬了吗?其实不行的,对吧,我们必须得要他的数据,所以说这个时候我们就咋办,用了代理,那其实简单的来说,代理就是啥呀,我们用别人的IP来访问这个网站就OK了啊,明白了吗?各位。
01:02
那在这里边代理的常用功能就是假如说第一个突破IP自身的IP访问限制啊,来访问国外站点啥意思呢?就是原来现在啊,我们国内是不是访问不了外网啊,对吧,访问不了国外的那些网站,那咋办呢?诶我就可以把国外那些IP拿过来,我们可以用一下,对吧?还有一个就是访问一些单位或者团体内部的资源。那他是啥意思呢?假如说我们现在一般这个学校也好,政府事业编,企业单位也好,那么基本上它都是内网去访问的,外网我是访问不了的,对吧?那像这种东西,难道我外边的网网站就在外边,我就办不了公了吗?啊,我就访问不了了吗?对吧,我也可以,那这个时候咋办呢?我就使用一些内网IP来访问也OK啊,还有一个就是可以提高啥呢?提高访问速度啥意思呢?就是通常啊,如果你要使用了代理服务器,那么它其实设置了一个较大的硬盘缓冲区,那当我们有外界信息通过时,同时呢,他也将其保存到这个缓冲区中了,那么当其他用户再次去访问这个相同信息的时候,那么则由缓冲区取出信息传给用户来提高我们的访问速度,这就是啥呀,也是一个代理的优点。
02:25
好,最后一个呢,是隐藏,隐藏真实IP啥意思啊,同学们注意啊,那说如果我们的真实IP被暴露,那以后我们对这个网站的访问其实有很大限制,就像之前我带着很多同学去爬某一个网站的话,那么大家知道啊,他把我们当时把我们公司。的这个IP封了一个半月啊,根本就上不去了啊,根本上不去的,这个也是挺可怕的一件事情,所以说呢,我们就是可以使用代理去访问其他的网站。OK,那接下来啊,我们就来试试吧,啊,来使用一下代理,那么请问同学们哈,呃,大家知道怎么去查询你当前的IP吗?
03:05
我们来看一下啊,在这里。在这打一下IP啊,大家看一下啊,那么咱们现在的IP是在北京市石景山,是一个电信的啊,电信的直接打IP就可以哈,好同学们,那接下来我要干啥呢?我先要访问一下,把后边这些广告,之前咱们说过给他干掉啊,不要还是他,我访问一下他,然后让他的页面给我保存在本地啊,这是用本地的IP来做的,当前这个我电脑的IP,那我把它复制一下,然后紧接着呢,在这来写上一个新的文件啊。然后上硅谷下颚线,爬虫下颚线,这叫啥呀,鱼儿lib,然后下颚线叫啥代理来代理的一个基本使用。OK,那么现在呀,我们把这个啥,把这个URL先写上啊,URL等于啥,我就先先访问一下这个的一个基本使用啊,把这S暂时去掉啊同学们。
04:09
好,然后紧接着在这,你说是不是要需要一个请求头啊,对吧,哎,我把这个UA拿过来,UA拿过来好,暂时就需要这两个啊,那么同学们,我接下来是不是需要请求对象定制啊,You leave.request。好,请求对象定制request等于u lib.request点大的request对吧,各位,哎,然后URL等于啊URL,然后has等于has OK,同学们,这叫请求对象定制了,那再写个注释啊,怕同学们忘记啊,这叫请求对象的定制,那么请求对象定制结束之后,接下来我们要干啥呀?是不是模拟?浏览器来访问服务器呀,对吧,各位,诶,模拟浏览器来访问服务器,那么紧接着这个完事之后,我们有个response,等于your li.request.you are open对吧,各位,哎,来访问他。
05:15
访问完之后,接下来我们是不是获取相应的信息,那相应的信息那么咋写呀,Content等于response点儿read,点抵扣de,然后里边写上啥呀,Utf杠八对吧,那最后这个内容其实我要给它保存在本地的啊保存。宝安本地我看一下这个页面是不是我们想要的那个数据,对吧,各位,所以在这写上with open,然后来写上就啥呀,代理点H面一个写的模式,然后encoding等于utf-8IS FP,然后接来FP.write来写个content吧,哎,我们将这个啥呢?将这个页面的源码给它写入到这个文件中,我们来运行一下。
06:11
走。OK,同学们,我们来看一下啊,那么这个页面是不是我们想要的那个页面呢?诶我们发现诶是北京石景山啊,但这个IP其实呃不是特别准啊,咱们这个商业谷现在在这个北京的昌平区啊,北京昌平区,但是它被分配到这儿了,不是特别准。好,那有同学说,老师那你咋用代理呀,我们怎么用代理呀,在这呢,同学们注意啊,我们之前知道哈,这个response,咱说了为什么要学handler。它的原因在于啥呢?原来你这个请求定制啊,你只能有hi对吧?诶还有些其他的东西,那没有啥呢?没有这个代理,那代理应该咋写呢?大家注意啊,此时我们就应该用到了handler handler我记得啊,同学们是不是有三个单词啊。
07:06
我给大家讲过,就是讲的简单一点的哈,Handler,然后build。Build啥opener对吧?Opener,然后接下来是啥呀?Open是这样几个,但是大家注意啊,Handle了的基本使用和代理就差一个单词啊,就差一个单词来写上,Handler等于啥?等于your li.request点大家注意啊,叫pro handler啊pro handler里边大家注意啊,先啥也不写,先做一个小对比是吧?然后接下来是openr等于啥,Your leave.request.field opener你看里边是不是传。Handler对吧?诶它这个没有什么任何变化,然后response等于open.open里边传的是不是request呀,那我们这个和handle多也没差啥呀,大家你注意啊,我们可以在这里边。
08:05
看一下它有一个代理,这个代理是一个以字典形式出现的这么一个变量叫pro,哎,Toppro,那么它后边应该等一个变量,而这个变量就是啥,你的代理IP以字典形式存在,大家能理解我意思吧,哎,以字典形式存在,那么这里边这个代理IP一般的时候我们去哪找呢?大家注意啊。在这块呢,一般现在我们用的叫快代理比较多一些啊,快代理比较多一些,那么这个快代理啊,快代理它有一些免费代理啊,免费代理,这个免费代理呢,随便找一个看能不能用哈,但是家说了免费代理呢,由第三方服务器提供啊,IP的不确定性比较大啊,总体的质量不高,它提示你人家如果你就想如果免费代理都好使。
09:02
对吧,那会人家花钱干啥呀啊对吧,人家花钱干啥好第一个啊3256这个是啥端口号他是这么写的啊,前边是K,后边呢是Y6,而Y6是主机加上啥加上端口号就是3256。来写上3256,好同学们,我们来试试啊,说这个IP好不好,我们就试俩,如果都不好使的话,我们就就买一个是吧,来走你。啊,稍作等待啊,一般情况下够呛是吧,一般情况下够呛。来我们看一下啊,稍等,如果时间长了估计就不太好使啊,如果时间长了估计就不太好使了。在这里边儿,其实有的时候呢,他还会给这个hier做一些限制,还做一些反扒,这个就比较坑啊,一会儿我也给大家去加上啊加上。其实这里边它的这些限制在哪呢?大家来看一下啊,在这我再刷新一下啊,刷新刷新,然后我们来找谁呀,找这IP大家注意啊,这请求头也会做一些限制的啊,请求头也会做一些限制,就在这里边啊,请求头这边很多很多是吧?诶这些都是做限制的一个东西,我们来看诶是不是拒绝我们了对吧?诶拒绝我们了,那紧接着我们再试一个吧,如果还不行的话,我们就买一个啊,当然我这个之前也买过了啊,来再找一个中国江西赣州对吧。
10:31
嗯,在这儿来找一套。它的端口号还是啥呢,3256啊,3256来再运行一次。啊,在运行好还不行是吧,还不行,那没有关系啊同学们在这里边呢,诶我之前买过了一个东,买过了一个啥呀,买过了一个这个这个账号这个IP,我们看一下我订单啊,订单点完之后呢,是这样子的,这样之后我教大家如何去用啊教大如何用这里边儿呢?哎,你要点啥呢?点一个叫生成API链接。
11:07
啊,生成API链点它点它之后啊,大家看这里边看这API链接啊,点它生成在下边是不是有个它呀,有这个链接之后,你要做什么呢?你可以直接在这儿访问。走,他就会给你一个啥,给你一个高密的一个地址,我们来看一下我这东西在哪的啊,高密的一个地址。啊,管理管理一下,诶,这里边有一些其他配址,暂时我们不需要去了解太多啊,不需要了解太多,暂时就看它就行了啊,那么这个地址呢,我把它拿过来,有同学老师,那你这个不一定都好使了吗?走诶来运行一下,如果它报错也没关系,这个就是他的一个小反扒,也没啥事儿哈,但如果没报错最好,因为咱花钱了嘛,对吧,我们来看一下此时他的地址是谁走。
12:01
你看同学们是不是就变成了重庆市重庆的一个腾讯云呢,对吧,各位诶将来的时候大家注意啊。如果你买完这个啥呀,买完这个这个代I pip代理了对吧,然后最后最开始你不进入首页吗?点你的账号啊,点你账号,然后这里边呢,一会儿会有一些啥呢?有一些购买信息,我的订单,诶在这点生成API链接,在这在你生成链接,你就把这个地址一复制就可以了啊,一复制可以了,它就会给你返回一个什么,返回一个这个IP地址,明白了吗?大家诶这是非常简单的一个东西啊,非常简单的一个东西,好同学们,这个就是啥呀,我们的一个代理你看。同学们,现在是不是就变成重庆市重庆了,对吧,这样的话就隐藏了我们的真实IP,我们用了代理去访问了啥呀,访问了这个网站,那人家再找能找到我吗?肯定找不到啊,对不对,他就相当于一个替死鬼,明白各位有同学老师,那他把他再封了咋整啊,我们再整点其他的这个这个IP呗,对不对?好同学们,以上呢,就是我们IP代理的一个讲解,我把视频暂停一下。
我来说两句