00:00
OK,同学们,那么接下来啊,我们要讲一下这个爬虫中啊,我们在企业级研发中用的最多的一个技术,它叫啥呢?叫SCY,这个单词可能对于各位同学有点有点生疏,为啥呢?因为我们很少能在我们这个生活中啊,能遇到这个单词,并且我也跟各位同学说一下啊,它并不是一个我们常见的这么一个单词,它也没有对吧,你像SC是吧,SCSC怎么等等等等,它没有这样一个单词,而是啥呢?它隶属于专业英语,诶专业英语也就是说在这个计算机类的这么样一个领域,它才有这样一个单词啊,那么到底它是啥呢?这是一个什么东西呢?我们是不是得聊聊啊,首先跟各位讲啊,SC是啥?大家注意啊,它是一个为了提取爬取网站数据,提取结构性数据。
01:00
对,而编写的应用框架啊,可以应用在包括数据挖掘呀,信息处理呀,存储历史数据等一系列程序中,那有同学可能就稍微的有点懵,老师啊,什么叫做提取结构性数据啊,什么又叫做应用框架啊?咱们来解释一下,咱们同学看啊,我随便来打开个网站啊一呃,待会儿呢,我们也会爬取这个网站哈,叫读书网。读书网啊,我们随便来打开一个啥呢?假如说打开计算机网络吧,好吧,同学们你看哈,我要采集的是这个网站中所有的书的信息啊,作者呀,包括简介呀,名字啊,图片等等等等,哎,我们要采集这个,那采集的时候我就得对他做定位呀,同学们注意啊,看什么叫做结构性数据,指的是它所有的东西是不是全是一个结构,Li下边有个div div下边有个div,然后有个A标签,就是它的图片了。
02:05
明白吗?各位诶,我们把类似的具有相同特征的东西,我们叫做结构性,那我们要干啥呀?同学们是不是要提取结构性数据,对不对,我们想要的这些东西啊?好,那有同学说了,老师啊,我还能总听见过这样一个词,叫啥呢?叫做框架。对吧,各位,你只要接触过这个软件行业,你一定会听到这两个字,那啥是框架呢?咱们给同学们聊一聊啊,我不知道有没有同学是这个,呃,做土木工程的,或者说是这个道路桥梁与什么什么什么之类的专业的,如果有你一定听过框架楼这几个字儿,啥意思呢?假如说原来呀,我们盖房子,我们是一块砖一块瓦的往上摞,没问题吧,各位,但是现在我们盖楼的速度是非踌吧,为啥呢?就是因为现在盖楼我们用啥盖呀,用框架,哎,我在最外层给你搭一个这个框架,就是承重墙那块是吧,然后往里边灌钢筋混凝土。
03:15
那这样的话,我们是不是大大的提升了我们盖房子的这个速度啊,对不对,所以说框架的作用就是为了让我们更好的干啥做研发,更好的爬取数据更快,然后我们的爬虫程序也更加的健壮,诶这就是啥呢?框架,所以说SC为什么我们用它比较多的原因,一它爬取速度比较快,二我们编码也更加的简单,诶这就是它,这就是SCB,这个就是我们未来拥了很多的一个技术。好,那我们简单的介绍完水块壁之后啊,同学们,我们接下来的大的方向要干啥呢?咱们得知道第一步安装,第二步基本使用,第三步我们要干啥?讲它的知识点,大家一定要对这个结构清晰,同学们注意啊,Script的安装非常的复杂,那很多同学呢,之前有同学私信我们是吧,说这个老师啊,我们安装SKY的时候就报错就不好使,那在这儿呢,一会儿我会带着大家去安装,一步一步的来,有错误了我们解决错误啊,我会把各种各样我们能遇到的错误全给大家演示一遍啊,如果他没出现这个错误呢,那么我们也给他写上你有可能出现错误的原因。
04:35
好同学们,接下来我们要安装啊,安装咋安还是一样的叫pipe install sc啊就是它,那么它安装的时候呢,我们可能会遇到一个错误,当然呢一如果呀,你没遇到错误也没关系,我给你写上啊。CMD那咋安呢?我是不是还是要跳转到E盘呢,然后C到Python里边,C到SC里边对吧?哎,我们接下来同学们注意啊,叫pipe in install叫SC,大家注意啊,此时不要干啥呀,不要使用国外源了,为啥呀,因为国外源去下载SCB太慢了啊,非常的慢,好同学们写上用国内源啊HTPS。
05:17
PYPI,点豆瓣点com,杠simple来下载它,好,同学们啊,因为我这个电脑我配置的很多东西都已经有了,所以说它下载的就很自然也有,那么在这儿呢,我会告诉大家你有可能会出现一个错误,在这儿我来创建一个新的文件,用来干啥呀?用来说明我们在安装scriptp的时候有可能遇见的错误。啊来写上在这啊,确实在安装SC的时候,很多同学都会遇见这些错误啊,它不仅仅是一个错误,是连环错误啊安装。
06:02
好,首先大家注意啊,我们在这写第一步啊,就是啥呢?就是怎么去安装叫啥叫pipe in install,然后啥SC安装的时候,第二步啊记住了,哎,它一基本上啊,如果你的电脑没做啥呀,没做什么配置,它一定会报错啊,一定会报错,必然那他报错大部分的第一种情况是因为你缺少了一个库,这个库叫做T的一个库是什么呢?是这个script依赖的一个东西,那有没有说老师啊,我不报这个错。那我没有报这个错,我报其他错,你不用管,你一定是因为缺少tist的,95%的同学在这儿都是缺少T。所以大家注意啊,那怎么办啊,这是报错一给你写上报错,一是因为你缺少script需要依赖的那个库啊,就叫推啊,如果你跟我错长不一样,那是因为有可能我们的操作系统不一样啊,我们的版本不一样啊,你在这儿报错或多或少会有一点点不同,但是问题不大。
07:17
那同学老师我报错咋整啊,大家注意啊,接下来这个解决策略解决。啊,解决会解决咱们同学多少呢?大概85%的人啊,如果说你你还报错的话,那你你再说是吧,大部分情况下能解决百分之八五八十五的同学的问题,那咋解决呢?你看在这里边啊,有一个解决策略,就是你需要下载一下TW的这个库,人家没有没给你,你咋整啊。你自己下载一个,看同学们我把它打开之后是不是到这儿了,如果同学们你打开的第一页在这,你就往下滑,滑一直滑到啥呀,滑到推走走TW。
08:06
啊RST在这儿呢,推对吧,那这里边我们这老些推我下载谁呀。是吧,我下载哪一个呀,咱得知道我告诉各位啊,CP后边的是你的Python版本啊,而后边这个东西呢,是你操作系统的版本写上啊,这是一个下载的地址。嗯,解决策略,打开下载地址,那么注意啊,写上CP是你的Python版本。啊,然后接下来后边这个一会儿我们再来找一下这个名啊,这个名就是它,我看能不能复制一下。可以。好把它来下载,找到你对应的版本啊,别瞎下,那肯定不匹配呀,对不对,该是啥就是啥,CP是你的Python版本,我选择3.7啊原老师我忘了,我忘我Python啥版本了,你直接进来直接打个Python不就完了吗?
09:09
这不就就看到了吗?对不对,各位这不就看到pyon版本了吗?对吧,那么后边AMD这种是啥呀?是你的操作系统的版本明白不对,诶这个都要知道啊,那接下来我要干啥呀?同学们,我是不是要把它下载下来啊,因为我这里边之前安过哈,所以说呢,在这边我我下载我知道我是谁,我下载的是3.7版本的64倍系统点它。嗯,点它,它就自动在这下载了,看到了不,哎,自动在这下载了,下载之后同学们稍等,这还没下载完是吧,差几个字节,下载完之后我告诉各位,诶下载完了啊,嗯,下载完成。
10:00
下载完成之后使用pip install,然后加上这个路径就叫推器的路径名。对吧,路径安装咋安装,教大家一下,把它拿过来,随随便放哪个位置,你爱放哪放哪,一般情况下我会给他选择放在桌面,放在桌面之后咋整啊,你刚才不打开这个了吗?对吧?打开之后直接piip in道直接往那一拖就可以了。明白不,这样的话能解决咱们同学85%的问题啊,基本上到这你就结束了。但有同学呀,很不幸,老师啊,我安了,我安装完之后,大家注意啊,这个安装完之后我再写一句话啊,切记安装完之后。
11:00
再次干啥呀,再次安装啥SC。嗯块,但是同学们很不幸啊,很不幸你又报错了,你报错的原因他可能会干啥呢?叫报学生啊,叫报错二,它可能会让你升级pip指令啊,升级它会提示,提示啥呢?提示这样一句话。其实他。嗯,这了啊,提示还报错的话,它会让你升级,提示升级,那么咋办解决。直接运行这段指令即可。那运行听懂了吗?各位,哎,这样的话能解决咱们同学90%的问题了,哎,也就是说100个人90个同学已经好使了,剩下还有十个人,你是不是做啥坏事了,对吧?那么说如果还报错啊,报错三报啥错呀,报什么这个温32的错,哎,温32的错它会提示你啊错误那咋整我们就解决。
12:14
咋解决来看啊,给他对齐一下,直接干啥p in道,然后啥叫PYPI,然后WIN32,那这样的话,同学们注意你能解决95%的问题啊,有同位老师我还不好使,我不知道你干啥坏事了,肯定是干啥坏事了,所以你才不好使,明白不?各位基本上记住啊,同学们安装SCY会有很多很多的问题。啊,基本上现在你95%的同学我全都给搞定了,那说如果最后啊,你还有问题咋整。你还有问题,你就只能使用一个神奇的工具,叫underco。
13:00
哎,你得使用这个工具了,这个工具我告诉各位。我已经给大家干啥呀,下载到这个资源里边了啊,为啥我主动给大家下载一下子呢?是因为这样的,这个软件非常难下载,你打开对吧,你打开官网都很难,都很费劲,你更别提下载了,下载之后它还有个坑点啥坑点它的里边就是它所在的文件夹,在下载在执行之前不允许有任何文件。那不允许有任何文件,啥意思,我安装一下啊,咱们同学再教大家咋用来安装,点击下一步啊,再点击下一步,然后这里边加私密哦,柚子无所谓啊,选哪个都行,基本上就加私密自己用啊,在这块选择一个路径,选择路径呢,我们这个里边啊,我给他选择一下Python对吧,这里边不没有东西吗?我新建一个文件夹。
14:02
起个名吧,叫underco underco,哎,就它,然后确定这里边,记住在安装之前不允许有任何的东西,哪怕里边是一个tit文件,不允许听懂了,没啥都不能有啊,然后nice走。在这里边儿呢,第一个大家注意啊,我们安装过Python啊,都知道在这块是不是有个环境变量啊。对吧,哎,记住了啊,记住了,它可以把它添加到环境变量里边,好安装,嗯,等待即可,大家注意啊,它的安装是比较麻烦的啊,也是时间比较久的,我们稍作等待啊,我们稍作等待,大家注意啊,实在实在不行了,你暂时再去安装underco,因为它现在对于我们使用爬虫来说太重量级了。啊,谁让你点背呢,你已经不是95%的人了,对吧,实在没招,咱们这五步绝对能让你把快B安装成功啊,绝对能让你把SCB安装成功啊,那么同学们,那么我们接下来啊,安装成功之后我们要点啥呢?点next那之后在这诶他在干啥呀?他说让你安装一下什么Vs code的等等等等这些东西,我们暂时先不安装,我们跳过它啊,最后呢,我们来看一下啊finish就OK了。
15:24
好,这些东西可以给它关掉啊,直接给它关掉,啥也不要了,那么它完事之后,我们安装结束之后,我们要做啥呢?大家注意啊,在这儿它没有什么这个快捷方式在这展示对吧?那么在这儿我们点一下看有没有underco啊对吧?来点一下它,它非常帅哈,开始长的在这。应该出现一个东西是吧,第一次打开的时候呢,会稍微的慢一点,是不是特别像一条大蛇呀,对吧?哎,它初始化一下啊,初始化一下,初始化之后我们看我们应该怎么去使用它,嗯,它的环境里边,其实为啥我开始的时候不愿意用呢?就是因为它里边啊有很多我们暂时用不到的库,它都给我们下载下来了,而且我们使用为啥用它好使呢?就是因为啊,它会把各种依赖全自动给你下好,而不需要你自己去做了,那之前我们是不是还下载了推的呀,而安Co特就不需要了啊,它自己就把推推给下载了啊,就非常简单,而我们如果他用完之后。
16:30
同学们,原来在这儿啊,一会儿你打开你的这个解释器啥的,就点它文件塞四我们是不是引入的是E盘的环境啊,如果underco打开之后,你就不能再引入它了,你要引入啥呀,你要引入underco的啥呀,这个环境就可以了,那我们来看一下吧,虽然他现在在打开呀,有点慢,那我们先干啥呢?我们先把annacoda这个环境给它打开一下,就是它。
17:02
它这个里边啊,我们有个什么东西呢,叫python.ee看到了各位,那如果你通过underco把这个SCP下载下来之后,你咋办?你文件settings,然后把它改为啥,改为annacoda的这个环境就可以了,明白了各位,哎,所以说这个acoda和我们刚才E盘这个这是两套环境啊,大家注意啊,这是两套环境,但是它第一次打开的时候确实会会慢一些,我们应该一直在等待它啊,等待它。那如果他安装完之后,同学们我们看一下步骤哈,这里边儿有哪步呢。点击environment,点击这环境,然后我们看一下啊,有哪些没有安装的,对吧?没有安装之后我们再输入这个APP,再点apply就OK了,这个当你使用underco把它给下载下来之后,那么我们就可以用拍charm去选择啥了,去选择它的环境了。
我来说两句