首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

九行代码带你爬取任何你想要爬取的图片

首先,我们直接用的是icrawler这个爬取的模块,简直是太方便了,用不着再去分析网页,用不着再去写正则。。都不用,一个循环遍历就行,模块给我们封装好了。 解释下,我注释掉的部分分别是百度和谷歌的这个搜索引擎模块(我这这么叫的)吧,看那个英文单词crawler就是爬虫的意思,我在这里用的是bing的爬虫。你们要用别的爬虫也可以的。 第一步代码:我定义的这个列表。列表的话,我们可以任意添加多少,添加你任何想要爬取的图片。举个例子,我想要爬取张杰,林俊杰,周杰伦他们的图片,那我们就在列表里面分别添加这三个人的,注意分开哈,看我代码,我是分开了的。(偷偷说一下,想要爬取美女帅哥图片,可以直接列表中装个’美女’,‘帅哥’,哈哈) 第二步:遍历这个列表,然后在下面顶一个我们要保存的路径,我是装在一个photo的文件夹,不用自己取建立文件夹,就在代码里面把定义好自己的文件夹名字,运行完成后会生成文件夹。我这里是运行完成后生成photo文件夹,这个文件夹下两个子文件夹,分别为李现和陈晓的文件夹。 第三步就是用这个模块,定义解析器数目和下载线程数,建议别太大,我觉得可能会被封ip.一般五六个差不多了。 最后一步就是根据关键字和图片数量进行开始爬取。

02

Linux安装程序Anaconda分析

大家好,又见面了,我是全栈君,祝每个程序员都可以多学几门语言。 1、概述 Anaconda是RedHat、CentOS、Fedora等Linux的安装管理程序。它能够提供文本、图形等安装管理方式,并支持Kickstart等脚本提供自己主动安装的功能。此外,其还支持很多启动參数,熟悉这些參数可为安装带来非常多方便。该程序的功能是把位于光盘或其它源上的数据包,依据设置安装到主机上。为实现该定制安装,它提供一个定制界面,能够实现交互式界面供用户选择配置(如选择语言,键盘,时区等信息)。Anaconda的大部分模块用Python编写,有少许的加载模块用C编写。 Anaconda支持的管理模式: (1)Kickstart提供的自己主动化安装; (2)对一个RedHat实施upgrade; (3)Rescuse模式对不能启动的系统进行故障排除。 要进入安装步骤,须要先有一个引导程序引导启动一个特殊的Linux安装环境系统;引导有多种方式: (1)基于网络方式的小型引导镜像,须要提供小型的引导镜像; (2)U盘引导,通过可引导存储介质中的小型引导镜像启动安装过程; (3)基于PXE的网络安装方式,要提供PXE的完整安装环境; (4)其它bootloder引导(如GRUB)。 可用的安装方式:本地CDROM、硬盘驱动器、网络方式(NFS、FTP、HTTP)。 通过网络方式安装时,不论通过FTP、HTTP还是NFS方式共享安装,能够将安装光盘先复制到网络server上保存为iso镜像,然后loop挂载到共享文件夹或网页文件夹(当然,拷贝镜像中的全部文件到指定位置或直接挂载到共享文件夹也可),而通过NFS方式时,能够直接将光盘的iso文件放到共享文件夹就可以,安装程序挂载共享文件夹后能够自己主动识别镜像。 注意思复制安装光盘,并保存为一个 iso 映像文件的方法(对于 DVD/CD): # dd if=/dev/cdrom of=/location/of/disk/space/RHEL.iso bs=32k 注意拷贝时bs块大小设置为32k,我实验时设为1M,尽管减小了文件体积,可是安装读镜像时会报错。 对于Kickstart,它是一个利用Anconda工具实现server自己主动化安装的方法。通过生成的kickstart配置文件ks.cfg,server安装能够实现从裸机到全功能服务的的非交互式(无人值守式)安装配置;ks.cfg是一个简单的文本文件,文件包括Anconda在安装系统及安装后配置服务时所须要获取的一些必要配置信息(如键盘设置,语言设置,分区设置等)。Anconda直接从该文件里读取必要的配置,仅仅要该文件信息配置正确无误且满足全部系统需求,就不再须要同用户进行交互获取信息,从而实现安装的自己主动化。可是配置中假设忽略不论什么必需的项目,安装程序会提示用户输入相关的项目的选择,就象用户在典型的安装过程中所遇到的一样。一旦用户进行了选择,安装会以非交互的方式(unattended)继续。使用kickstart能够实现流线化自己主动化的安装、高速大量的裸机部署、强制建立的一致性(软件包,分区,配置,监控,安全性)、以及降低人为的部署失误。 使用Kickstart方法安装的过程包含创建一个kickstart文件、创建有kickstart文件的引导介质或者使这个文件在网络上可用、筹备一个安装树、開始ks安装(anconda自身启动 –>选取ks安装模式–> 从ks文件读取配置 –> 最后安装)。创建kickstart配置文件能够使用不论什么文本编辑器,也能够使用图形化配置工具system-config-kickstat(须要安装system-config-kickstart.noarch包)。注意配置文件生成后,推荐使用ksvalidator命令检查配置文件语法及完整性错误,比如: [root@bogon ~]# ksvalidator ks.cfg not enough arguments for format string Kickstart文件的语法及參数含义可參考 http://docs.redhat.com/docs/en-US/Red_Hat_Enterprise_Linux/6/html/Installation_Guide/s1-kickstart2-options.html。 我们以RHEL 6.0的安装为例来分析Anaconda。为紧跟新版本号,anaconda源代码则使用较新的在Fedora 15中使用的版本号。先从Fedora的下载网

04
领券