图片数据的收集 | 项目分享与演示

hello，大家好，今天要分享的内容是关于如何获取所需的数据集，请看下面的图。下图经常被用来解释为什么深度学习如此强大，当你向深度学习模型系统提供更多数据的时候，它会变得越来越好，远比旧的方法要好。

所以，我们明白了数据的重要性。

Image-Downloader 图片爬取项目简介

针对一个新的问题，比如人脸识别（用于识别是否是某主播），此类问题可能没有开源的数据集，因此，就需要我们自己去网上搜索数据并进行处理。

是不是觉得有点慌！

不用怕哈，其实没那么难，不需要你去学爬虫！有现成的开源工具。

开源项目： https://github.com/sczhengyabin/Image-Downloader 中文描述： https://github.com/sczhengyabin/Image-Downloader/blob/master/README_zh.md

功能：

• 支持的搜索引擎: Google, 必应, 百度
• 提供GUI及CMD版本
• GUI版本支持关键词键入，以及通过关键词列表文件（行分隔,使用UTF-8编码）输入进行批处理爬图下载
• 可配置线程数进行并发下载，提高下载速度
• 支持搜索引擎的条件查询（如 :site）
• 支持Google的安全模式开启和关闭
• 提供预编译的windows单文件可执行exe下载, 推荐非开发者用户使用。点此下载

下载链接：https://github.com/sczhengyabin/Image-Downloader/releases

Image-Downloader 图片爬取项目在linux下运行演示

（1）下载项目

git clone https://github.com/sczhengyabin/Image-Downloader.git

（2）安装依赖库

apt-get install python3-pip python3-pyqt5 pyqt5-dev-tools

安装python包

pip3 install -r requirements.txt

下载和安装phantomjs

# 下载链接 https://bitbucket.org/ariya/phantomjs/downloads/

下载完成后，将phantomjs文件路径添加至PATH环境变量，或者将其拷贝到/usr/local/bin文件夹。

安装完成后测试

phantomjs -v
# 输出2.1.1，我电脑是这个版本d

这里，我们已经将准备工作都完成了，接下来就是运行GUI界面

python image_downloader_gui.py 

GUI界面功能简介

这里我的设置是：

采用百度搜索；

关键字：dasima（我尝试输入中文，但是不行）；

Face only：打开（表示我希望图片是有人脸的）；

参数设置：采用默认的100,5（含义，下载100张，50个线程同时下载）；

其他不用设置。

输出结果：

（实际输出96张，应该是自动删除了一些非人脸的图片）

是不是很皮！

至此，我们已经完成了，数据的收集工作。

纸上得来终觉浅，绝知此事要躬行。