前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >有没有什么好看的网址,想爬点东西做个可视化

有没有什么好看的网址,想爬点东西做个可视化

作者头像
简单、
发布2018-07-17 17:44:23
1.2K0
发布2018-07-17 17:44:23
举报

两个月前写的爬取妹子图网站图片的爬虫。大致功能如下: 1、将所以连接遍历出来,存到mongodb中,加上状态码

2、保存标题,图片地址到mongodb中 3、将图片下载到本地 ps:已经过去两个月了。我不知道代码还能不能成功爬取完所有妹子图网站的图片。后期还会对这个项目进行优化。但是要先忙完手头上所有事情的前提下。。。

运行图:

运行图
运行图

运行后图:

(下载好的数据是直接给了朋友的,他解压的然后截图给我的。我这么纯洁的人是不会看的!哼=-=)

运行后图
运行后图

github地址

如果你有想要爬取的网站,请告诉我 我有时间就帮你哟!--- 下方留言告诉我!!!!么么哒!!!!!

**有没有一些好看的网址,比如动漫的都是妹子的图片,不能是暴力,不能是血腥,不能是黄色。当然啦你也得告诉我!

想整理一些资源爬下来,然后分享出去哟!!!**

有好的网址也一定要留言告诉我呀,别吝啬手头的资源哟!3Q啦

Tags: None

Archives QR Code

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 想整理一些资源爬下来,然后分享出去哟!!!**
相关产品与服务
云数据库 MongoDB
腾讯云数据库 MongoDB(TencentDB for MongoDB)是腾讯云基于全球广受欢迎的 MongoDB 打造的高性能 NoSQL 数据库,100%完全兼容 MongoDB 协议,支持跨文档事务,提供稳定丰富的监控管理,弹性可扩展、自动容灾,适用于文档型数据库场景,您无需自建灾备体系及控制管理系统。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档