什么是网络爬虫,每天都在忙乎什么?(上篇)

先自我介绍一下,我是一只网络爬虫,出生在计算机中,操作系统就是我的爸爸妈妈,现在都活了2000毫秒了,这个放到我们生活的世界来说,已经属于比较长寿了。我出生之后就被安排到工作岗位上去了,我每天的工作就是在计算机网络上面到处跑,就像蜘蛛每天在蜘蛛网上来回觅食一样,大家给我起了一个外号叫做网络爬虫,但是我长得可比蜘蛛好看多了!

那我每天在网络上具体做什么呢?这个真是小孩没娘-说来话长了。首先要说一下我父母的工作,我父母虽然是操作系统,但是他们主要是为一家搜索引擎公司工作,帮助这家公司搜集网上的各种图片并且进行整理。网络上图片太多了,父母实在忙不过来,所以生了很多孩子来帮助他们搜集这些图片。我就是众多子女中的一个,刚出生就被安排去网络上搜集爬取图片了,虽然没有童年,但是我每天的工作很有意思!

友情提示:百度和Google都属于搜索引擎公司,这些公司都大量的网络爬虫。

还记得第一天工作的场景,我跟着很多兄弟姐妹来到了一个叫做任务分发的房间,我们都排好队翘首等待着。趁着这个排队的间隙,我问排在前面的小姐姐,“小姐姐,我们在排队等什么?”小姐姐很温柔,她肯定猜出我是第一次来,语气很温柔的回道“小弟弟,第一次来吧?我们在这排队是等待分配具体工作,一会管理人员会给你一个纸条,上面写着你的目的地以及你要去做什么具体事情。你按照纸条上面的指示做就可以了,一看你就很聪明,做过一次之后你就会熟悉了”被姐姐这么一夸,我顿时自信满满,满怀紧张和期待继续等待着。

很快就排到了我,管理人员看了我一眼,“小弟弟你是新来的吧,看着面生呢,这是你的具体任务内容,加油喔!下一个。”说话间便把一张纸条塞到了我的手上。我离开任务分配车间来到了出发车间,这个地方停着很多车,这些车时速都可以媲美光速,我找了一辆车坐进去。我小心翼翼打开纸条,纸条上面写着几行字“目的地:B站Cosplay漂亮街仓库。工作内容:爬取B站上面Cosplay图片。”我心头窃喜,想不到第一个工作就这么有意思,迫不及待的我启动了按钮,出发啦!

按照纸条上的目的地指示,我在计算机网络上很快就找到了B站。B站服务器大门口贴着告示,很多人都在围观,出于好奇我也凑上去看了看。原来告示内容是关于是否准许爬虫工作者进入的,还有一些爬虫工作准则。毕竟第一次来B站,我必须老老实实按照人家的规则办事,要不很容易被拉进黑名单,进入黑名单之后以后想进B站都难喽。

我顺利的进入了B站服务器并且找到了Cosplay漂亮街的存储仓库,我找到负责人并把纸条递给他看了一下,负责人是一个雷厉风行的人,很快就把我所需要的内容打包放到了我的车上。我瞅了一眼,发现都是原材料,里面除了图片还有很多其他东西,我一脸疑惑的想开口问负责人。他明显看透了我的心思,“小伙子,第一次工作吧?你把这些东西带回去就行,我们除了提供给你图片还会提供一些其他内容,辅助你们工作的喔”。

我不好再次叨扰,说声再见之后就开车回去了,我相信自己一定可以解开所以疑问的!

原文发布于微信公众号 - 张叔叔讲互联网(unclezhangcomeon)

原文发表时间:2018-10-16

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Youngxj

[浅谈]良师益友“wolf”

18830
来自专栏BIT泽清

收起装13的苹果审核指南,就告诉你到底怎么能过!

本文为作者在遍览诸多苹果商店审核指南文后愤然写下,以最容易被拒的地方房卡麻将闲游(无版权号)移动端手游APP为例。

37150
来自专栏SDNLAB

SDN技术分享(十):GoogleFiber的宽带接入速率控制解决方案

本次分(zhuang)享(bi)呢,主要探讨一个新兴SP客户的案例。 G家,这是非传统的SP。我们一起来看一下G家的市场策略以及使用的关键技术. 内容比较多,我...

505130
来自专栏镁客网

要什么拍立得!Prynt搞定!

17130
来自专栏阮一峰的网络日志

关于战略问题的通信之六

《Joel谈软件》一书的翻译,我好久没提了。 合同规定今年1月交稿。假定我没有违约的话,此书现在应该上市了。可是,实际上......就算到下个月,我恐怕都翻译不...

30070
来自专栏轮子工厂

RSS订阅 | 购物者福利,什么值得买?

RSS(Really Simple Syndication,简易信息聚合)是一种定制个性化推送信息的服务。它能解决你漫无目的浏览网页的问题。它不会过时,信息越是...

29640
来自专栏Jerry的SAP技术分享

金庸和古龙,Netweaver和微服务,以及SAP Hybris Revenue Cloud

这周Jerry在长沙客户现场待了几天,感谢易总和彩亮的款待。终于有机会和关注这个公众号的一些CRM顾问们进行线下互动,感觉很不错。得知公众号里某些文章帮助顾问们...

18730
来自专栏企鹅号快讯

OpenContrail 移交 Linux 基金会、TensorFlow 曝安全风险……

导读 本周开源云业内倒是出现一些比较有趣的消息。首先是Deepo项目在GitHub上的爆红。小编简单了解了一下该项目,用“强大”来形容并不为过,其不但能实现快速...

22150
来自专栏小白课代表

猎豹(金山),你可长点心吧。

还记得12年开始使用自己的第一个安卓手机的时候,课代表手机上就有了几个必不可少的APP,QQ、UC浏览器、猎豹清理大师、KingRoot,后来换了苹果手机,对安...

10310
来自专栏SDNLAB

SDN技术分享(十):GoogleFiber的宽带接入速率控制解决方案

本次分(zhuang)享(bi)呢,主要探讨一个新兴SP客户的案例。 G家,这是非传统的SP。我们一起来看一下G家的市场策略以及使用的关键技术. 内容比较多,我...

32370

扫码关注云+社区

领取腾讯云代金券