做爬虫会有前途吗?

阅读文本大概需要 5 分钟。

这几年随着人工智能领域的大火,Python 这门语言逐渐出现在主流视野中。Python 语法易懂,编写简洁,并且还拥有非常丰富的库,很多人工智能项目首选的语言就是用 Python,可以说是人工智能把 Python 带火起来。

而我从毕业来到上海工作至今已有半年的时间,做的工作是爬虫。

这半年可以说是自己人生中最重要的一个转折点,因为我现在已经有能力在上海站稳脚跟,不说大富大贵,但就我个人而言至少可以衣食无忧,甚至每个月还可以出去跟朋友喝喝小酒。

但要知道半年前我公众号还是几十位读者数,而我也不知道毕业之后我会发展成什么样。这一切的变化都要感谢自己曾经的选择「入行爬虫」。

一 认清自己的实力

人最怕的就是盲目自大,明明自己没有这个实力,偏偏就爱跟别人BB。我在大学期间可以说是一个十足的学渣,大学四年一共挂了 13 门课,每个假期都是宿舍最早到那个,因为每学期都要回来补考。虽然我本科的专业是计算机,但我的技术却非常的菜。大四上的时候我花了一周的时间,认真思考自己的技术水平。我知道只有全面认清自己的实力,我才有可能突出重围。

那时候 IT 行业最热的方向是安卓开发,但市场已经开始饱和,对于初级安卓开发人员非常不友好,而与之相反的就是 Python 开发,有了要崛起的迹象。在认识到自己技术实力之后,我很清楚的意识到如果我选择安卓开发,我一定拼不过别人。但如果我选择还有些冷门的 Python 行业,我是有一定几率进入到互联网行业,入行了我才有可能有更好的出路。

而 Python 领域最容易入门的方向就是爬虫,为什么是爬虫?

一 市场需求旺盛,现在是大数据时代,除了一些大公司有能力自己产生数据,其他的大部分公司都是靠爬虫来获取数据。二是爬虫的技术栈非常少,只要你稍微有点编程基础,认真学最多 4 个月的时间,你就能把主流的爬虫技术都学完。需求大,又易学,这就让我这样不学无术的学渣抓住了救命草,爬虫就是我北上广扎根的入场券。

二 爬虫只会越来越难做

我的公众号有很多读者还是大学生,时常会在后台或者微信上收到这样类似的消息「海哥你好,我是大三(四)的学生,想问问现在爬虫行业怎么样?我应该选择爬虫做为未来的发展吗?」

说实话爬虫这个行业只会越来越难做,并且门槛会越来越高。因为现在反爬的技术只会越来越强,别人都是一个团队在弄反爬并且掌握主动权,随时随地就可以改变反爬策略。甚至在如今人工智能时代,已经有很多网站开始收集你各方面的行为,通过机器学习训练模型,来判别这个请求是机器还是人。而你却是单兵作战,只要对方网站改版你的爬虫就 GG。

如果你是大三学生,我都会建议不要选择爬虫这个行业,Python 领域最火也是最有前景的方向就是人工智能。如果你学历不错,并且还有一定的自学能力,我强烈建议你就 all in AI。但如果你学历一般,对 Python 没那么感兴趣,大可选择做 Java 后台,选 js 做前端。

那如果你现在和我一样身处爬虫行业,那未来的出路又在哪里?一是成为那国内 100 人之一,做顶级的反反爬高手。二是转数据分析,爬虫最终目的就是提供数据,那数据分析的基础就是数据,所以数据分析天然成为爬虫进阶方向之一。这也是我接下来追求的目标。

但不论未来我会做出什么样的决定,是爬虫成就了今天的痴海,即使我未来不在做爬虫,但我对爬虫的热爱一定不会消失。现在我们回到标题「做爬虫有前途吗?」,每个人都会有不同的答案。我的回答是:非常有前途。因为它让我入行了互联网,让我的未来有无限的可能。不管做哪行,最重要的还是持续的学习能力,能持续做出最适合自己的判断。

人们常说「选择大于努力」,这句话对我受益匪浅,我自身就是因为几次正确的选择,让我各方面的能力和认知有了非常大的进步。但面对现实的情况,我们应该如何做出选择?选择的依据又是什么?这里面就又有非常多的学问,下期的文章我就从一些科学角度帮大家做出更好的选择。

置顶痴海

与 3W 人

一起向上生长

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20181219A09SDJ00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券