腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

小詹同学

专栏作者

539

文章

674952

阅读量

61

订阅数

告别加班：一个让你不再重复工作的技能

996 一直是互联网老生常谈的话题了，但抛开其他只谈工作本身，你有没有想过，下班晚、加班，有时候可能是因为自己工作比较低效？

小小詹同学

2021-05-20

6620

爬虫 | urllib入门+糗事百科实战

爬虫 python php 正则表达式

所谓爬虫（crawler），是指一只小虫子，在网络中爬行，见到有用的东西就会把它拿下来，是我们获取信息的一个重要途径。平常使用的浏览器，它的背后就是一个巨大的爬虫框架，输入我们想要查找的信息，帮我们爬取下来。今天就从较为简单的urllib爬虫开始介绍。

小小詹同学

2021-04-19

3470

轻松解决Python “字符编码”，玩儿爬虫的朋友最爱这个库！

爬虫编程算法

玩儿过爬虫的朋友应该知道，在爬取不同的网页时，返回结果会出现乱码的情况。比如，在爬取某个中文网页的时候，有的页面使用GBK/GB2312，有的使用UTF8，如果你需要去爬一些页面，知道网页编码很重要的。

小小詹同学

2021-04-19

5780

Python爬虫还在写重试代码？快快学习下优雅的tenacity库!

爬虫编程算法

在爬虫过程中，经常会由于一些网络或其他不可控因素，从而遇到一些功能性问题。比如在发送请求时，会因为网络不稳定，往往会有请求超时的问题。这种情况下，我们通常会在代码中加入重试的代码。重试的代码本身不难实现，但如何写得优雅、易用，是我们要考虑的问题。

小小詹同学

2021-01-22

6120

实战|Python轻松实现动态网页爬虫(附详细源码)

爬虫 selenium php https ajax

事情是这样的，前几天我公众号写了篇爬虫入门的实战文章，叫做《实战|手把手教你用Python爬虫(附详细源码)》。发出去不到一天，一名从业10年的王律师找到了我，我虽然同意了他的微信申请，但内心是按奈不住的慌张。

小小詹同学

2020-10-10

1.2K0

中国爬虫违法违规案例汇总！

爬虫 https github 大数据网络安全

最近在 GitHub 发现了一个爬虫库，这个库整理了所有中国大陆爬虫开发者涉诉与违规相关的新闻、资料与法律法规。

小小詹同学

2019-12-03

1.4K0

秋招季，用Python分析深圳程序员工资有多高？

爬虫 python 区块链图像识别

多图预警、多图预警、多图预警。秋招季，毕业也多，跳槽也多。我们的职业发展还是要顺应市场需求，那么各门编程语言在深圳的需求怎么呢？工资待遇怎么样呢？一起来用 Python 分析一下，当前深圳的求职市场怎么样？顺便帮一下秋招的同学。于是便爬取了某拉钩招聘数据。以下是本次爬虫的样本数据：

小小詹同学

2019-11-13

5500

[爬虫+数据分析] 分析北京Python开发的现状

python 爬虫 tcp/ip 数据分析 http

相信各位同学多多少少在拉钩上投过简历，今天突然想了解一下北京Python开发的薪资水平、招聘要求、福利待遇以及公司地理位置。既然要分析那必然是现有数据样本。本文通过爬虫和数据分析为大家展示一下北京Python开发的现状，希望能够在职业规划方面帮助到大家！！！

小小詹同学

2019-11-13

8620

一起看看这几个网站是如何反爬的。

爬虫网站 tcp/ip 网络安全 http

因为 Python 语法简介以及强大的第三方库，所以我们使用它来制作网络爬虫程序。网络爬虫的用途是进行数据采集，也就是将互联网中的数据采集过来。

小小詹同学

2019-11-13

2.6K0

分析了 7 万款 App，全是没想到

爬虫 php scrapy 微信网站

摘要：使用 Scrapy 爬取豌豆荚全网 70,000+ App，并进行探索性分析。

小小詹同学

2019-11-13

6340

我爬取了人人都是产品经理6574篇文章，发现产品竟然在看这些

爬虫编程算法数据分析

人人都是产品经理是以产品经理、运营为核心的学习、交流、分享平台，集媒体、培训、招聘、社群为一体，全方位服务产品人和运营人，成立8年举办在线讲座500+期，线下分享会300+场，产品经理大会、运营大会20+场，覆盖北上广深杭成都等15个城市，在行业有较高的影响力和知名度。平台聚集了众多BAT美团京东滴滴360小米网易等知名互联网公司产品总监和运营总监。选取这个社区更有代表性。

小小詹同学

2019-11-13

4260

爬一爬那些年你硬盘存过的老师

python 爬虫 github

最近在Github发现一个基于google浏览器的爬虫项目，此项目是由美国大神2018年开源的。这个开源项目不需要使用者再去手写核心爬虫，只需要下载安装，然后传入一些配置参数即可。重要的能做到google图片的无限量爬取，只有不想爬的图片，没有爬不到的。下来就介绍一下这个牛逼的开源项目。

小小詹同学

2019-11-12

4890

爬取某东600多本书籍，用数据帮你分析哪些Python书籍值得选择(上)

php python 爬虫安全

最近有好几个读者私下问我：刚接触Python、或打算要学习Python，不知道选什么书比较合适，当时只根据自己的Python经验和学习感受，给读者推荐了一些自认为不错的。但是，毕竟一个人接触少，局限性太大，也许还有更多、更好的好书只是我没有接触过。于是就打算实际操作，通过爬虫方式爬取某东上的书籍、通过数据来帮助大家更科学、更合理的选择学习资料。

小小詹同学

2019-11-12

5030

爬虫利器初体验——Scrapy

爬虫 scrapy 数据库 sql 编程算法

为什么要学 scrapy 呢？看下图中的招聘要求，就清楚了。很多招聘要求都有 scrapy，主要是因为 scrapy 确实很强。那到底强在哪里呢？请在文中找答案。

小小詹同学

2019-11-12

4020

爬虫断了？

爬虫 mongodb 数据库 sql 云数据库 MongoDB

摘要：使用 update_one() 而不是 insert_one() 方法存储数据。

小小詹同学

2019-11-12

5720

不知道给女朋友买什么？让爬虫告诉你！

php 文件存储 http 中文分词爬虫

你是否曾经遇到过要给女朋友、父母、好朋友送礼物却不知道买什么的情况？小编作为一个直男，每次都在给朋友选礼物的事情上费劲脑筋，实在是不知道买什么东西好。但事情总是要解决，小编萌生了一个想法，在某购物网站搜索关键字，然后将搜索结果进行词频分析，这样不就知道有什么东西是大家买的比较多的了么？说干咱就干。

小小詹同学

2019-11-12

4620

100 行 python 代码告诉你国庆哪些景点爆满

爬虫 https 网络安全数据库 sql

举国欢庆的国庆节马上就要到来了，你想好去哪里看人山人海了吗？还是窝在家里充电学习呢？说起国庆，塞车与爆满这两个词必不可少，去年国庆我在想要是我能提前知道哪些景点爆满就好了，就不用去凑热闹了。于是我开始折腾，想用 python 抓取有关出行方面的数据，便有了这篇文章。如果我的文章对你有帮助，欢迎关注、点赞、转发，这样我会更有动力做原创分享。

小小詹同学

2019-11-12

4330

爬取数据不保存，就是耍流氓！

爬虫 json 数据库云数据库 SQL Server sql

OK，通过前面两篇文章《爬虫利器初体验（1）》《听说你的爬虫又被封了？（2）》，我们初体验也过了，爬虫代码健壮性也升级为 PLUS 了。都分析到这个地步了，是不是感觉还少了点什么？对，我们还没保存数据呀？不保存，这不是瞎忙活吗？

小小詹同学

2019-11-12

5620

scrapy 也能爬取妹子图 ?

爬虫 http scrapy php

我们在抓取数据的过程中，除了要抓取文本数据之外，当然也会有抓取图片的需求。那我们的 scrapy 能爬取图片吗？答案是，当然的。说来惭愧，我也是上个月才知道，在 zone7 粉丝群中，有群友问 scrapy 怎么爬取图片数据？后来搜索了一下才知道。现在总结一下分享出来。

小小詹同学

2019-11-12

5570

scrapy遇上ajax，抓取QQ音乐周杰伦专辑与歌词

小程序微信 javascript 爬虫网站

zone同学最近在上线小程序好久没写文章了，他说早就手痒痒了，所以挤出时间写了这篇，这是下面这五篇文章的连载文章：

小小詹同学

2019-11-12

5950

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态