腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

CDA数据分析师

专栏作者

1603

文章

1873986

阅读量

174

订阅数

知己知彼，案例对比 Requests、Selenium、Scrapy 爬虫库！

http 爬虫 scrapy selenium python

经常有读者会问爬虫学哪个库？其实常用的 Python 爬虫库无非是requests，selenium和scrapy，且每个库都有他们的特点，对于我来说没有最推荐的库只有最合适库，本文就将基于一个简单的爬虫案例（Python爬取起点中文网）来对比分析（从时间角度）三个库

CDA数据分析师

2021-08-05

1.2K0

从原理到实战，一份详实的 Scrapy 爬虫教程

python scrapy xslt & xpath 爬虫

本文将从原理到实战带领大家入门另一个强大的框架 Scrapy。如果对Scrapy感兴趣的话，不妨跟随本文动手做一遍！

CDA数据分析师

2021-08-05

7.6K0

从数据小白到职场大咖，所需要的好书我都替你选好了！

python 爬虫数据挖掘数据可视化

通过Google用户搜索频率来统计排名的PYPL排行榜显示，Python份额高达29.88％，稳居第一，并且猛增4.1%，同时成为增长势头最好的语言。

CDA数据分析师

2020-06-29

5370

Python数据采集与可视化

python 云直播 jupyter notebook 爬虫

通过学习，你将能够掌握基于Python语言和工具库如何完成一个简要的数据分析任务，轻松做出交互式动态数据分析内容，用数据分析评价数据。

CDA数据分析师

2020-06-19

9020

Python 分析国庆热门旅游景点，告诉你哪些地方好玩、便宜、人又少！

数据分析 json 爬虫编程算法

使用Python分析出国庆哪些旅游景点：好玩、便宜、人还少的地方，不然拍照都要抢着拍！

CDA数据分析师

2019-10-08

8290

Python数据分析告诉你为何北京的二手房你都买不起！

数据库 sql 爬虫

身为北漂一族，相信很多人也面临或者经历过工作，定居租房买房之类的。每个北漂心里一直想买一套自己的房子，而北京的房价却让人让望而却步。

CDA数据分析师

2019-09-19

5330

如何向妈妈解释什么是爬虫

前段时间我妈突然问我：儿子，爬虫是什么？我当时既惊讶又尴尬，惊讶的是为什么我妈会对爬虫好奇？尴尬的是我该怎么给她解释呢？

CDA数据分析师

2019-07-11

6380

完美假期第一步：用Python寻找最便宜的航班！

xslt & xpath 爬虫机器人 python

这个简单的问题经常会得到一个积极的回复甚至还会额外收到一个或两个冒险的故事。通常来讲，旅行是一种体验新文化和拓宽自己视野的好方法。

CDA数据分析师

2019-06-18

2.2K0

纽约蹭饭手册：怎样利用Python和自动化脚本在纽约吃霸王餐？

分类算法编程算法访问管理自动化爬虫

在家做饭不下馆子可以减少开支已经是公开的秘密。但作为一名美食天堂的国民，不下馆子几乎是不可能的。

CDA数据分析师

2019-06-11

1.3K0

10个爬虫工程师必备的工具了解一下

爬虫命令行工具 json javascript

工欲善其事必先利其器的道理相信大家都懂。而作为经常要和各大网站做拉锯战的爬虫工程师们，则更需要利用利用好身边的一切法器，以便更快的攻破对方防线。今天我就以日常爬虫流程，给大家介绍十款工具，相信大家掌握之后，必定能够在工作效率上，提升一个量级

CDA数据分析师

2019-05-29

4550

一万多条拼车数据，看春运的迁徙图

mongodb 云数据库 MongoDB 爬虫数据库 sql

这篇文章，作者对北京、上海、广州、深圳、杭州等地 1万多条出行数据进行分析，得出了一些有意思的结论，并且绘制了这几个城市春运的迁移图。虽然数据在取样公平性上不能完全符合标准，但是思路还是值得大家学习参考的~

CDA数据分析师

2019-05-13

5660

爬取183条地铁线路，3034个地铁站，发现中国地铁名字的秘密...

于是乎也想着自己去获取数据，然后进行分析一番。当然分析水平不可能和他们的相比，毕竟文笔摆在那里，也就那点水平。大家看着乐呵就好，能提高的估摸着也就只有数据的准确性啦。

CDA数据分析师

2019-05-09

1.3K0

Python 爬取40万条《都挺好》弹幕数据，发现弹幕比剧还精彩？

火到什么程度？微博热搜霸榜，办公室评弹声四起，大强轻松攻占表情包，甚至连 N 年不追剧的“瘦宅”们也开始沉迷其中，大呼真香。

CDA数据分析师

2019-05-09

5540

想入门数据分析，现在转行还来得及吗?

数据分析大数据 sql 数据库爬虫

2014年，“大数据” 成为国内年度热词，并首次出现在当年的《政府工作报告中》。同年，数据分析也同样成为朝阳行业，数据分析一度霸屏各招聘网站。

CDA数据分析师

2018-10-25

6560

我是如何通过Web爬虫找工作的

爬虫数据分析二叉树 python api

当时我刚从大学毕业，需要找一份工作。那时我不太喜欢社交，因此我决定以我所知道的最佳方法来找工作，即开发一个应用程序，这篇文章就介绍了我是如何做到的。

CDA数据分析师

2018-10-25

9210

精选26个Python实用技巧，想秀技能先Get这份技术列表！

python http 爬虫数据库

【导读】Python 虽然是脚本语言，但是因为其易学，迅速成为科学家的工具，从而积累了大量的工具库、架构，人工智能涉及大量的数据科学，用 Python 是很自然的事。磨刀不误砍柴工，要入门人工智能领域，就必须掌握 Python。让我们来看看 Peter Gleeson 整理的 26 个 Python 有用的技巧。

CDA数据分析师

2018-09-17

7100

Python 爬取北京二手房数据，分析北漂族买得起房吗？ | 附完整源码

python 线性回归爬虫 xml windows

本文主要分为两部分：Python爬取赶集网北京二手房数据，R对爬取的二手房房价做线性回归分析，适合刚刚接触Python&R的同学们学习参考。

CDA数据分析师

2018-09-17

6760

数据解读丨哪些人对种草神器「小红书」爱不释手

数据分析微信爬虫 http

小红书已成为中国发展最快的社交媒体之一。与微信和微博不同，小红书专注于美容和时尚领域。其实小红书的早期阶段内容比较多样，主要围绕各种生活方式。

CDA数据分析师

2018-09-17

9510

用Python爬虫获取自己感兴趣的博客文章

作者 CDA数据分析师在CSDN上有很多精彩的技术博客文章，我们可以把它爬取下来，保存在本地磁盘，可以很方便以后阅读和学习，现在我们就用python编写一段爬虫代码，来实现这个目的。我们想要做的事情：自动读取博客文章，记录标题，把心仪的文章保存到个人电脑硬盘里供以后学习参考。过程大体分为以下几步： 1. 找到爬取的目标网址； 2. 分析网页，找到自已想要保存的信息，这里我们主要保存是博客的文章内容； 3. 清洗整理爬取下来的信息，保存在本地磁盘。打开csdn的网页，作为一个示例，我们随机打开一

CDA数据分析师

2018-04-19

7630

对自己的上网搜索记录进行爬虫是怎样一种体验

爬虫数据分析数据挖掘

原作者 Walker Harrison 编译 CDA 编译团队本文为 CDA 数据分析师原创翻译作品，转载需授权前言国外习惯用 Google 进行搜索，可以毫不夸张的说 Google 已经彻底地融入了日常生活。如今人们一有什么问题都习惯谷歌一下，敲敲键盘，你就能找到想要的答案。与此同时，你的 Google 搜索记录也反映了某段时间你的心态，好奇心，追求甚至是担忧。如果你已注册了 Google 帐户（通常是 Gmail ），根据你对隐私项的设置， Google 能够记录并提供你的搜索历史。下面我将告

CDA数据分析师

2018-02-26

1.2K0

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态