专栏首页早起Python十分钟学会reqests模块爬取数据——从爬取疫情数据说起

十分钟学会reqests模块爬取数据——从爬取疫情数据说起

在做疫情数据可视化的时候涉及到一些数据的爬取,一般python中爬取数据常用的就是requests和urllib,两者相比requests更加快速便捷。代码也更容易理解。

安装

pip install requests

pip install json

因为爬取下来的数据大多是json格式所以为了解析数据我们还会用到json模块

快速使用

为了更容易上手使用requests模块,本文略去各种介绍性文字,直接以实战代码来讲解。

直接使用API数据

OK,假如我们现在想对2020-nCov的疫情数据进行可视化分析,如果直接从丁香园或者百度疫情等平台获取数据的话就会设计到正则表达式等比较复杂的处理,所以最省事的就是看看能不能找到一些提供数据的接口,很幸运百度和腾讯都提供了数据接口百度APIi、腾讯API,我们以百度API为例,直接打开API地址发现是一个字典。

OK,是我们想要的数据,这时候只要两行代码就可以搞定

data = requests.get("https://service-nxxl1y2s-1252957949.gz.apigw.tencentcs.com/release/newpneumonia")
data = data.json()

看到爬下来的数据正是我们需要的。接下来只需要从字典里面一个一个取出所需要的数据就可以进行可视化分析。

data = data['data']['conf']['component'][0]['caseList']

这里用到的就是最基本的requests用法,直接向网站请求数据就是get,当然还有其他一大堆请求方式。

requests.post(url)
requests.put(url)
requests.delete(url)
requests.head(url)
requests.options(url)

get方式也可以发送带参数的请求,按照以下方式就可以传递参数:

url = 'http://httpbin.org/get'
data = {
    'name':'zhangsan',
    'age':'25'
}
response = requests.get(url,params=data)
print(response.url)
print(response.text)

response.text返回的是Unicode格式,通常需要转换为utf-8格式,否则就是乱码。response.content是二进制模式,可以下载视频之类的,如果想看的话需要decode成utf-8格式。不管是通过response.content.decode("utf-8)的方式还是通过response.encoding="utf-8"的方式都可以避免乱码的问题发生。

接下来说下header的事情,header就是头部信息,有些网站在你发送请求的时候就必须要求你带一个请求头,否则就会报错。

因此我们从github上找到一些别人做的比较简易但是数据满足我们需求的页面进行爬取。比如我们想爬知乎并且和上面一样直接请求

url = 'https://www.zhihu.com/'
response = requests.get(url)
response.encoding = "utf-8"
print(response.text)

就会发现报错400

<html>
<head><title>400 Bad Request</title></head>
<body bgcolor="white">
<center><h1>400 Bad Request</h1></center>
<hr><center>openresty</center>
</body>
</html>

意思是“无法找到该网页”HTTP 错误400表示请求出错,网站被删除或者被屏蔽了。由于语法格式有误,服务器无法理解此请求。所以要按照以下方式进行请求:

url = 'https://www.zhihu.com/'
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36'
}
response = requests.get(url,headers=headers)
print(response.text)

就可以成功把知乎首页数据爬下来了。如果想在请求的同时传一些数据就可以通过post把数据提交到url地址,等同于一字典的形式提交form表单里面的数据

url = 'http://httpbin.org/post'
data = {
    'name':'jack',
    'age':'23'
    }
response = requests.post(url,data=data)
print(response.text)

结果

{
  "args": {},
  "data": "",
  "files": {},
  "form": {
    "age": "23",
    "name": "jack"
  },
  "headers": {
    "Accept": "*/*",
    "Accept-Encoding": "gzip, deflate",
    "Content-Length": "16",
    "Content-Type": "application/x-www-form-urlencoded",
    "Host": "httpbin.org",
    "User-Agent": "python-requests/2.22.0",
    "X-Amzn-Trace-Id": "Root=1-5e3e9f1c-b6bdd9f63ad5a5f5bbce5f7b"
  },
  "json": null,
  "origin": "60.169.239.171",
  "url": "http://httpbin.org/post"
}

扯远了,回到爬取疫情数据上来,刚刚说的是在找到了API的情况下也就是找到了直接提供数据的网址,那如果有些消息找不到API呢,比如想爬取关于安徽省的新闻,这两个API都没有直接提供,然而https://yiqing.ahusmart.com/ 页面上就显示了有关安徽的新闻。

现在按下F12切换到network刷新一下页面,然后check一下里面的内容,发现几条信息的preview有点像新闻

再check一下里面的内容,刚好是我们要的安徽新闻。

这时候回到headers里面看看请求的网址

OK,就是这个,接下来按照刚刚的方法,向这个网址发送请求就可以把有关安徽的新闻拿下来了\

res = requests.get("https://yiqing.ahusmart.com/news/%E5%AE%89%E5%BE%BD%E7%9C%81")
data = res.json()

一般常用的网站用get方法或者post方法就可以搞定,那么复杂一点的以后再讲。

附一些状态码的说明:

100: ('continue',),
101: ('switching_protocols',),
102: ('processing',),
103: ('checkpoint',),
122: ('uri_too_long', 'request_uri_too_long'),
200: ('ok', 'okay', 'all_ok', 'all_okay', 'all_good', '\\o/', '✓'),
201: ('created',),
202: ('accepted',),
203: ('non_authoritative_info', 'non_authoritative_information'),
204: ('no_content',),
205: ('reset_content', 'reset'),
206: ('partial_content', 'partial'),
207: ('multi_status', 'multiple_status', 'multi_stati', 'multiple_stati'),
208: ('already_reported',),
226: ('im_used',),

# Redirection.
300: ('multiple_choices',),
301: ('moved_permanently', 'moved', '\\o-'),
302: ('found',),
303: ('see_other', 'other'),
304: ('not_modified',),
305: ('use_proxy',),
306: ('switch_proxy',),
307: ('temporary_redirect', 'temporary_moved', 'temporary'),
308: ('permanent_redirect',
      'resume_incomplete', 'resume',), # These 2 to be removed in 3.0

# Client Error.
400: ('bad_request', 'bad'),
401: ('unauthorized',),
402: ('payment_required', 'payment'),
403: ('forbidden',),
404: ('not_found', '-o-'),
405: ('method_not_allowed', 'not_allowed'),
406: ('not_acceptable',),
407: ('proxy_authentication_required', 'proxy_auth', 'proxy_authentication'),
408: ('request_timeout', 'timeout'),
409: ('conflict',),
410: ('gone',),
411: ('length_required',),
412: ('precondition_failed', 'precondition'),
413: ('request_entity_too_large',),
414: ('request_uri_too_large',),
415: ('unsupported_media_type', 'unsupported_media', 'media_type'),
416: ('requested_range_not_satisfiable', 'requested_range', 'range_not_satisfiable'),
417: ('expectation_failed',),
418: ('im_a_teapot', 'teapot', 'i_am_a_teapot'),
421: ('misdirected_request',),
422: ('unprocessable_entity', 'unprocessable'),
423: ('locked',),
424: ('failed_dependency', 'dependency'),
425: ('unordered_collection', 'unordered'),
426: ('upgrade_required', 'upgrade'),
428: ('precondition_required', 'precondition'),
429: ('too_many_requests', 'too_many'),
431: ('header_fields_too_large', 'fields_too_large'),
444: ('no_response', 'none'),
449: ('retry_with', 'retry'),
450: ('blocked_by_windows_parental_controls', 'parental_controls'),
451: ('unavailable_for_legal_reasons', 'legal_reasons'),
499: ('client_closed_request',),

# Server Error.
500: ('internal_server_error', 'server_error', '/o\\', '✗'),
501: ('not_implemented',),
502: ('bad_gateway',),
503: ('service_unavailable', 'unavailable'),
504: ('gateway_timeout',),
505: ('http_version_not_supported', 'http_version'),
506: ('variant_also_negotiates',),
507: ('insufficient_storage',),
509: ('bandwidth_limit_exceeded', 'bandwidth'),
510: ('not_extended',),
511: ('network_authentication_required', 'network_auth', 'network_authentication'),

本文分享自微信公众号 - 早起Python(zaoqi-python),作者:刘早起

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-02-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 用Python轻松爬取百度文库全格式文档

    考虑到现在大部分小伙伴使用 Python 主要因为爬虫,那么为了更好地帮助大家巩固爬虫知识,加深对爬虫的理解,选择了爬取百度文库作为我们的目标。废话不多说,我们...

    刘早起
  • NumPy进阶修炼|你真的了解NumPy吗

    大家好,上周发布的Pandas进阶修炼120题不知道各位做的怎么样,现在NumPy系列也闪亮登场!在上个系列一直让我很遗憾的就是对一些重要的函数没有进一步讲解(...

    刘早起
  • 怎样绘制漂亮的统计图表|第一期

    大家好,最近分享了一些关于数据分析可视化相关的内容,其实在数据分析过程中,基本就是数据采集与处理,再通过描述性分析来探索数据,最后建模预测,而在数据探索部分这一...

    刘早起
  • PHP代码审计笔记--XSS跨站脚本

    这边代码逻辑中,问题根源在于最后一句的url解码输出,导致存在三重url编码绕过的情况。

    Bypass
  • concurrent.futures进行

    Python中进行并发编程一般使用threading和multiprocessing模块,不过大部分的并发编程任务都是派生一系列线程,从队列中收集资源,然后用队...

    py3study
  • Docker构建程序员的日常

    抛开Docker那些强大的功能,今天我们来部署下本地的开发环境。并写上几个脚本来提高开发效率。

    CrazyCodes
  • Swift3.0带来的变化汇总系列一——字符串与基本运算符中的变化

          Apple与今年6月13日正式发布了Swift3.0的第一个预览版本,并且相应推出了Xcode8的第一个bate版本。开发者已经可以在Xcode8b...

    珲少
  • 今天我就说三句话

    腾讯NEXT学位
  • [译] Jquery中 .bind() .live() .delegate() 和 .on() 之间的区别

    我了解到很多网页开发者对jquery中的 .bind() .live() .delegate() 和 .on() 方法存在很多的疑惑。这些疑惑通常是关于它们之间...

    前端博客 : alili.tech
  • 第4课 如何在UBUNTU虚拟机上编译EOS完成环境搭建?

    【本文目标】 通过本文实践,能在WINDOWS操作系统搭建UBUNTU 18.04 LTS环境,并在此环境编译成功EOS v1.0.5正式发布版本。 【前置...

    辉哥

扫码关注云+社区

领取腾讯云代金券