python学习指南-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

python学习指南

专栏成员

54

文章

69704

阅读量

40

订阅数

python爬虫(一)_爬虫原理和数据抓取

本篇将开始介绍Python原理，更多内容请参考：Python学习指南为什么要做爬虫著名的革命家、思想家、政治家、战略家、社会改革的主要领导人物马云曾经在2015年提到由IT转到DT，何谓DT，DT即数据技术，由数据在推倒人们的衣食住行，当今时代是一个大数据时代，数据从何而来？企业产生的用户数据：百度指数、阿里指数、TBI腾讯浏览指数、新浪微博指数数据平台购买数据：数据堂、国云数据市场、贵阳大数据交易所政府机构公开的数据：中华人民共和国国家统计局数据、世界银行公开数据、联合国数据、纳斯达克

2018-01-17

3K0

python爬虫(七)_urllib2：urlerror和httperror

爬虫 python 数据库

urllib2的异常错误处理在我们用urlopen或opener.open方法发出一个请求时，如果urlopen或opener.open不能处理这个response，就产生错误。这里主要说的是URLError和HTTPError,以及对它们的错误处理。 URLError URLError产生的原因主要有：没有网络连接服务器链接失败找不到指定的服务器我们可以用try except语句来补货相应的异常。下面的例子里我们访问了一个不存在的域名。 #urllib2_urlerror.py impor

2018-01-17

2.3K0

python爬虫(五)_urllib2:Get请求和Post请求

https 爬虫 python

本篇将介绍urllib2的Get和Post方法，更多内容请参考:python学习指南 urllib2默认只支持HTTP/HTTPS的GET和POST方法 urllib.urlencode() urllib和urllib2都是接受URL请求的相关参数，但是提供了不同的功能。两个最显著的不同如下： urllib仅可以接受URL，不能创建设置了headers的Request类实例；但是urllib提供了urlencode方法用来GET查询字符串的产生，而urllib2则没有。(这是urllib和url

2018-01-17

2.4K0

python爬虫(四)_urllib2库的基本使用

本篇我们将开始学习如何进行网页抓取，更多内容请参考:python学习指南 urllib2库的基本使用所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。在Python中有很多库可以用来抓取网页，我们先学习urllib2。 urllib2是Python2.x自带的模块(不需要下载，导入即可使用) urllib2官网文档：https://docs.python.org/2/library/urllib2.html urllib2源码 urllib2在python3.x

2018-01-17

9750

Python爬虫(十)_正则表达式

本篇将介绍python正则表达式，更多内容请参考：【python正则表达式】什么是正则表达式正则表达式，又称规则表达式，通常被用来检索、替换那些符合某个模式（规则）的文本。正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一些过滤逻辑。给定一个正则表达式和另一个字符串，我们可以达到如下的目的：给定的字符串是否符合正则表达式的过滤逻辑(“匹配”) 通过正则表达式，从文本字符串中获取到我们

2018-01-17

1K0

Python爬虫(九)_非结构化数据与结构化数据

爬虫的一个重要步骤就是页面解析与数据提取。更多内容请参考：Python学习指南页面解析与数据提取实际上爬虫一共就四个主要步骤：定（要知道你准备在哪个范围或者网站去搜索）爬（将所有的网站的内容全部爬下来）取（分析数据，去掉对我们没用处的数据）存（按照我们想要的方式存储和使用）表（可以根据数据的类型通过一些图标展示）以前学的就是如何从网站去爬数据，而爬下来的数据却没做分析，现在，就开始对数据做一些分析。数据，可分为非结构化数据和结构化数据非结构化数据：先有数据，再有结构结

2018-01-17

1.8K0

Python爬虫(十二)_XPath与lxml类库

Python学习指南有同学说，我正则用的不好，处理HTML文档很累，有没有其他的方法？有！那就是XPath,我们可以用先将HTML文档转换成XML文档，然后用XPath查找HTML节点或元素。什么是XML XML指可扩展标记语言(Extensible Markup Language) XML是一种标记语言，很类似HTML XML的设计宗旨是传输数据，而非显示数据。 XML的标签需要我们自行定义。 XML被设计为具有自我描述性。 XML是W3C的推荐标准。 W3School官

2018-01-17

2K0

Python爬虫(十一)_案例：使用正则表达式的爬虫

本章将结合先前所学的爬虫和正则表达式知识，做一个简单的爬虫案例，更多内容请参考:Python学习指南现在拥有了正则表达式这把神兵利器，我们就可以进行对爬取到的全部网页源代码进行筛选了。下面我们一起尝试一下爬取内涵段子网站： http://www.neihan8.com/article/list_5_1.html 打开之后，不难看出里面一个一个非常有内涵的段子，当你进行翻页的时候，注意url地址的变化：第一页url: http: //www.neihan8.com/article/list_5_

2018-01-17

8630

Python爬虫(十六)_JSON模块与JsonPath

本篇将介绍使用，更多内容请参考：Python学习指南数据提取之JSON与JsonPATH JSON(JavaScript Object Notation)是一种轻量级的数据交换格式，它是的人们很容易的进行阅读和编写。同时也方便了机器进行解析和生成。适用于进行数据交互的场景，比如网站前台与后台之间的数据交互。 JSON和XML的比较可谓不相上下。 Python2.7中自带了JSON模块，直接import json就可以使用了。官方博客：http://docs.python.org/library/

2018-01-17

2.3K0

Python爬虫(十五)_案例：使用bs4的爬虫

本章将从Python案例讲起：所使用bs4做一个简单的爬虫案例，更多内容请参考:Python学习指南案例：使用BeautifulSoup的爬虫我们已腾讯社招页面来做演示：http://hr.t

2018-01-17

1K0

Python爬虫(十四)_BeautifulSoup4 解析器

CSS选择器：BeautifulSoup4 和lxml一样，Beautiful Soup也是一个HTML/XML的解析器，主要的功能也是如何解析和提取HTML/XML数据。 lxml只会局部遍历，而Beautiful Soup是基于HTML DOM的，会载入整个文档，解析整个DOM树，因此时间和内存开销都会大很多，所以性能要低于lxml。 BeautifulSoup用来解析HTML比较简单，API非常人性化，支持CSS选择器、Python标准库中的HTML解析器，也支持lxml的XML解析器。 Bea

2018-01-17

8020

Python爬虫(十三)_案例：使用XPath的爬虫

本篇是使用XPath的案例，更多内容请参考:Python学习指南案例：使用XPath的爬虫现在我们用XPath来做一个简单的爬虫，我们尝试爬取某个贴吧里的所有帖子且将该帖子里每个楼层发布的图片下载到本地。 #-*- coding:utf-8 -*- #tieba_xpath.py """ 作用：本案例使用XPath做一个简单的爬虫，我们尝试爬去某个贴吧的所有帖子 """ import os import urllib2 import urllib from lxml import et

2018-01-17

9780

Python爬虫(二十一)_Selenium与PhantomJS

本章将介绍使用Selenium和PhantomJS两种工具用来加载动态数据，更多内容请参考：Python学习指南 Selenium Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，最初是为网站自动化测试而开发的，类型像我们玩游戏用的按键精灵，可以按指定的命令自动化操作，不同是Selenium可以直接运行在浏览器上，它支持所有主流的浏览器(包括PhantomJS这些无界面的浏览器)。 Selenium可以根据我们的指令，让浏览器自动加载页面，获取需要的页面，甚至页面截屏，或

2018-01-17

2.6K0

Python爬虫(二十)_动态爬取影评信息

本案例介绍从JavaScript中采集加载的数据。更多内容请参考:Python学习指南 #-*- coding:utf-8 -*- import requests import re import time import json #数据下载器 class HtmlDownloader(object): def download(self, url, params=None): if url is None: return None

2018-01-17

9790

Python爬虫(十九)_动态HTML介绍

JavaScript JavaScript是网络上最常用也是支持者对多的客户端脚本语言。它可以收集用户的跟踪数据，不需要重载页面直接提交表单，在页面嵌入多媒体文件，甚至运行网页游戏。我们可以在网页

2018-01-17

1.5K0

Python爬虫(十八)_多线程糗事百科案例

多线程糗事百科案例案例要求参考上一个糗事百科单进程案例:https://cloud.tencent.com/developer/article/1021994 Queue(队列对象) Queue是python中的标准库，可以直接import Queue引用；队列时线程间最常用的交互数据的形式。 python下多线程的思考对于资源，加锁是个重要的环节。因为python原生的list,dict等，都是not thread safe的。而Queue,是线程安全的，因此在满足使用条件下，建议使用队列初始化：

2018-01-17

8260

Python爬虫(十七)_糗事百科案例

糗事百科实例爬取糗事百科段子，假设页面的URL是: http://www.qiushibaike.com/8hr/page/1 要求：使用requests获取页面信息，用XPath/re做数据提取获取每个帖子里的用户头像连接、用户姓名、段子内容、点赞次数和评论次数保存到json文件内参考代码 #-*- coding:utf-8 -*- import requests from lxml import etree page = 1 url = 'http://www.qiushibaike.co

2018-01-17

6200

Python爬虫Scrapy(二)_入门案例

本章将从案例开始介绍python scrapy框架，更多内容请参考:python学习指南入门案例学习目标创建一个Scrapy项目定义提取的结构化数据(Item) 编写爬取网站的Spider并提取出结构化数据(Item) 编写Item Pipelines来存储提取到的Item(即结构化数据) 一、新建项目(scrapy startproject) 在开始爬取之前，必须创建一个新的Scrapy项目。进入自定义的项目目录中，运行下列命令： scrapy startproject cnblogSp

2018-01-17

8830

Python爬虫(二十四)_selenium案例：执行javascript脚本

本章叫介绍如何使用selenium在浏览器中使用js脚本，更多内容请参考：Python学习指南隐藏百度图片 #-*- coding:utf-8 -*- #本篇将模拟执行javascript语句 from selenium import webdriver from selenium.webdriver.common.keys import Keys driver = webdriver.Chrome() driver.get('https://www.baidu.com/') #给搜索输入框标

2018-01-17

1.2K0

Python爬虫(二十三)_selenium案例：动态模拟页面点击

本篇主要介绍使用selenium模拟点击下一页，更多内容请参考:Python学习指南 #-*- coding:utf-8 -*- import unittest from selenium import webdriver from selenium.webdriver.common.keys import Keys from bs4 import BeautifulSoup import time class douyuSelenium(unittest.TestCase): #初始化方

2018-01-17

1.1K0

点击加载更多

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态