前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >爬虫正传-江湖路远-0101-刀未佩妥,出门已是江湖

爬虫正传-江湖路远-0101-刀未佩妥,出门已是江湖

作者头像
大牧莫邪
发布2018-08-27 16:51:05
3240
发布2018-08-27 16:51:05
举报

1.1. 刀未佩妥,出门已是江湖——第一个爬虫程序

创建自己的爬虫工作目录,我个人工作目录位置:

/home/damu/work_spider/spider_01/

创建第一个爬虫程序:demo01_hw.py

目标:采集新浪网首页数据

资源:url地址(http://www.sina.com.cn)

程序开发:编辑demo01_hw.py

代码语言:javascript
复制
# coding:utf-8

# 引入爬虫模块
import urllib2

# 访问服务器,获取服务器返回的响应数据
response = urllib2.urlopen(‘http://www.sina.com.cn’)

# 控制台打印展示数据
print(response.read())

运行程序:python demo01.py,控制台可以看到采集到的数据

采集的数据

小结:urllib2是Python2版本中专门用于进行网络数据请求访问的一个基础模块,包含了最基本的操作网络数据的各种类型和函数,如上述程序中访问新浪网并获取响应数据的函数urlopen就是一个非常核心重要的操作函数!

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2018.05.12 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1.1. 刀未佩妥,出门已是江湖——第一个爬虫程序
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档