一步步教你利用Github开源项目实现网络爬虫:以抓取证券日报新闻为例

在学习编程的过程中,初学者(特别是想转行互联网的来自其它专业的初学者)往往因为缺乏实际项目的操作而陷入基础学习的环境中无法自拔,在学习Python的过程中,笔者最初也是一直停留在不断地print、列表、数组、各种数据结构的学习里,当然基础知识的学习很重要,但是没有项目的实际操作,往往无法得到提高并会心生厌倦,为了应对这个问题,接下来专栏将从Github开源项目选取一些比较有意思的项目,来为大家说明如何开展项目,如何安装环境,如何debug,如何找到解决问题的方法......

我们以抓取财经新闻的爬虫为例,默认centos系统、Python2.7环境,并且已经安装pyenv

项目作者: Hailong Zhang 项目地址: Scrapy Spider for 各种新闻网站 感谢作者开源

1. 首先准备项目开发环境

$cd /home/andy/.pyenv/ENV2.7.10 $ mkdir works $ cd works $ pyenv activate ENV2.7.10 $ sudo yum install gcc libffi-devel openssl-devel libxml2 libxslt-devel libxml2-devel python-devel -y $ sudo yum install python-setuptools

2. 依次安装pip、lxml、scrapy $ easy_install pip $ easy_install lxml $ pip install scrapy

3. 从github克隆项目 $ mkdir spiders $ git clone https://github.com/hailong0707/spider_news_all

4. 查看README.md项目文档 $ cd spider_news_all $ ls $ vim README.md

5. 安装环境及数据库存储连接用的MySQL-python模块 $ sudo yum install python-devel $ sudo yum install mysql-devel $ pip install MySQL-python $ pip install bs4

6. 创建新的与爬虫项目匹配的数据库和配置爬虫项目MySQLdb的连接账号密码 进入MySQL创建存储数据的数据库、表,记得刷新权限: mysql> create database news; mysql> grant all privileges on news.* to username@localhost identified by 'passwd'; mysql> flush privileges;

在db.sql的同级目录加载数据库表结构 $ mysql -u root -p $ source db.sql

配置与数据库对应的爬虫系统的MySQLdb的连接账号密码: $ vim pipelines.py $ vim zqrb.py

7. 安装screen,运行项目,以抓取证券日报新闻为例,命名screen名称zqrb $ sudo yum install screen $ screen -S zqrb $ scrapy crawl zqrb

8. Debug,直接运行会发现报错,debug完再运行 AttributeError: 'list' object has no attribute 'iteritems'

查看项目的github主页,在Issues里有人已经提出解决方案,修改setting.py ITEM_PIPELINES = { 'spider_news_all.pipelines.SpiderNewsAllPipeline': 300 }

修改之后再次运行,Great!Ctrl+A+D退出screen返回终端,让爬虫继续运行,Linux中可以利用crontab执行定时任务,比如可以设置每天晚上0点定时开启爬虫抓取。 $ scrapy crawl zqrb

原文发布于微信公众号 - Python中文社区(python-china)

原文发表时间:2016-10-08

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏栗霖积跬步之旅

java并发编程的艺术——第一章总结

并发编程的挑战 1.1上下文切换 1.1.1多线程一定快吗 1.1.2测试上下文切换次数和时长 1.1.3如何减少上下文切换 1.1.4减少上下文切换实战   ...

2216
来自专栏北京马哥教育

我所理解的性能测试是什么?

扯淡 首先说明这篇博客是文不对题的。起这个名字想法来源自韩寒的《我所理解的生活》,之前看过一个关于这本书的视频,感觉巨牛X,于是就想写一篇《我所理解的性能测试...

3989
来自专栏企鹅号快讯

千万千万不要运行的 Linux 命令

来源:Linux 中国 https://linux.cn/article-401-1.html 文中列出的命令绝对不可以运行,即使你觉得很好奇也不行,除非你是在...

3997
来自专栏西安-晁州

使用pd从数据库逆向生成pdm文件

1683
来自专栏aCloudDeveloper

Rolling Hash about the Rsync

      今天看文献看到一个有趣的算法—Rolling Hash,这个算法可以更新在不同的machine上的两个“similar”的文件,也叫做rsync a...

21310
来自专栏lestat's blog

油猴的简单使用

关于greasemonkey(油猴)的安装和一些实用脚本推荐 步骤 准备工作:确保你的电脑可以科学上网 以本人的chrome浏览器为例 1. 打开一个新标签页 ...

6508
来自专栏salesforce零基础学习

salesforce零基础学习(八十一)更改标准字段的label名称(Admin)

我们在开发中往往需要考虑国际化功能,salesforce 提供了国际化功能,在search部分搜索translate,便可以找到translate部分,从而对需...

2465
来自专栏IT技术精选文摘

聊聊C10K问题及解决方案

1 C10K问题 大家都知道互联网的基础就是网络通信,早期的互联网可以说是一个小群体的集合。互联网还不够普及,用户也不多。一台服务器同时在线100个用户估计在当...

6329
来自专栏JAVA高级架构

历经8年双11流量洗礼,淘宝开放平台如何攻克技术难关?

淘宝开放平台(open.taobao.com)是阿里系统与外部系统通讯的最重要平台,每天承载百亿级的API调用,百亿级的消息推送,十亿级的数据同步,经历了8年双...

2262
来自专栏JAVA高级架构

服务器应对大流量请求措施

硬件升级 硬件是基础,如果流量级别真的到大流量级别了,那么硬件基础肯定不能差。 负载均衡 根据某种负载策略把请求分发到集群中的每一台服务器上,让整个服务器群...

3677

扫码关注云+社区

领取腾讯云代金券