Python第一个项目：爬取个人简书主页文章信息

王小婷

发布于 2019-08-08 10:14:51

5550

发布于 2019-08-08 10:14:51

文章被收录于专栏：编程微刊编程微刊编程微刊

前面两篇安装完成了爬虫所需要的环境和工具，也踩了几个坑之后，今天开始写代码，开始写python第一个项目，把自己的简书简书主页文章信息爬取下来。

目标链接：https://www.jianshu.com/u/05f416aefbe1

1：新建一个test.py 文件写代码在项目上右键，点击New,选择Python File

2:给file取个名字，点击回车确定。系统会默认生成first.py 文件

3:在first.py 文件写上以下代码

import requests
from lxml import etree
import os
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36'}
for i in range(1,4):
    url_ = 'https://www.jianshu.com/u/05f416aefbe1?order_by=shared_at&page={}'.format(i)
    res = requests.get(url_,headers=headers)
    res = etree.HTML(res.content.decode())
    nodes = res.xpath('//ul[@class="note-list"]/li')
    for node in nodes:
        item = {}
        title = node.xpath('.//a[@class="title"]/text()')
        time = node.xpath('.//span[@class="time"]/@data-shared-at')[0]
        abstract = node.xpath('.//p[@class="abstract"]/text()')[0]
        img = node.xpath('.//img[@class="  img-blur-done"]')
        url = 'https://www.jianshu.com'+node.xpath('.//a/@href')[0]
        item['title'] = title
        item['time'] = time
        item['url'] = url
        item['abstract'] = title
        item['img'] = time
        print(item)

4：在文件上鼠标右键点击运行按钮。