技术| Python中的从零开始系列连载（三十九）

导读

为了解答大家学习Python时遇到各种常见问题，小灯塔特地整理了一系列从零开始的入门到熟练的系列连载，每周五准时推出，欢迎大家学积极学习转载~

以前一直不知道如何爬取动态内容，知道看了@Lerther 的文章，才知道。下面拿九派新闻来试试。 原文https://zhuanlan.zhihu.com/p/24838761

1.寻找URL

进入九派新闻内容页http://jphao.jiupaicn.com/index.php?m=content&c=jiupaihao&a=index，“F12”——“Network”——“F5”，勾选“XHR”，发现多个文件。

经过一个一个寻找，在Preview中先测试，发现就是内容页的新闻，打开Headers，寻找我们要的URL，GET请求。

2.爬取内容

先上代码

import requests
import json


url = 'http://appjph.jiupaicn.com/app/content/recommend_pc/list?deviceId=888&type=1&page=1&pageSize=15&_=1485163767294'
webdata = requests.get(url).text

data = json.loads(webdata)
news = data['resultData']

for n in news:
	title = n['title']
	name = n['memberName']
	News_url = 'http://jphao.jiupaicn.com/index.php?m=content&c=jiupaihao&a=article&' + '&id=' + n['id'] + '&memberId=' + n['memberId']
	print(title,name,News_url)

、

OK，大功告成，和头条不一样的是，九派新闻URL有所改变，是id + numberId 组成，只需要在最后修改下就可以了，但是只能爬取十多条。慢慢学，慢慢来吧。

至于为什么要爬取九派，哼哼，，，

好啦，这期的分享先到这里，大家可以按照上面的详细步骤进行练习。加油，我们下周五不见不散~

文章来源：Python爱好者社区

文章编辑：思加