粉丝福利（附Python实现代码）爬虫简单分析代码

罗罗攀

发布于 2018-07-03 14:39:15

8183

发布于 2018-07-03 14:39:15

文章被收录于专栏：有趣的Python和你有趣的Python和你

简书粉丝已破1000粉，为感谢各位看官的支持，给各位看官送波小福利。在本文章下点赞并评论，会从评论中随机抽取5位看官，每人送10元红包一份，抽奖时间为8月6号晚7点~

虽然1000粉丝不多，但也是对这大半年学习的肯定，本人现在读研，也没有额外的经济收入，看官们不要嫌少，等以后工作了，会给看官们更多更好的福利~

随机抽奖当然是使用我们的python爬虫啦，以以前的一篇文章为例，进行了代码的编写。

爬虫简单分析

找包
获取total_page，这个是评论的页数
json获取用户名称，存入list中
set转换去重，随机取5位用户

代码

import requests
import json
import random

def get_user(url):
    html = requests.get(url)
    json_data = json.loads(html.text)
    comments = json_data['comments']
    for comment in comments:
        nickname = comment['user']['nickname']
        user_list.append(nickname)

if __name__ == '__main__':
    user_list = []
    url = 'http://www.jianshu.com/notes/9315244/comments?page=1'
    html = requests.get(url)
    json_data = json.loads(html.text)
    total_pages = json_data['total_pages']
    urls = ['http://www.jianshu.com/notes/9315244/comments?page={}'.format(str(i)) for i in range(1,int(total_pages)+1)]
    for url in urls:
        get_user(url)
    user_list = set(user_list)
    print(random.sample(user_list,5))