前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >果壳问答爬取_demo

果壳问答爬取_demo

作者头像
zhengzongwei
发布2019-07-31 14:53:50
4400
发布2019-07-31 14:53:50
举报
文章被收录于专栏:Python | Blog

版权声明:Copyright © https://cloud.tencent.com/developer/article/1477120

代码语言:javascript
复制
#author: Zheng
#time: 2018/7/13 20:17

# 爬取果壳问答

import re
import requests
import json

temp_url = 'https://www.guokr.com/ask/highlight/?page={}'
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'}

for i in range(1,101):
    url = temp_url.format(str(i))

    resp = requests.get(url,headers)

    content = resp.content.decode()

    ret = re.findall(r'<h2><a target="_blank" href="(.*)">(.*)</a></h2>', content)
    info = dict()
    for i in ret:
        # print(i)
        info[i[0]] = i[1]

    # info_str = json.dumps(info)
    # print(info_str)
    with open('info.txt','a') as f:
        json.dump(info,f,ensure_ascii=False,indent=2)
        f.write('\n\n')

print('爬取完成...')
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2018年07月13日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档