前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >肯德基爬取

肯德基爬取

作者头像
用户8447427
发布2022-08-18 16:08:41
4250
发布2022-08-18 16:08:41
举报
文章被收录于专栏:userlyz学习记录

今天晚上搞了一个作业,作业要求是爬取肯德基的餐厅查询: 代码如下:

代码语言:javascript
复制
# -*-coding=utf-8-*-
# 时间:2021/3/31;20:13
# 编写人:刘钰琢
import requests
import json
if __name__=='__main__':
    url='http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'
    keyword=input('请输入您要查找的地址')
    data={
        'cname':'',
        'pid':'',
        'keyword':keyword,
        'pageIndex':'1',
        'pageSize':'10'
    }
    headers={
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36 Edg/89.0.774.63'
    }
    response=requests.post(url=url,data=data,headers=headers)
    page_text=response.json()
    filename=keyword+'.json'
    fp=open(filename,'w',encoding='utf-8')
    json.dump(page_text,fp=fp,ensure_ascii=False)
    print('over!!!')

这次的过程也是十分的曲折,显示代码能使但是一直是乱码,在之后就是一直是报错,在看完下面评论之后也是找到了标准答案

经过对比我仍然感觉我的代码是是十分正确的

1.jpg
1.jpg

最后还是发现了问题就是在ua的时候 User-Agent我当时是是直接复制的所以一直也就没在关注这个事情

这个也是十分的粗心而造成的问题

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2021-03-31,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档