首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

python爬虫抓取图灵机器人数据

微信号调用了图灵机器人api接口,数据需要登录图灵后台查看,有一天我看了下,忽然发现辣眼睛,简直被我同学玩坏了.............

登录图灵后台,发现数据导出需要加钱方能感动常在.......还是爬吧,观察请求,构造请求参数

请求返回数据json,有总记录数,分页数,关键是请求的时候 url参数如何构造 见下图 ,经过测试许多参数并不需要携带,具体可以看代码中请求的url参数

这样,大致的抓取方向就很清晰了.

构造url请求参数----带着cookie请求构造的url----接收返回的json数据,解析出总页数,迭代生成每一页的url请求---接收json数据---- 解析json数据--建数据表-入库

一.代码

二.数据

三.代码下载

https://github.com/chengcxy/Data_ETL/blob/master/tuling_api.py

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20171223G08K3X00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券