有同学想用powerbi爬这个网址
https://flk.npc.gov.cn/fl.html
但是发现它跟其他网址不太一样,因为翻页的时候地址栏还是一样的地址。
遇到这种情况该怎么办呢?
今天教你一招来搞定,此方法适用于很多网站,并且也是一项网爬的基本技能。
https://flk.npc.gov.cn/api/?page=5&type=flfg&searchType=title;accurate&sortTr=f_bbrq_s;desc&gbrqStart=&gbrqEnd=&sxrqStart=&sxrqEnd=&sort=true&size=10&_=1651834715885
page=5代表第5页,size=10代表一页有10行内容,最后的那个& =之后内容是个时间戳,一般无所谓的,删掉即可,其他内容代表一些筛选项
所以链接可以简化为:
https://flk.npc.gov.cn/api/?page=5&type=flfg&searchType=title;accurate&sortTr=f_bbrq_s;desc&gbrqStart=&gbrqEnd=&sxrqStart=&sxrqEnd=&sort=true
返回了10条记录
并且我们在这里发现,该筛选一共有613条记录,每页10条,也就是62页:
我们可以将上方链接替换为62看看,果然这一页上只有2条记录:
将此参数替换掉链接中的那个数字5:
在刚刚得到的这个表上右键创建函数:
写入= {1..70}获取一个列表,并转换为表:
一共是62页数据,为了预备以后更新,设置为70页
每一列都生成了一个table:
ok!搞定!
你学会了,以后遇到这种翻页时地址不变的网页,就可以采用相同的办法解决!
本文分享自 PowerBI生命管理大师学谦 微信公众号,前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体同步曝光计划 ,欢迎热爱写作的你一起参与!