Python爬虫学习，记一次抓包获取js，从js函数中取数据的过程
原创
昨天有小伙伴找我，新浪新闻的国内新闻页，其他部分都是静态网页可以抓到，但是在左下方的最新新闻部分，不是静态网页，也没有json数据，让我帮忙抓一下。大概看了下，是js加载的，而且数据在js函数中，很有意思，就分享出来给大家一起看看！
抓取目标
今天我们的目标是上图红框部分，首先我们确定这部分内容不在网页源代码中，属于js加载的部分，点击翻页后也没有json数据传输！
但是发现有个js的请求，点击请求，是一行js函数代码，我们将其复制到json的视图查看器中，然后格式化一下，看看结果
发现里面有可能存在我们需要的内容，比如url、title、intro这3个参数，猜测就是对应的新闻URL、标题、简介
只是其内容，需要在进行处理一下，我们写到代码中看看
开始写代码
先导入库，因为最终需要从字符串中截取部分，所以用requests库获取请求，正则re匹配内容即可。然后我们先匹配出上述3项
可以看到，url中存在\\，标题和简介是以"\u7684\u5317\u4e0a"的形式存在，这些就是我们需要处理的下一步了！
先用replace函数提出url中\\，即可得到url，后面的"\u7684\u5317\u4e0a"则是unicode编码，可以直接解码得到内容，直接写代码了
解码用了eval函数，内容为u'unicode编码内容'的形式即可解码！
这样，就取出了本页的所有新闻和URL的相关内容，在外层加上循环，即可抓取所有的新闻页，任务完成！
后记
新浪新闻的页面js函数比较简单，可以直接抓到数据，如果是比较复杂的函数的话，就需要深入理解前端知识了，这也是为什么学爬虫，需要学习前端知识的原因！
ps：上文所用的json查看器是第三方的网站，直接百度即可找到很多，当然也可以直接将上述抓包的内容修改，然后用json读取数据也是可以的！
基本代码没有多少，如果有看不清楚的小伙伴，可以私信我获取代码或者一起研究爬虫哦！
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
腾讯云开发者
