分享一个爬取网站的小技巧

你也许听说过，抓取手机 App 端数据就需要搭建手机抓包环境。那么我们就要屁颠屁颠去抓包搭建？哈哈，显然不用。我给大家分享一个小技巧，可以节省搭建环境的时间。

我们的抓取目标是 Web 手机端页面数据，而不是 App 端内的数据。因此，我们只要使用 PC 浏览器访问手机 Web 页面，就能继续使用 PC 浏览器进行抓包分析。

举个栗子，假如我要抓取淘宝首页的数据。我先用手机浏览器访问淘宝网站。

然后获取到手机端淘宝首页的 url 地址。

从图中，我们可知淘宝 web 手机端首页地址是：https://h5.m.taobao.com/。接着我们再用 PC 浏览器访问。

PC 端浏览器能正常访问，说明我们能使用浏览器自带的开发者工具来进行抓包分析。

日常学python

代码不止bug，还有美和乐趣