首页
学习
活动
专区
工具
TVP
发布

分析Ajax爬取B站python视频

阅读本文大概需要 6 分钟。

B 站真是个神奇的网站。找不到资料了,去 B 站逛一逛,保准有你满意的东西。

前几天写了个爬虫,用 path、re、BeautifulSoup 爬取的 B 站 python 视频,但是这个爬虫有有个缺陷,没能获取视频的图片信息,如果你去尝试你会发现它根本就不在返回的结果里面。今天就用分析 Ajax 的方法获取到。

分析页面

通常我们在分析页面的时候,都要切换到 Network 分析url 从中找到我们想要的 url 。但是找不到 url 你怎么分析?B 站就是这么神奇的存在,我们最后分析确定的 url 是这个:

打开 B 站,搜索 python ,打开开发者工具,切换到 Network 你可以去找找,还真是没有。

至于怎么找到的呢,我也是摸索了好长时间才发现

图片

点一下搜索,这个 url 才会出现,或者点一下下一页

详情

然后就构造这个请求就可以了。

需要注意的是最后一个参数不能添加。

代码实战

代码里面有些解释已经很清楚了,在这里再次复习一下

这个函数传入五个参数,前三个是必须传入的 pattern,、repl、 string

第一个是表示的是正则表达式中模式字符串

第二个是要被替换的字符串

第三个是文本字符串

剩下两个可选参数,一个是 count 一个是 flag 。

时间戳转换成标准格式的时间

第一种方法

第二种方法

综上就是这次的全部内容,多加练习继续加油!

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180822G1SP3U00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券