前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >提供一个网站的相关截图,麻烦提供一个思路如何爬取网站相关数据

提供一个网站的相关截图,麻烦提供一个思路如何爬取网站相关数据

作者头像
前端皮皮
发布2023-10-25 09:36:24
1030
发布2023-10-25 09:36:24
举报
文章被收录于专栏:前端进阶学习交流

一、前言

前几天在Python钻石交流群【空】问了一个Python网络爬虫的问题,一起来看看吧。

给大家提供一个网站的相关截图,麻烦你们提供一个思路如何爬取网站相关数据,下图这里是数据区。

页面数据存储在这里的json里。

二、实现过程

常规来说,这个都返回json了,解析json就可以取数据了。但是json数据所对应的网址不能访问(内网,外边也无法访问),没有权限,估计是没有权限解析json数据。

其它的数据里没有相关信息,都找了,页面全部都是用ajax加载数据。但是从页面数据找不到图的真实url,后来分析图的真实url,是页面的json数据通过拼接得到。这里的页面是不是需要登录才能获取相关权限,才能访问数据?这里【甯同学】给了一个可行的思路,如下所示:

顺利地解决了粉丝的问题。

三、总结

大家好,我是皮皮。这篇文章主要盘点了一个Python网络爬虫处理的问题,文中针对该问题,给出了具体的解析和代码实现,帮助粉丝顺利解决了问题。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2023-10-23,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 Python共享之家 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 二、实现过程
  • 三、总结
相关产品与服务
数据保险箱
数据保险箱(Cloud Data Coffer Service,CDCS)为您提供更高安全系数的企业核心数据存储服务。您可以通过自定义过期天数的方法删除数据,避免误删带来的损害,还可以将数据跨地域存储,防止一些不可抗因素导致的数据丢失。数据保险箱支持通过控制台、API 等多样化方式快速简单接入,实现海量数据的存储管理。您可以使用数据保险箱对文件数据进行上传、下载,最终实现数据的安全存储和提取。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档