前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >不写一行,自动生成爬虫代码

不写一行,自动生成爬虫代码

作者头像
月小水长
发布2021-09-24 11:17:37
1K0
发布2021-09-24 11:17:37
举报
文章被收录于专栏:月小水长月小水长

这是 月小水长 的第 79 篇原创干货

目前公众号平台改变了推送机制,点“赞”、点“在看”、添加过“星标”的同学,都会优先接收到我的文章推送,所以大家读完文章后,记得点一下“在看”和“赞”。

从今天开始,开一个专栏,编程每日一问,如其名,旨在分享探讨编程中那些实用的技巧或知识,多短小精悍。

今天的话题是,如果不写一行代码,完成一份最小可运行性的爬虫代码。

直接举 com 微博评论爬虫这个例子,打开下面这个网址

代码语言:javascript
复制
https://weibo.com/1192329374/Knsnj9B3D

按照以下步骤来

  • Network 栏目 Filter 处输入 ’build' 过滤请求,找到评论获取的那个接口
  • 在接口上右键,Copy --> Copy as cURL(cmd) curl 是利用 URL 语法在命令行方式下工作的开源文件传输工具。它被广泛应用在 Unix、多种 Linux 发行版中,并且有 DOS 和 Win32、Win64 下的移植版本。
  • 打开下面这个至关重要的网站(一定要收藏)
代码语言:javascript
复制
https://curl.trillworks.com/

如下图所示

  • 选择 Python 语言,把刚才复制的 curl cmd 粘贴到左边框里,右边框就自动生成 Python 代码了。
  • 把这个代码复制到新建的 py 文件中,可以直接运行,它完成了数据的最小抓取工作,后续再进行解析即可。

流程也可以参考下面这个无声纯净版视频。

这就是今天要分享的,欢迎拍砖~

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2021-09-01,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 月小水长 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 这是 月小水长 的第 79 篇原创干货
相关产品与服务
命令行工具
腾讯云命令行工具 TCCLI 是管理腾讯云资源的统一工具。使用腾讯云命令行工具,您可以快速调用腾讯云 API 来管理您的腾讯云资源。此外,您还可以基于腾讯云的命令行工具来做自动化和脚本处理,以更多样的方式进行组合和重用。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档