首页
学习
活动
专区
工具
TVP
发布

爬虫何必用Python,用EXCEL爬取网页上的多页表格

我们平时写爬虫一般都是用Python,nodejs等,用这些程序语言需要安装一大堆环境,很麻烦。有时候我们的需求不是那么高,用EXCEL加简单的VBA就可以了,这篇文章就教大家只用EXCEL和简单几句VBA爬取多页表格。

目标网页

这个网页下的表格总共有1111条数据,每页10条数据,分布在112个页面中,如果我们一个一个复制,还是有很大的工作量。现在就教大家如何用EXCEL将这1111条数据都爬取下来。

首先打开浏览器的检查

浏览器检查

小编给大家推荐一个学习氛围超好的地方,python交流企鹅裙:四七四五三四九五一!适合在校大学生,小白,想转行,想通过这个找工作的加入。裙里有大量学习资料,有大神解答交流问题,每晚都有免费的直播课程

2.获取到post参数

获取POST参数

3.在EXCEL里构造112页表格的链接

构造链接

4.在VBA编辑器里填写代码

填写代码

Sub test()

Cells.Clear

n = 1

For i = 1 To 112 '遍历存放在sheet2里的链接

Url = Sheet2.Cells(i, 1).Text

With ActiveSheet.QueryTables.Add("url;" & Url, Range("a" & n)) '获取表格

.WebFormatting = xlWebFormattingNone

.WebSelectionType = xlSpecifiedTables

.WebTables = 3

.Refresh False

End With

n = Sheet1.Range("A65536").End(xlUp).Row + 1 '获取上一个写入sheet1的表格最后一行的位置

Next

End Sub

5.运行代码获得数据

表格数据

好了教程就到这里了,有不懂得可以留言,有错误的地方欢迎指正O(∩_∩)O哈哈~

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180430A0CBJG00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券