Python pandas获取网页中的表数据（网页抓取）

fanjy

发布于 2021-12-11 10:35:20

7.8K0

发布于 2021-12-11 10:35:20

标签：Python与Excel,pandas

现如今，人们随时随地都可以连接到互联网上，互联网可能是最大的公共数据库，学习如何从互联网上获取数据至关重要。因此，有必要了解如何使用Python和pandas库从web页面获取表数据。此外，如果你已经在使用Excel PowerQuery，这相当于“从Web获取数据”功能，但这里的功能更强大100倍。

从网站获取数据（网页抓取）

HTML是每个网站背后的语言。当我们访问一个网站时，发生的事情如下：

1.在浏览器的地址栏中输入地址（URL），浏览器向目标网站的服务器发送请求。

2.服务器接收请求并发回组成网页的HTML代码。

3.浏览器接收HTML代码，动态运行，并创建一个网页供我们查看。

Web抓取基本上意味着，我们可以使用Python向网站服务器发送请求，接收HTML代码，然后提取所需的数据，而不是使用浏览器。

这里不会涉及太多的HTML，只是介绍一些要点，以便我们对网站和网页抓取的工作原理有一个基本的了解。HTML元素或“HTML标记”是用<>包围的特定关键字。例如，以下HTML代码是网页的标题，将鼠标悬停在网页中该选项卡上，将在浏览器上看到相同的标题。注意，大多数HTML元素都需要一个开始标记（例如，<title>）和一个相应的结束标记（例如，</title>）。

<title>Python pandas获取网页中的表数据（网页抓取）</title>

类似地，下面的代码将在浏览器上绘制一个表，你可以尝试将其复制并粘贴到记事本中，然后将其保存为“表示例.html”文件，应该能够在浏览器中打开它。简要说明如下：

<table>…</table>绘制表格
<tr>…</tr>在表中绘制一行
<th>…</th>表示表格标题
<td>…</td>表示表格数据

<html>
    <table>
        <tr>
           <th>用户姓名</th>
           <th>国家</th>
           <th>城市</th>
           <th>性别</th>
           <th>年龄</th>
        </tr>
        <tr>
            <td>Forrest Gump</td>
           <td>USA</td>
           <td>New York</td>
           <td>M></td>
           <td>50</td>
        </tr>
        <tr>
<td>Mary Jane</td>
           <td>CANADA</td>
           <td>Toronto</td>
           <td>F</td>
           <td>30</td>
        </tr>
    </table>
</html>

使用pandas进行网页抓取的要求

了解了网站的基本构建块以及如何解释HTML（至少是表格部分！）。这里只介绍HTML表格的原因是，大多数时候，当我们试图从网站获取数据时，它都是表格格式。pandas是从网站获取表格格式数据的完美工具！

因此，使用pandas从网站获取数据的唯一要求是数据必须存储在表中，或者用HTML术语来讲，存储在<table>…</table>标记中。pandas将能够使用我们刚才介绍的HTML标记提取表、标题和数据行。

如果试图使用pandas从不包含任何表（<table>…</table>标记）的网页中“提取数据”，将无法获取任何数据。对于那些没有存储在表中的数据，我们需要其他方法来抓取网站。

网络抓取示例

我们前面的示例大多是带有几个数据点的小表，让我们使用稍微大一点的更多数据来处理。

我们将从百度百科获取最新世界500公司名称和相关信息：

https://baike.baidu.com/item/%E4%B8%96%E7%95%8C500%E5%BC%BA/640042?fr=aladdin