AI网络爬虫：用kimi提取网页中的表格内容

一个网页中有一个很长的表格，要提取其全部内容，还有表格中的所有URL网址。

在kimi中输入提示词：

你是一个Python编程专家，要完成一个编写爬取网页表格内容的Python脚步的任务，具体步骤如下：

在F盘新建一个Excel文件：freeAPI.xlsx

打开网页https://github.com/public-apis/public-apis；

定位table标签；

在table标签内容定位tbody标签；

在tbody标签内定位tr标签；

在tr标签内容定位第1个td标签，提取其文本内容，保存到表格文件freeAPI.xlsx的第1行第1列；

在tr标签内容定位第1个td标签里面的a标签，提取其href属性值，保存到表格文件freeAPI.xlsx的第1行第6列；

在tr标签内容定位第2个td标签，提取其文本内容，保存到表格文件freeAPI.xlsx的第1行第2列；

在tr标签内容定位第3个td标签，提取其文本内容，保存到表格文件freeAPI.xlsx的第1行第3列；

在tr标签内容定位第4个td标签，提取其文本内容，保存到表格文件freeAPI.xlsx的第1行第4列；

在tr标签内容定位第5个td标签，提取其文本内容，保存到表格文件freeAPI.xlsx的第1行第5列；

循环执行以上步骤，直到所有table标签里面内容都提取完；

注意：

每一步相关信息都要输出到屏幕上

源代码：

import requests

from bs4 import BeautifulSoup

import pandas as pd

# 网页URL

url = 'https://github.com/public-apis/public-apis'

# 发送HTTP请求获取网页内容

response = requests.get(url)

web_content = response.text

# 使用BeautifulSoup解析网页

soup = BeautifulSoup(web_content, 'html.parser')

# 定位所有的table标签

tables = soup.find_all('table')

# 检查F盘是否存在freeAPI.xlsx文件，如果不存在则创建

excel_path = 'F:/freeAPI.xlsx'

df_list = [] # 用于存储DataFrame的列表

for table in tables:

# 定位tbody标签

tbody = table.find('tbody')

if tbody:

# 在tbody标签内定位所有的tr标签

rows = tbody.find_all('tr')

for row in rows:

# 在每个tr标签内定位所有的td标签

data = row.find_all('td')

if len(data) >= 5:

# 提取文本内容

extracted_data = [cell.get_text(strip=True) for cell in data[:5]]

# 将提取的数据存储为DataFrame

df = pd.DataFrame([extracted_data], columns=['Column1', 'Column2', 'Column3', 'Column4', 'Column5'])

# 将DataFrame添加到列表中

df_list.append(df)

# 输出相关信息到屏幕

print(f"Extracted data from row: {extracted_data}")

# 将列表中的所有DataFrame合并为一个DataFrame

if df_list:

combined_df = pd.concat(df_list, ignore_index=True)

# 将合并后的DataFrame写入Excel文件

combined_df.to_excel(excel_path, index=False)

print(f"Data has been successfully written to {excel_path}")

else:

print("No data found to write to Excel.")