Excel VBA中的表格抓取

基础概念

Excel VBA（Visual Basic for Applications）是Microsoft Excel的内置编程语言，允许用户自定义功能和自动化任务。表格抓取（Table Scraping）是指从网页或其他数据源中提取表格数据并将其导入到Excel中的过程。

类型

网页抓取：从网页中提取表格数据。
文件导入：从CSV、TXT等文件中导入表格数据。
数据库连接：从数据库中提取数据并导入到Excel。

应用场景

数据分析：从多个来源收集数据，进行汇总和分析。
报告生成：自动化生成定期报告，减少手动工作量。
数据迁移：将数据从一个系统迁移到另一个系统。

常见问题及解决方法

问题1：无法正确抓取网页表格数据

原因：

网页结构变化
反爬虫机制
编码问题

解决方法：

使用浏览器的开发者工具检查网页结构，确保选择器正确。
设置合理的请求头，模拟正常用户访问。
处理编码问题，确保数据正确解析。

Sub WebTableScraping()
    Dim ie As Object
    Dim html As Object
    Dim table As Object
    Dim tr As Object
    Dim td As Object
    Dim ws As Worksheet
    Dim i As Integer, j As Integer

    Set ie = CreateObject("InternetExplorer.Application")
    ie.Visible = False
    ie.Navigate "http://example.com/table.html"

    Do While ie.Busy Or ie.ReadyState <> 4
        DoEvents
    Loop

    Set html = ie.Document
    Set table = html.getElementById("tableId")

    Set ws = ThisWorkbook.Sheets("Sheet1")

    i = 1
    For Each tr In table.getElementsByTagName("tr")
        j = 1
        For Each td In tr.getElementsByTagName("td")
            ws.Cells(i, j).Value = td.innerText
            j = j + 1
        Next td
        i = i + 1
    Next tr

    ie.Quit
End Sub

问题2：导入文件时出现乱码

原因：

文件编码不一致
Excel默认编码设置不正确

解决方法：

确保文件编码与Excel设置的编码一致。
使用OpenTextFile方法指定正确的编码。

Sub ImportCSV()
    Dim fso As Object
    Dim ts As Object
    Dim line As String
    Dim parts() As String
    Dim ws As Worksheet
    Dim i As Integer

    Set fso = CreateObject("Scripting.FileSystemObject")
    Set ts = fso.OpenTextFile("C:\path\to\file.csv", 1, False, -4) ' -4 for UTF-8 encoding

    Set ws = ThisWorkbook.Sheets("Sheet1")

    Do While Not ts.AtEndOfStream
        line = ts.ReadLine
        parts = Split(line, ",")
        For i = 0 To UBound(parts)
            ws.Cells(ws.Rows.Count, i + 1).End(xlUp).Offset(1, i).Value = parts(i)
        Next i
    Loop

    ts.Close
End Sub