chromedp和Go语言相结合采集天涯社区

```go
package main
import (
"context"
"fmt"
"github.com/chromedp/chromedp"
"github.com/chromedp/chromedp/cdp"
"github.com/chromedp/chromedp/protocol/network"
"github.com/chromedp/chromedp/protocol/page"
"github.com/chromedp/chromedp/protocol/target"
"github.com/chromedp/chromedp/protocol/tracing"
"io/ioutil"
"net/http"
"net/url"
"strings"
)
func main() {
// 创建一个Chrome会话
ctx, cancel := context.WithCancel(context.Background())
defer cancel()
// 使用自定义的HTTP客户端，以便在网络请求中使用代理
customClient := &http.Client{
Transport: &http.Transport{
Proxy: http.ProxyFromEnvironment,
},
}
// 使用自定义的URL解析器，以便在解析URL时使用代理
customURL, _ := url.Parse("https://www.tianya.cn")
// 获取代理服务器
proxy, err := getProxy(customClient, customURL)
if err != nil {
fmt.Printf("Error getting proxy: %v\n", err)
return
}
// 设置代理服务器
chromedp.SetProxy(proxy)
// 创建一个新的浏览器实例
browser, err := chromedp.NewBrowser(ctx, chromedp.WithProxy(proxy))
if err != nil {
fmt.Printf("Error creating browser: %v\n", err)
return
}
// 打开一个新的标签页
page, err := browser.NewPage(ctx)
if err != nil {
fmt.Printf("Error creating page: %v\n", err)
return
}
// 导航到www.tianya.cn
err = page.Navigate(ctx, "https://www.tianya.cn")
if err != nil {
fmt.Printf("Error navigating: %v\n", err)
return
}
// 等待页面加载
err = page.Wait(ctx, cdp.PageLoadEventFired)
if err != nil {
fmt.Printf("Error waiting for page load: %v\n", err)
return
}
// 获取页面内容
content, err := page.GetContent(ctx)
if err != nil {
fmt.Printf("Error getting content: %v\n", err)
return
}
// 保存页面内容到文件
err = ioutil.WriteFile("tianya.html", []byte(content), 0644)
if err != nil {
fmt.Printf("Error saving file: %v\n", err)
return
}
fmt.Println("Download completed!")
}
func getProxy(client *http.Client, url *url.URL) (string, error) {
resp, err := client.Get(url.String())
if err != nil {
return "", err
}
defer resp.Body.Close()
body, err := ioutil.ReadAll(resp.Body)
if err != nil {
return "", err
}
// 从HTML内容中提取代理服务器地址
proxy := strings.Split(string(body), "\"")[1]
return proxy, nil
}
```