predatorpredato详解

import "github.com/thep0y/predator"

func main() {

    crawler := predator.NewCrawler(

        predator.WithUserAgent("Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:90.0) Gecko/20100101 Firefox/90.0"),

        predator.WithCookies(map[string]string{"JSESSIONID": cookie}),

        predator.WithProxy(ip), // 或者使用代理池 predator.WithProxyPool([]string)

    )

}

crawler.Get("http://www.baidu.com")

// BeforeRequest 可以在发送请求前，对请求进行一些修补

crawler.BeforeRequest(func(r *predator.Request) {

    headers := map[string]string{

        "Accept":           "*/*",

        "Accept-Language":  "zh-CN",

        "Accept-Encoding":  "gzip, deflate",

        "X-Requested-With": "XMLHttpRequest",

        "Origin":           "http://example.com",

    }

    r.SetHeaders(headers)

    // 请求和响应之间的上下文传递，上下文见下面的上下文示例

    r.Ctx.Put("id", 10)

    r.Ctx.Put("name", "tom")

})

crawler.AfterResponse(func(r *predator.Response) {

    // 从请求发送的上下文中取值

    id := r.Ctx.GetAny("id").(int)

    name := r.Ctx.Get("name")

    // 对于 json 响应，建议使用 gjson 进行处理

    body := gjson.ParseBytes(r.Body)

    amount := body.Get("amount").Int()

    types := body.Get("types").Array()

})

// 请求语句要在 BeforeRequest 和 AfterResponse 后面调用

crawler.Get("http://www.baidu.com")

// BeforeRequest 可以在发送请求前，对请求进行一些修补

crawler.BeforeRequest(func(r *predator.Request) {

    headers := map[string]string{

        "Accept":           "*/*",

        "Accept-Language":  "zh-CN",

        "Accept-Encoding":  "gzip, deflate",

        "X-Requested-With": "XMLHttpRequest",

        "Origin":           "http://example.com",

    }

    r.SetHeaders(headers)

})

crawler.AfterResponse(func(r *predator.Response) {

    // 从请求发送的上下文中取值

    id := r.Ctx.GetAny("id").(int)

    name := r.Ctx.Get("name")

    // 对于 json 响应，建议使用 gjson 进行处理

    body := gjson.ParseBytes(r.Body)

    amount := body.Get("amount").Int()

    types := body.Get("types").Array()

})

body := map[string]string{"foo": "bar"}

// 在 Post 请求中，应该将关键参数用这种方式放进上下文

ctx, _ := context.AcquireCtx()

ctx.Put("id", 10)

ctx.Put("name", "tom")

crawler.Post("http://www.baidu.com", body, ctx)

crawler.Post("http://www.baidu.com", body, nil)

ctx, err := AcquireCtx(context.ReadOp)

crawl := NewCrawler()

crawl.ParseHTML("body", func(he *html.HTMLElement) {

    // 元素内部 HTML

    h, err := he.InnerHTML()

    // 元素整体 HTML

    h, err := he.OuterHTML()

    // 元素内的文本（包括子元素的文本）

    he.Text()

    // 元素的属性

    he.Attr("class")

    // 第一个匹配的子元素

    he.FirstChild("p")

    // 最后一个匹配的子元素

    he.LastChild("p")

    // 第 2 个匹配的子元素

    he.Child("p", 2)

    // 第一个匹配的子元素的属性

    he.ChildAttr("p", "class")

    // 所有匹配到的子元素的属性切片

    he.ChildrenAttr("p", "class")

}

c := NewCrawler(

    // 使用此 option 时自动使用指定数量的协程池发出请求，不使用此 option 则默认使用同步方式请求

    // 设置的数量不宜过少，也不宜过多，请自行测试设置不同数量时的效率

    WithConcurrency(30),

)

c.AfterResponse(func(r *predator.Response) {

    // handle response

})

for i := 0; i < 10; i++ {

    c.Post(ts.URL+"/post", map[string]string{

        "id": fmt.Sprint(i + 1),

    }, nil)

}

c.Wait()

// MySQL

c := NewCrawler(

    WithCache(&cache.MySQLCache{

        Host:     "127.0.0.1",

        Port:     "3306",

        Database: "predator",

        Username: "root",

        Password: "123456",

    }, false), // false 为关闭压缩，true 为开启压缩，下同

)

// PostgreSQL

c := NewCrawler(

    WithCache(&cache.PostgreSQLCache{

        Host:     "127.0.0.1",

        Port:     "54322",

        Database: "predator",

        Username: "postgres",

        Password: "123456",

    }, false),

)

// Redis

c := NewCrawler(

    WithCache(&cache.RedisCache{

        Addr: "localhost:6379",

    }, true),

)

// SQLite3

c := NewCrawler(

    WithCache(&cache.SQLiteCache{

        URI: uri,  // uri 为数据库存放的位置，尽量加上后缀名 .sqlite

    }, true),

)

// 也可以使用默认值。WithCache 的第一个为 nil 时，

// 默认使用 SQLite 作为缓存，且会将缓存保存在当前

// 目录下的 predator-cache.sqlite 中

c := NewCrawler(WithCache(nil, true))

WithProxyPool([]string{"http://ip:port", "socks5://ip:port"})

    crawler := predator.NewCrawler(

        predator.WithLogger(nil),

    )

    logOp := new(predator.LogOp)

// 设置为 INFO

logOp.SetLevel(log.INFO)

import "github.com/thep0y/predator/log"

func main() {

    logOp := new(predator.LogOp)

    logOp.SetLevel(log.INFO)

    logOp.ToConsoleAndFile("test.log")

    crawler := predator.NewCrawler(

        predator.WithLogger(logOp),

    )

}

import "github.com/thep0y/predator/json"

json.Marshal()

json.Unmarshal()

json.UnmarshalFromString()