专栏首页未闻Code一日一技:在Golang下如何相对简单地开发爬虫?

一日一技:在Golang下如何相对简单地开发爬虫?

我们说,语言决定思维方式。要掌握一种新的思维方式,学习一门新语言是最直接的方法。

我之前一直用 Python 来写爬虫,现在,尝试用 Golang 来实现一个简单的爬虫,请求网址,然后使用 XPath 提取数据。

这个爬虫项目使用 Go Mod 来管理依赖,执行下面的命令创建爬虫项目文件夹:

mkdir crawler_go
cd crawler_go
go mod init crawler_go

运行效果如下图所示:

这3条命令会在crawler_go文件夹中创建一个 go.mod 的文件。然后,我们再创建一个爬虫文件crawler.go

我们知道,虽然 Python 自带了一个网络请求库urllib,但是我们一般会使用requests来请求网络。因为这个库才是Http for human。在 Golang 里面请求网络,也有一个库,叫做req[1]。我们在代码里面引入它,并获取一个网址。这次使用的是爬虫练习网站的地址:Chapter11_example_2[2]。

编写如下代码:

package main

import (
    "fmt"

    "github.com/imroc/req"
)

func main() {
    url := "http://exercise.kingname.info/exercise_xpath_2.html"
    resp, _ := req.Get(url)
    fmt.Println(resp.String())
}

运行效果如下图所示:

使用 Go Mod 的好处,就在于当我们把一个新的第三方库添加到import语句后,第一次运行代码时,Go 会自动下载这个库。

需要说明一下,在代码第11行,resp, _:= req.Get(url),这里的下划线实际上是用来接收另外一个参数err,但是由于我不需要使用这个参数,所以可以使用下划线代替。

使用req库来请求网址,实际上也非常容易。那么接下来,我们想办法在 Golang 里面使用 XPath,从源代码中提取数据。这次用到的库叫做htmlquery[3]。

相比在 Python 中使用 lxml,在 Golang 下面使用 htmlquery 多多少少还是要麻烦一些。我们来看看如何提取练习页面的标题:

package main

import (
    "fmt"
    "strings"

    "github.com/antchfx/htmlquery"
    "github.com/imroc/req"
)

func main() {
    url := "http://exercise.kingname.info/exercise_xpath_2.html"
    resp, _ := req.Get(url)
    selector, _ := htmlquery.Parse(strings.NewReader(resp.String()))
    title := htmlquery.FindOne(selector, "//title/text()")
    fmt.Println("标题为:", htmlquery.InnerText(title))
}

运行效果如下图所示:

从代码中可以看到,在 Golang 中使用htmlquery,每一次都要把节点传入 htmlquery 的某个函数里面。不能像 Python 里面一样通过链式调用对象的方法来获取数据。

现在我们来获取练习页上面的文字内容:

需要注意的是,第二条项目只有名字但是没有价格,我们需要在代码里面兼容这种情况:

package main

import (
    "fmt"
    "strings"

    "github.com/antchfx/htmlquery"
    "github.com/imroc/req"
)

func main() {
    url := "http://exercise.kingname.info/exercise_xpath_2.html"
    resp, _ := req.Get(url)
    selector, _ := htmlquery.Parse(strings.NewReader(resp.String()))
    itemList := htmlquery.Find(selector, `//ul[@class="item"]`)
    for _, item := range itemList {
        nameNode := htmlquery.FindOne(item, `li[@class="name"]/text()`)
        nameText := htmlquery.InnerText(nameNode)
        priceNode := htmlquery.FindOne(item, `li[@class="price"]/text()`)
        var priceText string
        if priceNode != nil {
            priceText = htmlquery.InnerText(priceNode)
        } else {
            priceText = "0"
        }
        fmt.Println("商品名称:", nameText, "商品价格:", priceText)
    }
}

运行效果如下图所示:

在 Golang 里面使用 XPath,还是比 Python 中要麻烦不少。这一方面是因为 Python 是面向对象的语言,而 Golang 更像是面向过程的语言。另一方面是因为 Golang 的第三方库还是不如 Python 丰富。实际上是有办法可以让 Golang 的 XPath 库达到 lxml 这种易用性的。

参考资料

[1]

req: https://github.com/imroc/req

[2]

Chapter11_example_2: http://exercise.kingname.info/exercise_xpath_2.html

[3]

htmlquery: https://github.com/antchfx/htmlquery

本文分享自微信公众号 - 未闻Code(itskingname),作者:kingname

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-09-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 一日一技:延长Nginx反向代理的时间

    此时可以通过修改 /etc/nginx/sites-available下面的网站配置文件来实现。

    青南
  • 彻底搞懂Scrapy的中间件(二)

    在上一篇文章中介绍了下载器中间件的一些简单应用,现在再来通过案例说说如何使用下载器中间件集成Selenium、重试和处理请求异常。

    青南
  • 在Pyppeteer中正确隐藏window.navigator.webdriver

    (文末福利)在我以前的一篇文章:一日一技:如何正确移除Selenium中window.navigator.webdriver的值,我讲到了如何在Selenium...

    青南
  • MAT工具在MacBook的安装

    当Java应用出现内存溢出的问题的时候,需要拿工具分析dump文件的。JDK自带的jvisualvm和jhat都可以使用,另外还有一个工具是 Memory An...

    程序猿讲故事
  • IDEA使用

    最重要的: Ctrl+Shift+A  打开搜索 定位代码: 项目之间的跳转: ? 文件之间的跳转: 打开最近文件列表  Ctrl + E     打开最近修改...

    二十三年蝉
  • 微服务的创建和管理最常见问题是什么?

    如果你不正确地划分责任,你就会遇到问题。将任何应用程序应用到分布式系统中。想想你可能会遇到的问题。管理数据和管理状态是许多人在管理有状态和无状态数据时遇到问题的...

    程序你好
  • CNS图表复现03—单细胞区分免疫细胞和肿瘤细胞

    交流群里大家讨论的热火朝天,而且也都开始了图表复现之旅,在这里我还是带大家一步步学习CNS图表吧。如果你也想加入交流群,自己去:你要的rmarkdown文献图表...

    生信技能树jimmy
  • 「企业安全架构」EA874:信息安全架构

    企业信息安全架构(EISA)是信息安全计划的关键组成部分。EISA的主要功能是以一致的方式记录和通信安全程序的工件。因此,EISA的主要可交付成果是一组将业务驱...

    首席架构师智库
  • Selenium2+python自动化45-18种定位方法(find_elements)

    前言 江湖传言,武林中流传八种定位,其中xpath是宝刀屠龙,css是倚天剑。 除了这八种,其实还有十种定位方法,眼看就快失传了,今天小编让失传已久的定位方法重...

    上海-悠悠
  • 2018年要考虑的12大云安全威胁

    导语 如今,云计算不断改变组织使用、存储和共享数据、应用程序和工作负载的方式。但也带来了一系列新的安全威胁和挑战。随着大量数据进入云端,尤其是进入公共云服务,这...

    静一

扫码关注云+社区

领取腾讯云代金券