『Go 语言学习专栏』-- 第十四期

go-14.png

14.png

大家好,我叫谢伟,是一名程序员。

最近比较低效...

今天的主题:工程管理

为了写出这一章节,我翻阅了几本书。书中整理的很好,但对初学者不太友好,意思是可能看完就知道个大概。还是不能理解工程管理的具体做法是什么。所以,我呢,摒弃了书中的组织方式,转而使用示例的形式,从头到尾的把工程管理这事说明白。但是考虑到实际中的使用可能不太会事无巨细。希望大家理解。

工程管理主要包括这两方面内容:Go 命令行工具的使用、工程项目的组织

当然,我们这边使用一个例子来演示:爬虫。

两首页的标题信息抓取下来。

主要的概况如下:

  • 项目的组织
  • 项目库第三方库下载 go get / gopm get -g
  • 编写代码
  • 测试 go test
  • 覆盖率 go tool
  • 编译 go build
  • 编译并运行 go run
  • 编译并生成二进制文件 go install
  • 包管理 govendor / vgo
  • 文档 godoc

整体的流程,大致和我们的开发息息相关。


1. 项目组织

我们第一节已经见过,我们的工程是如何进行组织的?

1、 设置 GOPATH 2、 GOPATH 下设置三个文件夹:bin、pkg、src

工程的组织即在src 目录下创建文件夹。

比如:这个专题所有的项目都组织在 src/go-example-for-live 目录下

├─go-example-for-live
│  ├─eight
│  ├─eleven
│  │  ├─infra
│  │  └─main
│  ├─fifteen
│  │  ├─download
│  │  ├─engine
│  │  ├─main
│  │  └─parse
│  │      ├─jianshu
│  │      └─v2ex
│  ├─five
│  ├─four
│  ├─fourteen_client
│  │  └─main
│  ├─fourteen_server
│  │  ├─main
│  │  └─ui
│  │      └─api-server
│  ├─Image
│  ├─MarkDown
│  ├─nine
│  │  ├─domain
│  │  ├─download
│  │  ├─engine
│  │  ├─infra
│  │  ├─main
│  │  ├─parse
│  │  │  └─gocn
│  │  ├─static
│  │  │  ├─css
│  │  │  ├─html
│  │  │  └─js
│  │  └─ui
│  │      ├─api-server
│  │      └─parse
│  ├─PowerPoint
│  ├─restful
│  ├─second
│  ├─seven
│  │  ├─download
│  │  ├─engine
│  │  ├─infra
│  │  ├─main
│  │  └─parse
│  │      └─github
│  ├─six
│  ├─ten
│  │  ├─app
│  │  ├─config
│  │  │  └─user-cfg
│  │  ├─ConfigResume
│  │  │  ├─1
│  │  │  │  └─Resume
│  │  │  └─2
│  │  │      └─Resume
│  │  ├─domain
│  │  │  ├─constants
│  │  │  ├─objects
│  │  │  └─roles
│  │  ├─infra
│  │  │  └─golang
│  │  │      ├─execadapter
│  │  │      ├─ioutiladapter
│  │  │      ├─jsonadapter
│  │  │      ├─osadapater
│  │  │      │  └─xiewei
│  │  │      └─yamladapter
│  │  ├─main
│  │  ├─ui
│  │  │  └─service
│  │  └─vendor
│  │      ├─github.com
│  │      │  └─olebedev
│  │      │      └─config
│  │      └─gopkg.in
│  │          └─yaml.v2
│  ├─thirteen
│  │  ├─infra
│  │  └─main
│  ├─three
│  ├─twelve
│  │  └─main
│  └─vendor
│      └─github.com
│          └─urfave
│              └─cli

工程组织...

2. 获取第三方库

  • go get
  • gopm get

如果我们使用内置库呢,编写代码的使用,直接import 库路径即可。这个路径是在设置的GOROOT 下的 src 目录下的库。

GOROOT=D:\1_System\2_Installation\G_go

D:\1_System\2_Installation\G_go\src

Make.dist         bootstrap.bash  clean.bat  context   expvar  image         make.bash      nacltest.bash  race.bat  runtime  testing
all.bash          bufio           clean.rc   crypto    flag    index         make.bat       net            reflect   sort     text
all.bat           buildall.bash   cmd        database  fmt     internal      make.rc        os             regexp    strconv  time
all.rc            builtin         cmp.bash   debug     go      io            math           path           run.bash  strings  unicode
androidtest.bash  bytes           compress   encoding  hash    iostest.bash  mime           plugin         run.bat   sync     unsafe
archive           clean.bash      container  errors    html    log           naclmake.bash  race.bash      run.rc    syscall  vendor

那获取第三方库呢,我们之前已经讲过,使用 go 的命令行工具即可:

go get ****

比如, 我们爬虫借助了第三方库:

go get github.com/PuerkitoBio/goquery

如果下载速度太慢呢,我们可以使用这个工具,gopm。

首先它也是go 的一个第三库,首先需要下载 gopm

go get -u github.com/gpmgo/gopm

再使用 gopm 下载

gopm get ****

一个字:快

3. 编写代码和测试

  • download
  • parse
  • engine
  • main

好,经历前面的学习,项目组织会了,下载第三方库也会了。就差会写代码了。

首先我们分析下需求:抓取信息。

  • 获取网页信息:http 请求,返回信息
  • 解析需要的信息:正则、xpath、css 等获取网页字段

核心大概就这两点,便可以完成任务。但是我还是建议新手,在写代码之前都能有一套好的项目的组织。

好的项目组织有什么好处呢?

可以参看下这个视频:https://www.youtube.com/watch?v=MzTcsI6tn-0

我提几点:

1、养成好的项目组织风格 2、更好的写代码 3、更好的理解(读)代码

经过上文的分析:我们项目组织成这样(之前的文章也提到过):

下载器:即获取网页源代码

download
   download.go
   download_test.go
package download

import (
    "errors"
    "net/http"

    "github.com/PuerkitoBio/goquery"
)

var (
    ErrRequest  = errors.New("request error")
    ErrResponse = errors.New("response error")
)

func GetHtmlResponse(url string) (*goquery.Document, error) {
    var (
        request *http.Request
        err     error
    )
    request, err = http.NewRequest("GET", url, nil)
    if err != nil {
        return nil, ErrRequest
    }

    request.Header.Add("user-agent", "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36")

    var client *http.Client
    client = http.DefaultClient

    var response *http.Response
    response, err = client.Do(request)
    if err != nil {
        return nil, ErrResponse
    }

    defer response.Body.Close()
    return goquery.NewDocumentFromReader(response.Body)
}

解析器:即解析网页信息

parse
   v2ex
       job_parse.go
       job_parse_test.go
    jianshu
       info_parse.go
       info_parse_test.go
package v2ex

import (
    "github.com/PuerkitoBio/goquery"
)

func JobParse(response *goquery.Document) []string {

    var title []string

    response.Find("div#Main div.box div.cell.item").Each(func(i int, selection *goquery.Selection) {
        text := selection.Find("table tbody tr td").Eq(2).Find("span a").Text()
        //fmt.Println(text)
        title = append(title, text)
    })
    return title
}

调度器:即调度下载器和解析器,完成指定的网页信息的解析

engine
   engine.go
   engine_test.go
package engine

import (
    "go-example-for-live/fifteen/download"

    "errors"
    "fmt"

    "github.com/PuerkitoBio/goquery"
)

type Request struct {
    Url       string
    ParseFunc func(*goquery.Document) []string
}

type Requests []Request

var (
    ErrDownload = errors.New("download err")
)

func Run(seeds ...Request) {
    var requests Requests
    for _, seed := range seeds {
        requests = append(requests, seed)
    }

    for len(requests) > 0 {
        r := requests[0]
        requests = requests[1:]

        body, err := download.GetHtmlResponse(r.Url)
        if err != nil {
            fmt.Println(ErrDownload)
            continue
        }
        fmt.Println(r.ParseFunc(body))

    }

}

程序入口:main.go

main
   main.go
package main

import (
    "go-example-for-live/fifteen/engine"
    "go-example-for-live/fifteen/parse/jianshu"
    "go-example-for-live/fifteen/parse/v2ex"
)

func main() {
    engine.Run(
        engine.Request{
            Url:       "https://www.v2ex.com/?tab=jobs",
            ParseFunc: v2ex.JobParse,
        },
        engine.Request{
            Url:       "https://www.jianshu.com/u/58f0817209aa",
            ParseFunc: jianshu.InfoParse,
        },
    )
}

单元测试,我们不详细列举了。可以使用传统的方法也可以使用表格驱动法,也可以使用第三方库 GoConvey.

4. 运行相关

  • go fmt
  • go build
  • go install
  • go run
  • go test
  • go tool

1、优化代码

go fmt ****
  • 调整语句位置
  • 调整缩进
  • 调整花括号的位置
  • 调整空格等

2、构建 好,在上文我们编写完代码和测试用例之后,我们如何把程序分发出去给别人使用的呢?

go build

go build ****

根据库的名称自动编译出符合平台的二进制文件。

比如 在 main 目录下

go build 

则目录下自动生存 main.exe 文件。运行即可。

main.exe

[应届生在深圳找不到工作求职DeweyLiuwinglight2016 [杭州][可远程] 一只公司招聘前端...

go install

如何你设置了GOBIN ,即GOPATH 目录下的bin 文件夹。

则运行该命令,自动会在 GOBIN 目录下编译出同文件的二进制文件

# GOBIN
main.exe

go run

编译后运行。即编译完成后,立即执行程序。

go run main.go

好。上文都是编译和运行相关的命令。那测试如何运行?

go test

go test download_test.go 只运行这一个测试文件

go test ./... 运行整个项目下测试文件

λ go test ./...
ok      go-example-for-live/fifteen/download    1.436s
ok      go-example-for-live/fifteen/engine      0.701s
?       go-example-for-live/fifteen/main        [no test files]
ok      go-example-for-live/fifteen/parse/jianshu       0.690s
ok      go-example-for-live/fifteen/parse/v2ex  0.761s
go test -run=TestDownload -v  download_test.go 根据匹配规则运行厕所文件内的测试函数

go test -v ./... -cover

获取测试代码覆盖率。

5. 包管理

  • govendor
  • vgo

项目中使用到了第三方库,如果代码分发出去,不把第三方库文件置入项目中,则他们不能使用,除非重新下载第三方库。

那么如何进行库或者包的管理?

  • govendor

1、下载 govendor 2、 项目下 govendor init 3、govendor add +external

即将第三方库拷贝至项目内新建的目录 vendor 下。

├─download
├─engine
├─main
├─parse
│  ├─jianshu
│  └─v2ex
└─vendor
    ├─github.com
    │  └─PuerkitoBio
    │      └─goquery
    └─golang.org
  • vgo

官方主推的工具,我还不太会用。

https://zhuanlan.zhihu.com/p/33926171

6. 文档

  • godoc -http=:6060 -goroot="."

如果你写的代码注释比较好,或者你go 官网上不去,仅仅只是想离线观看 go 源代码的文档。

godoc -http:=6060

本地访问 localhost:6060 即可查看所有项目(包括内置库)的文档。


有任何疑问,可以查看所有工具的帮助文档。

  • go help
  • go tool help
  • govendor help
  • vogo help
  • gopm help

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大内老A

[WCF-Discovery]让服务自动发送上/下线通知[原理篇]

到目前为止,我们所介绍的都是基于客户端驱动的服务发现模式,也就是说客户端主动发出请求以探测和解析可用的目标服务。在介绍WS-Discovery的时候,我们还谈到...

2236
来自专栏小灰灰

Quick-Task 动态脚本支持框架之使用介绍篇

文章链接:https://liuyueyi.github.io/hexblog/2018/07/19/180719-Quick-Task-动态脚本支持框架之使用...

1182
来自专栏Danny的专栏

【项目实战】——Java实现伪静态——urlrewrite

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/huyuyang6688/article/...

1934
来自专栏日常学python

爬虫实践: 获取百度贴吧内容

本次要爬的贴吧是<< 西部世界 >>,西部世界是我一直很喜欢的一部美剧,平时有空也会去看看吧友们都在聊些什么。所以这次选取这个吧来作为实验材料。

1802
来自专栏云计算

JClouds的命令行界面

我已经使用jclouds一年多了,也一直为它的进步做贡献。目前为止,我已经在很多领域广泛地使用它,特别是在 Fuse Ecosystem 。总之,它是一个特别棒...

2597
来自专栏鸿的学习笔记

DBDB: 一个简单的key/value数据库(一)

导论 DBDB(Dog Bed Database)是基于Python实现的key/value数据库。 它将key值与value值关联,并将该关联存储在磁盘上方便...

1183
来自专栏杨建荣的学习笔记

如果理解Python web开发技术

首先来问一个问题,如何来看待Python web开发技术?如果不知道如何回答,我们换个问题:如何理解Python web的本质,这个我先用了三个程序来说明。 首...

4044
来自专栏Linyb极客之路

Redis开发常用规范

虽然Redis支持持久化,但是Redis的数据存储全部都是在内存中的,成本昂贵。建议根据业务只将高频热数据存储到Redis中【QPS大于5000】,对于低频冷数...

1622
来自专栏PHP在线

2018最新PHP学习路线整合

PHP是一种通用开源脚本语言。语法吸收了C语言、Java和Perl的特点,利于学习,使用广泛,主要适用于Web开发领域。

3875
来自专栏Crossin的编程教室

如何在 Python 中使用断点调试

实际上没人能一次就写出完美的代码,除了我。但是世界上只有一个我。 -- 林纳斯·托瓦兹(Linux 之父) 既然不是神,写代码自然免不了要修改。修改代码的过程被...

3506

扫码关注云+社区

领取腾讯云代金券