『Go 语言学习专栏』-- 第十四期

go-14.png

14.png

大家好,我叫谢伟,是一名程序员。

最近比较低效...

今天的主题:工程管理

为了写出这一章节,我翻阅了几本书。书中整理的很好,但对初学者不太友好,意思是可能看完就知道个大概。还是不能理解工程管理的具体做法是什么。所以,我呢,摒弃了书中的组织方式,转而使用示例的形式,从头到尾的把工程管理这事说明白。但是考虑到实际中的使用可能不太会事无巨细。希望大家理解。

工程管理主要包括这两方面内容:Go 命令行工具的使用、工程项目的组织

当然,我们这边使用一个例子来演示:爬虫。

两首页的标题信息抓取下来。

主要的概况如下:

  • 项目的组织
  • 项目库第三方库下载 go get / gopm get -g
  • 编写代码
  • 测试 go test
  • 覆盖率 go tool
  • 编译 go build
  • 编译并运行 go run
  • 编译并生成二进制文件 go install
  • 包管理 govendor / vgo
  • 文档 godoc

整体的流程,大致和我们的开发息息相关。


1. 项目组织

我们第一节已经见过,我们的工程是如何进行组织的?

1、 设置 GOPATH 2、 GOPATH 下设置三个文件夹:bin、pkg、src

工程的组织即在src 目录下创建文件夹。

比如:这个专题所有的项目都组织在 src/go-example-for-live 目录下

├─go-example-for-live
│  ├─eight
│  ├─eleven
│  │  ├─infra
│  │  └─main
│  ├─fifteen
│  │  ├─download
│  │  ├─engine
│  │  ├─main
│  │  └─parse
│  │      ├─jianshu
│  │      └─v2ex
│  ├─five
│  ├─four
│  ├─fourteen_client
│  │  └─main
│  ├─fourteen_server
│  │  ├─main
│  │  └─ui
│  │      └─api-server
│  ├─Image
│  ├─MarkDown
│  ├─nine
│  │  ├─domain
│  │  ├─download
│  │  ├─engine
│  │  ├─infra
│  │  ├─main
│  │  ├─parse
│  │  │  └─gocn
│  │  ├─static
│  │  │  ├─css
│  │  │  ├─html
│  │  │  └─js
│  │  └─ui
│  │      ├─api-server
│  │      └─parse
│  ├─PowerPoint
│  ├─restful
│  ├─second
│  ├─seven
│  │  ├─download
│  │  ├─engine
│  │  ├─infra
│  │  ├─main
│  │  └─parse
│  │      └─github
│  ├─six
│  ├─ten
│  │  ├─app
│  │  ├─config
│  │  │  └─user-cfg
│  │  ├─ConfigResume
│  │  │  ├─1
│  │  │  │  └─Resume
│  │  │  └─2
│  │  │      └─Resume
│  │  ├─domain
│  │  │  ├─constants
│  │  │  ├─objects
│  │  │  └─roles
│  │  ├─infra
│  │  │  └─golang
│  │  │      ├─execadapter
│  │  │      ├─ioutiladapter
│  │  │      ├─jsonadapter
│  │  │      ├─osadapater
│  │  │      │  └─xiewei
│  │  │      └─yamladapter
│  │  ├─main
│  │  ├─ui
│  │  │  └─service
│  │  └─vendor
│  │      ├─github.com
│  │      │  └─olebedev
│  │      │      └─config
│  │      └─gopkg.in
│  │          └─yaml.v2
│  ├─thirteen
│  │  ├─infra
│  │  └─main
│  ├─three
│  ├─twelve
│  │  └─main
│  └─vendor
│      └─github.com
│          └─urfave
│              └─cli

工程组织...

2. 获取第三方库

  • go get
  • gopm get

如果我们使用内置库呢,编写代码的使用,直接import 库路径即可。这个路径是在设置的GOROOT 下的 src 目录下的库。

GOROOT=D:\1_System\2_Installation\G_go

D:\1_System\2_Installation\G_go\src

Make.dist         bootstrap.bash  clean.bat  context   expvar  image         make.bash      nacltest.bash  race.bat  runtime  testing
all.bash          bufio           clean.rc   crypto    flag    index         make.bat       net            reflect   sort     text
all.bat           buildall.bash   cmd        database  fmt     internal      make.rc        os             regexp    strconv  time
all.rc            builtin         cmp.bash   debug     go      io            math           path           run.bash  strings  unicode
androidtest.bash  bytes           compress   encoding  hash    iostest.bash  mime           plugin         run.bat   sync     unsafe
archive           clean.bash      container  errors    html    log           naclmake.bash  race.bash      run.rc    syscall  vendor

那获取第三方库呢,我们之前已经讲过,使用 go 的命令行工具即可:

go get ****

比如, 我们爬虫借助了第三方库:

go get github.com/PuerkitoBio/goquery

如果下载速度太慢呢,我们可以使用这个工具,gopm。

首先它也是go 的一个第三库,首先需要下载 gopm

go get -u github.com/gpmgo/gopm

再使用 gopm 下载

gopm get ****

一个字:快

3. 编写代码和测试

  • download
  • parse
  • engine
  • main

好,经历前面的学习,项目组织会了,下载第三方库也会了。就差会写代码了。

首先我们分析下需求:抓取信息。

  • 获取网页信息:http 请求,返回信息
  • 解析需要的信息:正则、xpath、css 等获取网页字段

核心大概就这两点,便可以完成任务。但是我还是建议新手,在写代码之前都能有一套好的项目的组织。

好的项目组织有什么好处呢?

可以参看下这个视频:https://www.youtube.com/watch?v=MzTcsI6tn-0

我提几点:

1、养成好的项目组织风格 2、更好的写代码 3、更好的理解(读)代码

经过上文的分析:我们项目组织成这样(之前的文章也提到过):

下载器:即获取网页源代码

download
   download.go
   download_test.go
package download

import (
    "errors"
    "net/http"

    "github.com/PuerkitoBio/goquery"
)

var (
    ErrRequest  = errors.New("request error")
    ErrResponse = errors.New("response error")
)

func GetHtmlResponse(url string) (*goquery.Document, error) {
    var (
        request *http.Request
        err     error
    )
    request, err = http.NewRequest("GET", url, nil)
    if err != nil {
        return nil, ErrRequest
    }

    request.Header.Add("user-agent", "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36")

    var client *http.Client
    client = http.DefaultClient

    var response *http.Response
    response, err = client.Do(request)
    if err != nil {
        return nil, ErrResponse
    }

    defer response.Body.Close()
    return goquery.NewDocumentFromReader(response.Body)
}

解析器:即解析网页信息

parse
   v2ex
       job_parse.go
       job_parse_test.go
    jianshu
       info_parse.go
       info_parse_test.go
package v2ex

import (
    "github.com/PuerkitoBio/goquery"
)

func JobParse(response *goquery.Document) []string {

    var title []string

    response.Find("div#Main div.box div.cell.item").Each(func(i int, selection *goquery.Selection) {
        text := selection.Find("table tbody tr td").Eq(2).Find("span a").Text()
        //fmt.Println(text)
        title = append(title, text)
    })
    return title
}

调度器:即调度下载器和解析器,完成指定的网页信息的解析

engine
   engine.go
   engine_test.go
package engine

import (
    "go-example-for-live/fifteen/download"

    "errors"
    "fmt"

    "github.com/PuerkitoBio/goquery"
)

type Request struct {
    Url       string
    ParseFunc func(*goquery.Document) []string
}

type Requests []Request

var (
    ErrDownload = errors.New("download err")
)

func Run(seeds ...Request) {
    var requests Requests
    for _, seed := range seeds {
        requests = append(requests, seed)
    }

    for len(requests) > 0 {
        r := requests[0]
        requests = requests[1:]

        body, err := download.GetHtmlResponse(r.Url)
        if err != nil {
            fmt.Println(ErrDownload)
            continue
        }
        fmt.Println(r.ParseFunc(body))

    }

}

程序入口:main.go

main
   main.go
package main

import (
    "go-example-for-live/fifteen/engine"
    "go-example-for-live/fifteen/parse/jianshu"
    "go-example-for-live/fifteen/parse/v2ex"
)

func main() {
    engine.Run(
        engine.Request{
            Url:       "https://www.v2ex.com/?tab=jobs",
            ParseFunc: v2ex.JobParse,
        },
        engine.Request{
            Url:       "https://www.jianshu.com/u/58f0817209aa",
            ParseFunc: jianshu.InfoParse,
        },
    )
}

单元测试,我们不详细列举了。可以使用传统的方法也可以使用表格驱动法,也可以使用第三方库 GoConvey.

4. 运行相关

  • go fmt
  • go build
  • go install
  • go run
  • go test
  • go tool

1、优化代码

go fmt ****
  • 调整语句位置
  • 调整缩进
  • 调整花括号的位置
  • 调整空格等

2、构建 好,在上文我们编写完代码和测试用例之后,我们如何把程序分发出去给别人使用的呢?

go build

go build ****

根据库的名称自动编译出符合平台的二进制文件。

比如 在 main 目录下

go build 

则目录下自动生存 main.exe 文件。运行即可。

main.exe

[应届生在深圳找不到工作求职DeweyLiuwinglight2016 [杭州][可远程] 一只公司招聘前端...

go install

如何你设置了GOBIN ,即GOPATH 目录下的bin 文件夹。

则运行该命令,自动会在 GOBIN 目录下编译出同文件的二进制文件

# GOBIN
main.exe

go run

编译后运行。即编译完成后,立即执行程序。

go run main.go

好。上文都是编译和运行相关的命令。那测试如何运行?

go test

go test download_test.go 只运行这一个测试文件

go test ./... 运行整个项目下测试文件

λ go test ./...
ok      go-example-for-live/fifteen/download    1.436s
ok      go-example-for-live/fifteen/engine      0.701s
?       go-example-for-live/fifteen/main        [no test files]
ok      go-example-for-live/fifteen/parse/jianshu       0.690s
ok      go-example-for-live/fifteen/parse/v2ex  0.761s
go test -run=TestDownload -v  download_test.go 根据匹配规则运行厕所文件内的测试函数

go test -v ./... -cover

获取测试代码覆盖率。

5. 包管理

  • govendor
  • vgo

项目中使用到了第三方库,如果代码分发出去,不把第三方库文件置入项目中,则他们不能使用,除非重新下载第三方库。

那么如何进行库或者包的管理?

  • govendor

1、下载 govendor 2、 项目下 govendor init 3、govendor add +external

即将第三方库拷贝至项目内新建的目录 vendor 下。

├─download
├─engine
├─main
├─parse
│  ├─jianshu
│  └─v2ex
└─vendor
    ├─github.com
    │  └─PuerkitoBio
    │      └─goquery
    └─golang.org
  • vgo

官方主推的工具,我还不太会用。

https://zhuanlan.zhihu.com/p/33926171

6. 文档

  • godoc -http=:6060 -goroot="."

如果你写的代码注释比较好,或者你go 官网上不去,仅仅只是想离线观看 go 源代码的文档。

godoc -http:=6060

本地访问 localhost:6060 即可查看所有项目(包括内置库)的文档。


有任何疑问,可以查看所有工具的帮助文档。

  • go help
  • go tool help
  • govendor help
  • vogo help
  • gopm help

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏京东技术

99%的人都理解错了HTTP中GET与POST的区别

1622
来自专栏Java进阶架构师

周末学不动了,推荐五款小众实用的工具,请查收(内有大波妹福利)

这个确实好用,作为正在通往架构师路上的我们没有几台电脑怎么行?台式机、笔记本,都放在写字台上,笔记本内置键盘鼠标,台式机则有一套无线键鼠。经常需...

723
来自专栏冰霜之地

手把手教你利用Jenkins持续集成iOS项目

众所周知,现在App的竞争已经到了用户体验为王,质量为上的白热化阶段。用户们都是很挑剔的。如果一个公司的推广团队好不容易砸了重金推广了一个APP,好不容易有了一...

823
来自专栏JackieZheng

利用Solr服务建立的站内搜索雏形---solr1

最近看完nutch后总感觉像好好捯饬下solr,上次看到老大给我展现了下站内搜索我便久久不能忘怀。总觉着之前搭建的nutch配上solr还是有点呆板,在nutc...

2278
来自专栏ionic3+

【技巧】ionic3自动聚焦暴力实现

很早前和群里的人探讨过自动聚焦,在android上可以,但是在ios上失败,后来在网上看到这个:

602
来自专栏晨星先生的自留地

如何快速的搭建漏洞环境到复现到PoC

2491
来自专栏java思维导图

99%的人都理解错了HTTP中GET与POST的区别

1 GET与POST GET和POST是HTTP请求的两种基本方法,要说它们的区别,接触过WEB开发的人都能说出一二。 最直观的区别就是GET把参数包含在URL...

3485
来自专栏FreeBuf

Firefox/Chrome渗透测试插件推荐

注意:360安全浏览器有些比较不错的功能值得体验下(firefox/chrome有些功能我没能正常使用)不喜勿喷。firefox一直是各位渗透测试必备的利器,这...

4767
来自专栏13blog.site

短信发送接口被恶意访问的网络攻击事件(三)定位恶意IP的日志分析脚本

作者:13 GitHub:https://github.com/ZHENFENG13 版权声明:本文为原创文章,未经允许不得转载。 前言 承接前文《短...

3125
来自专栏魂祭心

原 REST - Representati

3437

扫码关注云+社区