前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >『Go 语言学习专栏』-- 第九期

『Go 语言学习专栏』-- 第九期

作者头像
谢伟
发布2018-06-06 11:06:32
5780
发布2018-06-06 11:06:32
举报
文章被收录于专栏:GopherCoder

golang-learning-9.png

10.png

大家好,我叫谢伟,是一名程序员。

我们已经研究了:

今天的主题:Go 语言语法练习。

我们需要达到一个什么样的目的:目标网站 gocn,抓取所有信息,以我们需要的形式返回信息。

具体结果是这样的:http://localhost:8080/gocn/api/v1/tenants/contents/{page}

json.png

项目虽然小,但是有几个要点:

  • 项目的组织
  • go 爬虫
  • restful api 设计

尤其是 restful api 设计,在微服务领域,经常要设计一个组件,提供一些服务,各服务之间通过接口相互访问,同时对组件的编程语言、架构都没有要求,只对外暴露出现接口即可,通过接口访问,组件内部进行相应的处理。

这里我们不细讲,下次专门讲下 restful api 的设计:包括 HTTP 路由设计、状态码设计、返回值设计、错误信息设计。

1. 项目组织

代码语言:javascript
复制
workspace
   domain
       objects.go
   download
      download.go
   engine
      engine.go
  infra
     util_string.go
  main
    main.go
  parse
    gocn
        gocn_parse.go
  ui
    api-server
       api-server.go
       route_function.go

2. 定义字段

代码语言:javascript
复制
domain
   objects.go

定义抓取的字段:

代码语言:javascript
复制
type Content struct {
    URL          string
    Title        string
    Tag          string
    Reporter     string
    ReporterHome string
    Followers    int
    Answers      int
    Answerer     string
    See          int
    Passage      string
}

field.png

问题链接、标题、所属板块、楼主、楼主主页、关注数、回复数、浏览数、正文

3. 下载器

代码语言:javascript
复制
   download
      download.go
代码语言:javascript
复制
package download

import (
    "net/http"

    "errors"

    "github.com/PuerkitoBio/goquery"
)

var (
    ErrorHttpRequest  = errors.New("http request error")
    ErrorHttpResponse = errors.New("http response error")
)

func Download(url string) (*goquery.Document, error) {
    var (
        req *http.Request
        err error
    )
    if req, err = http.NewRequest("GET", url, nil); err != nil {
        return nil, ErrorHttpRequest
    }

    client := http.DefaultClient
    req.Header.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36")
    var (
        resp *http.Response
    )
    if resp, err = client.Do(req); err != nil {
        return nil, ErrorHttpResponse
    }

    defer resp.Body.Close()

    return goquery.NewDocumentFromReader(resp.Body)
}
  • 使用了内置的 net/http 库
  • 使用了第三方库 goquery ,主要是它很好的对网页解析

4. 解析器

代码语言:javascript
复制
  parse
    gocn
        gocn_parse.go
代码语言:javascript
复制
package gocn

import (
    "errors"

    "go-example-for-live/nine_learning/infra"

    "go-example-for-live/nine_learning/download"

    "go-example-for-live/nine_learning/domain"

    "github.com/PuerkitoBio/goquery"
)

var (
    ErrorParse = errors.New("parse error")
)

func TitleParse(document *goquery.Document) domain.Contents {

    var (
        AllContents domain.Contents
        OneContent  domain.Content
    )

    document.Find("div.aw-common-list div.aw-item").Each(func(i int, selection *goquery.Selection) {
        var (
            user           string
            userHome       string
            url            string
            passageContent string
            title          string
            tag            string
            lastAnswer     string
            one            int
            two            int
            three          int
        )
        user = infra.StringSplit(selection.Find("a").Eq(0).AttrOr("href", "None"))
        userHome = selection.Find("a").Eq(0).AttrOr("href", "None")
        url = selection.Find("div h4 a").AttrOr("href", "None")
        doc, _ := download.Download(url)
        passageContent, _ = PassageParse(doc)
        title = infra.StringTrim(selection.Find("div h4").Text())
        tag = selection.Find("p a").Eq(0).Text()
        lastAnswer = selection.Find("p a").Eq(1).Text()
        one, two, three = infra.StringSplitByDot(selection.Find("p span").Eq(0).Text())
        //fmt.Println(user, userHome, url, title, tag, lastAnswer, one, two, three, passageContent)

        OneContent = domain.Content{
            URL:          url,
            Title:        title,
            Tag:          tag,
            Reporter:     user,
            ReporterHome: userHome,
            Followers:    one,
            Answers:      two,
            Answerer:     lastAnswer,
            See:          three,
            Passage:      passageContent,
        }
        //fmt.Println(OneContent)
        AllContents = append(AllContents, OneContent)

    })
    return AllContents

}

func PassageParse(document *goquery.Document) (string, error) {
    var content string
    content = infra.StringTrim(document.Find("div.content.markitup-box").Text())
    return infra.StringsReplace(content), nil
}
  • PassageParse 获取正文
  • TitleParse 解析其他字段

5. 调度引擎

代码语言:javascript
复制
   engine
      engine.go
代码语言:javascript
复制
package engine

import (
    "errors"
    "go-example-for-live/nine_learning/download"

    "fmt"

    "go-example-for-live/nine_learning/parse/gocn"

    "go-example-for-live/nine_learning/domain"

    "github.com/PuerkitoBio/goquery"
)

var (
    ErrorRun = errors.New("engine error")
)

var (
    ContentsNil = domain.Contents{}
)

func Run(request domain.Request) (domain.Contents, error) {

    var (
        doc *goquery.Document
        err error
    )
    if doc, err = download.Download(request.Url); err != nil {
        fmt.Println(err)
        return ContentsNil, ErrorRun
    }

    return gocn.TitleParse(doc), nil

}

6. api 服务

代码语言:javascript
复制
  ui
    api-server
       api-server.go
       route_function.go
代码语言:javascript
复制
package apiserver

import (
    "log"
    "net/http"

    "github.com/emicklei/go-restful"
)

type APIServer struct {
    container *restful.Container
}

type APIServers []APIServer

func (a *APIServer) init() {
    wsContainer := restful.NewContainer()
    wsContainer.EnableContentEncoding(true)
    wsContainer.Router(restful.CurlyRouter{})
    a.container = wsContainer
}

func (a *APIServer) register() {
    ws := new(restful.WebService)
    ws.Consumes(restful.MIME_JSON)
    ws.Produces(restful.MIME_JSON)

    ws.Path("/gocn")
    ws.Route(ws.GET("/api/v1/tenants/contents/{page}").To(GetContents))

    a.container.Add(ws)

}

func (a *APIServer) Start() {
    server := &http.Server{Addr: ":8080", Handler: a.container}
    log.Fatal(server.ListenAndServe())
}

func New() *APIServer {
    apiServer := &APIServer{container: nil}
    apiServer.init()
    apiServer.register()
    return apiServer
}
代码语言:javascript
复制
package apiserver

import (
    "go-example-for-live/nine_learning/domain"
    "go-example-for-live/nine_learning/engine"
    "go-example-for-live/nine_learning/parse/gocn"

    "fmt"

    "github.com/emicklei/go-restful"
)

var (
    startURL = "https://gocn.io/sort_type-new__day-0__is_recommend-0"
    rootURL  = "https://gocn.io/sort_type-new__day-0__is_recommend-0__page-%s"
)

func GetContents(request *restful.Request, response *restful.Response) {
    var (
        page string
        url  string
    )
    page = request.PathParameter("page")
    if page == "" {
        url = startURL
    } else {
        url = fmt.Sprintf(rootURL, page)
    }
    contents, _ := engine.Run(
        domain.Request{
            Url:       url,
            ParseFunc: gocn.TitleParse,
        },
    )
    response.WriteEntity(contents)
}
  • 使用了go-restful 库
  • http 主要包含这么几个东西
代码语言:javascript
复制
1. http 方法
2. request 
3. reponse

7. 主函数入口

代码语言:javascript
复制
main
   main.go
代码语言:javascript
复制
package main

import "go-example-for-live/nine_learning/ui/api-server"

func main() {
    apiserver.New().Start()

}

启动http 服务,监听8080 端口。

8. 访问

代码语言:javascript
复制
http://localhost:8080/gocn/api/v1/tenants/contents/{page}

访问源代码:https://github.com/wuxiaoxiaoshen/go-example-for-live

通过本节,希望你能知道,如何组织项目结构,go 常用的用法:变量的用法、错误处理机制、结构体定义、结构体方法、第三方库的使用。

再会,我是谢伟。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2018.05.19 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1. 项目组织
  • 2. 定义字段
  • 3. 下载器
  • 4. 解析器
  • 5. 调度引擎
  • 6. api 服务
  • 7. 主函数入口
  • 8. 访问
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档