『Go 内置库第一季:net/url』

TEACHING_GOPHER.png

大家好,我叫谢伟,是一名程序员。

近期会同步内置库的学习,主要参考文献官方文档和源代码

本节的主题:url

其实这是一个比较小的内置函数,主要用在网络请求方面上,可能最多的用途也就是用来处理网络请求的参数。当然如何你经常在项目中编写restfulAPI, 那么你也可能经常用到。

大纲:

  • 原理知识
  • 基本的用法
  • 学习到了什么

1. 原理知识

URL: Uniform Resource Location, 称之为统一资源定位符。

出现的背景是:打个比方,比如你要找家里的东西,首先,你是不是会对东西的归属分析,比如,一把菜刀,你最大的可能是去厨房吧,这样能大概率的找到。网络上的资源也是这样,为了精准的找到服务器上的资源,有了 url。

那关于 url 有哪些知识呢?

  • 代表的含义
  • 组成部分:你要知道 url 的具体形式是什么吧
  • 语法

1.1 代表的含义

就字面上的意思:统一资源定位符,唯一定位网络上的资源。

1.2 组成的部分

首先给个实例:

https://www.google.com
  • 方案 scheme: 主要表示的是使用的是何种协议,比如 HTTP,FTP 等
  • 服务器的地址: 你可以使用 ip 地址,也可以使用域名,所以IP 地址到域名之间存在一个映射关系
  • 资源路径: 这部分就针对的是网络具体的资源的地址

这个好理解吧,和我们日常中的家庭地址、公司地址一样的含义,先定位省份,再定位市区,继而继续定位下去,直到找到你的地址。

网络的上资源,基本上还是借用这套思路:先定位到服务器上的地址,继而定位到具体的资源的地址。URL 就是这个意思。

1.3 语法组成

为了规范这些网络上的资源的地址,需要有一套规范,这套语法到底包含哪些东西?

  • 方案: scheme ,具体指访问服务器上的资源使用的哪种协议
  • 用户: 有些协议可以传入明文用户名和密码获取资源,比如 FTP
  • 密码
  • 主机: 服务器地址,可以是 IP 地址,也可以是域名信息
  • 端口: 一串数字
  • 路径: 资源的路径,使用 “/” 分隔
  • 参数: example=one&hello=world 类似于这样的键值对
  • 查询: 标识符是 “?” 和参数配合使用
  • 片段: 标识符是 ”#“

好,不好理解,举个例子:

https://godoc.org/net/url#example-Values
  • scheme: https
  • 用户: 无
  • 密码: 无
  • 主机: godoc.org
  • 端口: 无
  • 路径: net/url
  • 参数: 无
  • 查询: 无
  • 片段: example-Values

有些是可选项,所以到最后,常用的是这几个概念:

  • scheme(方案、协议)
  • host(服务器地址)
  • port(服务器端口)
  • path(路径)
  • params(参数)
  • fragment(片段)

另外在请求的过程中还存在一个问题:编码,用来在URL 中表示各种不安全的字符

常见的编码:

字符

示例

~

%7

空格

%20

%

%

2. 基本用法

和根据上文的解释,我们明白 URL 的含义,但最终的它其实是一串字符串,只不过在网络资源请求层面,这串字符串赋予了更多的含义。

先撇开,官方的内置库的用法,我们首先想要自己实现,如何操作?

根据 url 的组成, 我们可能会设计如下面这个样子

type Url struct {
    Scheme   string 
    User     string
    Password string
    Host     string
    Port     string
    Path     string
    Params   map[string][]string
    Fragment string
}

好,假如设计成这样,我们将一串字符串转化成 我们定义的类型 Url, 如何得到各个部分呢?

https://godoc.org/net/url#example-Values

对照着各个含义,那么我们的思路应该是对这串字符的处理,比如按:,//,/,# 等划分得到我们需要的内容。

以上是我们自己的思考,如果感兴趣,可以自己单独实现下,想想:自己会提供哪些公开的方法?又会设计些什么辅助的功能?

下面查看官方的实现:

示例:

package main

import (
    "fmt"
    "net/url"
)

var urlCollection struct {
    urlOne   string
    urlTwo   string
    urlThree string
    urlFour  string
    urlFive  string
}

func init() {
    urlCollection.urlOne = "https://www.google.com"
    urlCollection.urlTwo = "http://localhost:8887/v1/api/cloud_api/fetcher?email=1156143589@qq.com"
    // https://developer.readsense.cn/docs/retail/retailv2/regions.html#删除区域
    urlCollection.urlThree = "https://developer.readsense.cn/docs/retail/retailv2/regions.html#%E5%88%A0%E9%99%A4%E5%8C%BA%E5%9F%9F"
    urlCollection.urlFour = "https://joe:joepassword@www.email.com/share_info.txt"
    urlCollection.urlFive = "https://godoc.org/net/url#example-Values"
}

func main() {
    OpUrl(urlCollection.urlOne)
    OpUrl(urlCollection.urlTwo)
    OpUrl(urlCollection.urlThree)
    OpUrl(urlCollection.urlFour)
    OpUrl(urlCollection.urlFive)

}
func OpUrl(urlString string) {

    URL, _ := url.Parse(urlString)
    fmt.Println("user", URL.User)
    fmt.Println("scheme", URL.Scheme)
    fmt.Println("host", URL.Host)
    fmt.Println("port", URL.Port())
    fmt.Println("rawQuery", URL.RawQuery)
    fmt.Println("rawPath", URL.RawPath)
    fmt.Println("path", URL.Path)
    fmt.Println("forceQuery", URL.ForceQuery)
    fmt.Println("fragment", URL.Fragment)

}

可以看出:url.Parse 可以将字符串转化成 URL 对象,该对象包含:User,Scheme,Host,Path,RawPath,ForceQuery,Fragment 字段和一些方法。

查看源代码,看URL 类型对象是如何定义?

type URL struct {
Scheme     string
Opaque     string    // encoded opaque data
User       *Userinfo // username and password information
Host       string    // host or host:port
Path       string    // path (relative paths may omit leading slash)
RawPath    string    // encoded path hint (see EscapedPath method)
ForceQuery bool      // append a query ('?') even if RawQuery is empty
RawQuery   string    // encoded query values, without '?'
Fragment   string    // fragment for references, without '#'
}

看上去,和我们预想的差别不大,但作者想的比我们深,比如把编码也考虑进去了,所有会有RawQuery,RawPath 等字段。

继续查看:

func PathEscape(s string) string
func PathUnescape(s string) (string, error)
func QueryEscape(s string) string
func QueryUnescape(s string) (string, error)
type Error
func (e *Error) Error() string
func (e *Error) Temporary() bool
func (e *Error) Timeout() bool
type EscapeError
func (e EscapeError) Error() string
type InvalidHostError
func (e InvalidHostError) Error() string
type URL
func Parse(rawurl string) (*URL, error)
func ParseRequestURI(rawurl string) (*URL, error)
func (u *URL) EscapedPath() string
func (u *URL) Hostname() string
func (u *URL) IsAbs() bool
func (u *URL) MarshalBinary() (text []byte, err error)
func (u *URL) Parse(ref string) (*URL, error)
func (u *URL) Port() string
func (u *URL) Query() Values
func (u *URL) RequestURI() string
func (u *URL) ResolveReference(ref *URL) *URL
func (u *URL) String() string
func (u *URL) UnmarshalBinary(text []byte) error
type Userinfo
func User(username string) *Userinfo
func UserPassword(username, password string) *Userinfo
func (u *Userinfo) Password() (string, bool)
func (u *Userinfo) String() string
func (u *Userinfo) Username() string
type Values
func ParseQuery(query string) (Values, error)
func (v Values) Add(key, value string)
func (v Values) Del(key string)
func (v Values) Encode() string
func (v Values) Get(key string) string
func (v Values) Set(key, value string)

可以看出,重要的用法有:

  • 将字符串转化成 URL 对象,URL 对象获取相应的组成成分,存在相应的方法
  • URL 中的参数 Values 很重要,特别是我们编写 restfulAPI 的过程,也会思考这个问题,请求参数。 她的底层是 map[string][]string , 所以可以Add, Del, Get,Set等方法,这个东西需要记住,下次我们分析 net/http 库的一个重要部分就是:对请求参数的处理

最后,再看下,这个库对错误的处理:

type EscapeError string

func (e EscapeError) Error() string {
    return "invalid URL escape " + strconv.Quote(string(e))
}

type InvalidHostError string

func (e InvalidHostError) Error() string {
    return "invalid character " + strconv.Quote(string(e)) + " in host name"
}
  • 定义一个结构体
  • 实现 Error 方法,继而实现 error 接口

3. 学到了什么

  1. 站在设计者的角度思考,我应该怎么设计?
  2. 如何设计的思路来源于原理,而不是胡乱思考。
  3. 返过来再去看书本中的原理

<完>

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏潇涧技术专栏

ChromeADB Project Analysis

chromeadb项目源码:https://github.com/importre/chromeadb chromeadb工具的本质就是利用adb命令以可视化...

2791
来自专栏Vamei实验室

被解放的姜戈03 所谓伊人

在之前的程序中,我们直接生成一个字符串,作为http回复,返回给客户端。这一过程中使用了django.http.HttpResponse()。 在这样的一种回复...

2048
来自专栏CRPER折腾记

Angular 2 + 折腾记 :(2)初步认识angular2,不一样的开发模式

想来想去,概念这些东西不怎么想讲,更多的是想讲点实战性的内容。 所以有些东西跳过去了,小伙伴们请去看官方文档哈;跳跃性的前进,写的不好多包涵。。。

972
来自专栏Golang语言社区

Go语言并发与并行学习笔记

Go语言的并发和并行 不知道你有没有注意到一个现象,还是这段代码,如果我跑在两个goroutines里面的话: var quit chan int = make...

3905
来自专栏肖洒的博客

Java调用Python的错误

因为这篇Java调用Python 之前试过用Java调用Python,到真正用的时候才发现是一个乌龙。

1762
来自专栏小鹏的专栏

在mac上安装Xgboost Python库

最近在mac上用到xgboost库,安装时遇到颇多大坑,网上查了很多答案几乎都是win上的问题,没遇到理想的,自己也就摸着石头把几个大坑给填了,总结一下,给后...

25610
来自专栏CRPER折腾记

NG2.4.10升级NG4正式版[正式项目]:修正AOT打包报错的一些问题

上周五,ng4正式发布了。。很多小伙伴迫不及待的把项目升级了。。。 然后到群里各种吼,无损升级,没有什么奇葩问题,大家放心升级。。 我信了。。。把公司的项目给升...

741
来自专栏Android小菜鸡

NativeJS理解和使用

  Native.js技术,简称NJS,是一种将手机操作系统的原生对象转义,映射为JS对象,在JS里编写原生代码的技术。   如果说Node.js把js扩展到...

5945
来自专栏CSDN技术头条

如何在JavaScript中处理大量数据

在几年之前,开发人员不会去考虑在服务端之外处理大量的数据。现在这种观念已经改变了,很多Ajax程序需要在客户端和服务器端传输大量的数据。此外,更新DOM节点的处...

1829
来自专栏杨龙飞前端

spring学习起步

3905

扫码关注云+社区