前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >手把手教你造轮子:这个价值100万的短网址微服务,我送给你

手把手教你造轮子:这个价值100万的短网址微服务,我送给你

作者头像
程序员小助手
发布2020-04-08 14:31:54
5240
发布2020-04-08 14:31:54
举报

我是@程序员小助手, 本文从技术角度,对短网址进行深度挖掘。

前言

网上已经有产品,用着还不错。可是,作为程序员,从零开始造轮子,开发一个属于自己的短网址服务器,这想法amazing!

通过本文,读者可明白短网址的技术原理,以及通过Go语言实现一个短网址服务

简明教程

短网址为什么存在?

微博等产品的兴起,活跃了网上的社交圈内大多数用户。但是微博一般有140字限制,如果不转发,单纯评论文字,再加上一段网址,极有可能超过限制而被截断

短网址应运而生,用较短的一个字符串,替换较长的一个字符串,从观感上讲,效果要友好的多。

从技术原理上说,短网址是一个hash表,用于映射两个字符串的对应关系。

使用键,找到对应的值,重定向进行访问,就完成了整个流程。

短网址算法

短网址的一般结构,比如新浪的 SwuTjn,其中后端的一段6位字符串,就是用来唯一标记一条记录的ID。那么,使用什么算法,可以生成一条无重复的ID呢?

使用通用的做法,使用 0-9 A-Z a-z 一共62个字符,我们看使用hash键位数分别有多少种排列组合情况。

  • 1位:pow(62,1) = 62 种
  • 2位:pow(62,2) = 3844 种
  • 3位:pow(62,3) = 238328 种
  • 4位:pow(62,4) = 14776336 种
  • 5位:pow(62,5) = 916132832 种
  • 6位:pow(62,6) = 56800235584 种

一般情况下,6个字符,就足够使用了,共计568亿种可能。

还有一种情况是,用原网址字符串的MD5值,共计32位,然后通过切分为4段,分别按位与运算,并裁剪到30位。间隔5位选出该位的字符作为该段索引,共有6位。但是这种做法也有几率发生重复,也不直观

因此本文使用第一种算法生成键ID。

工具准备

分析短网址的特性,包含以下项目:

  1. 唯一性:键需要全局唯一
  2. 时效性:键需要有过期时间
  3. 目标网址唯一,如果重复,则自动返回既有的键。

考虑到上述情形,我们使用redis存储这些对应关系。使用Gin框架作为路由和控制器,提供对外的API访问。

核心函数

计算机中常见的2进制,8进制,10进制,16进制,我们此处需要使用62个字符,循环表示一个整数,那么可称之为62进制。

下面使用go语言实现这个函数,用于将任意的整数(uint64)转换为(0-9A-Za-z)的字符串。

需要注意,基础的方法,就是循环取余数,根据进制字典,索引相应的字符,然后将各个余数拼接出来,就是结果。

这个计算方法,与2进制,8进制,原理是相同的。

由于字典比较长,有62个键值对,我们仅列出一部分。

上述函数的转换结果,类似于 6489264001 = 75ai0p

功能规划

下面是对于系统路由,创建短链接,以及使用短链接访问目标网址的方法。

1 - 规划路由

路由比较简单,一共2个,一个POST方法,生成短链接;一个是GET方法,访问短链接。

代码如下:

2 - 引入redis并初始化

为了方便演示,我们使用redis存储键值,并设置expire时间。

"github.com/gin-gonic/gin"

"github.com/go-redis/redis/v7"

我们使用go-redis提供的接口操作redis数据库。

下面是全局的 redis.Client 对象生成,和初始化函数。

这样做的好处是,我们全局都可以使用变量 rdb 调用方法操作redis键值。

3 - 实现POST路由方法:add

本函数用于接收form表单数据,生成一个全局唯一的 hash ,作为键,存入redis,设置值和过期时间。

代码如下:

本段我们使用了一个 getCounter 函数,这是设置在redis内的键,将其每次请求创建的时候,自增+1,可保证无重复。根据这个计数器,我们调用 helper的 DecToAny 方法,将其转化为62进制的字符串,作为全局唯一的 hash 值。

下图是 getCounter 的定义:

特别注意的是,helper包,就是我们在“核心函数”部分定义的函数。在主函数体内引用。

4 - 实现GET方法:visit

本函数主要用于使用上一节接口生成的短链接,进行访问,并自动重定向到目标网址。

代码如下:

对于不存在的短链接,或者redis获取失败,返回错误信息。

如果存在,使用 301 = StatusMovedPermanently 状态码重定向到目标地址。

测试

我们使用curl工具,测试上述两个接口。

首先,使用POST表单提交数据:

curl -s -X POST -d "target=https://httpbin.org/ip" -d "expire=600" http://localhost:9090/

上述方法,我们提交了两个参数,命中路由之后,会访问上一节第3条的add方法,并生成一个短链接网址。返回JSON格式数据如下:

{"message":"ok","short_url":"http://localhost:9090/75ai0r","status":1}

其中,short_url 就是短网址。

接着,我们在使用curl访问这个链接,看是否发生重定向。截图如下:

可以看到,执行了301重定向,并给出了目标网址,与我们上述表单想要创建的地址一致。

最后,故障测试。访问一个不存在的hash,看是否排除异常信息。截图如下:

可以看到,执行了错误返回信息

结语

以上我们使用GO语言框架Gin实现了两个路由,并使用redis管理短链接。核心函数使用helper包管理,经过测试,实现了短网址的功能

以上代码在本地测试通过,也可部署到线上服务器对外开发端口,提供服务,效果是一样的。

希望通过这个流程,使大家对于短网址的知识,有一些了解,并能根据自身的编程能力,创作出更好用的短网址服务

Happy coding :-)

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2020-03-08,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 程序员小助手 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 前言
  • 简明教程
  • 短网址算法
  • 工具准备
  • 核心函数
  • 功能规划
  • 测试
  • 结语
相关产品与服务
云数据库 Redis
腾讯云数据库 Redis(TencentDB for Redis)是腾讯云打造的兼容 Redis 协议的缓存和存储服务。丰富的数据结构能帮助您完成不同类型的业务场景开发。支持主从热备,提供自动容灾切换、数据备份、故障迁移、实例监控、在线扩容、数据回档等全套的数据库服务。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档