前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >URL短网址生成算法原理

URL短网址生成算法原理

作者头像
阳光岛主
发布2019-02-18 11:19:39
4.4K2
发布2019-02-18 11:19:39
举报
文章被收录于专栏:米扑专栏米扑专栏米扑专栏

短网址(Short URL),是在形式上比较短的网址,通过映射关系跳转到原有的长网址。

本文转自米扑博客:URL短网址生成算法原理

通常用 php 或 python 转向,在Web 2.0的今天,不得不说,这是一个潮流。

自从twitter推出短网址(short url),继之国内各大微博跟风,google公开goo.gl使用API,短网址之风愈演愈烈。不得不说这是一个新兴又一大热门web2.0服务。

现整理一下,包括完整短网址网站,短网址生成原理,算法举例,以及优劣比较,同时还介绍几个phper个人实现的。

目前已经有许多类似服务,借助短网址您可以用简短的网址替代原来冗长的网址,让使用者可以更容易的分享链接。

例如

短网址:http://t.cn/R3Krh36

长网址:https://blog.mimvp.com/article/25420.html

生成短网址:http://dwz.wailian.work/index.php

短网址服务,可能很多朋友都已经不再陌生,现在大部分微博、手机邮件提醒等地方已经有很多应用模式了,并占据了一定的市场。估计很多朋友现在也正在使用。

看过新浪的短连接服务,发现后面主要有6个字符串组成,于是第一个想到的就是原来公司写的一个游戏激活码规则,也就是下面的算法2,

1)26个大写字母 26小写字母,10个数字,随机生成6个然后插入数据库对应一个id,

2)短连接跳转的时候,根据字符串查询到对应id,即可实现相应的跳转

62种字符组合成6位字符,62^6=568亿个组合数量,重复的概率是很小的

短链接的好处

1、内容需要;2、用户友好;3、便于管理。

为什么要这样做的,原因我想有这样几点:

1)微博限制一条字数为140字,那么如果我们需要发一些连接上去,但是这个连接非常的长,以至于将近要占用我们内容的一半篇幅,这肯定是不能被允许的,所以短网址应运而生了。

2)短网址在项目里可以很好的对开放级URL进行管理。有一部分网址可以会涵盖暴力、广告等信息,这样我们可以通过用户的举报,完全管理这些链接不出现在我们的应用中。因为同样的URL通过加密算法之后,得到的地址是一样的。

3)我们可以对一系列的网址进行流量,点击等统计,挖掘出大多数用户的关注点,这样有利于我们对项目的后续工作更好的作出决策。

算法原理

算法一

1) 将长网址md5生成32位签名串,分为4段,每段8个字节;  52c06085  c4529732  5433e0c7  5b140565

2) 对这四段循环处理,取8个字节,将他看成16进制串与0x3fffffff(30位1)与操作,即前缀超过30位的字符串做忽略处理,直接舍弃掉了;

3) 这30位分成6段,每5位的数字作为字母表的索引取得特定字符,依次进行获得6位字符串;

4) 总的md5串可以获得4个6位串,取里面的任意一个就可作为这个长url的短url地址;

这种算法,虽然会生成4个,但是仍然存在重复几率

PHP版本实现

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32

function ShortUrl($input) {     $base32 = array (             'a', 'b', 'c', 'd', 'e', 'f', 'g', 'h',             'i', 'j', 'k', 'l', 'm', 'n', 'o', 'p',             'q', 'r', 's', 't', 'u', 'v', 'w', 'x',             'y', 'z', '0', '1', '2', '3', '4', '5'     );           $hex = md5($input);     $hexLen = strlen($hex);     $subHexLen = $hexLen / 8;   // 划分为4段,保留4组结果     $resultArray = array();           for ($i = 0; $i < $subHexLen; $i++) {         $subHex = substr ($hex, $i * 8, 8);         // 分成4段,每段取8位字符         $int = 0x3FFFFFFF & (1 * ('0x'.$subHex));       // 8位字节与16进制取与操作         $out = '';                   for ($j = 0; $j < 6; $j++) {             $val = 0x0000001F & $int;   // 取0~31之间的整数             $out .= $base32[$val];      // 从数组中获取对应字符             $int = $int >> 5;         }                   $resultArray[] = $out;     }           return $resultArray; }   echo "ShortUrl: " ; var_dump(ShortUrl("https://blog.mimvp.com/article/25420.html"));

运行结果:

1 2 3 4 5 6 7

ShortUrl: /Users/homer/Downloads/myCode/workspace/proxy_client/phpinfo.php:35: array (size=4)   0 => string '3ykjuq' (length=6)   1 => string '4tsnn5' (length=6)   2 => string 'mekmmj' (length=6)   3 => string 'uhn0rz' (length=6)

PHP 改进型

把固定长度6位,改进成动态调整的,如5、6、10、15位等,使其是30个质数之一

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32

function ShortUrl($input, $length=6) {     $base32 = array (             'a', 'b', 'c', 'd', 'e', 'f', 'g', 'h',             'i', 'j', 'k', 'l', 'm', 'n', 'o', 'p',             'q', 'r', 's', 't', 'u', 'v', 'w', 'x',             'y', 'z', '0', '1', '2', '3', '4', '5'     );           $hex = md5($input);     $hexLen = strlen($hex);     $subHexLen = $hexLen / 8;   // 划分为4段,保留4组结果     $resultArray = array();           for ($i = 0; $i < $subHexLen; $i++) {         $subHex = substr ($hex, $i * 8, 8);         // 分成4段,每段取8位字符         $int = 0x3FFFFFFF & (1 * ('0x'.$subHex));       // 8位字节与16进制取与操作         $out = '';                   for ($j = 0; $j < $length; $j++) {             $val = 0x0000001F & $int;   // 取0~31之间的整数             $out .= $base32[$val];      // 从数组中获取对应字符             $int = $int >> (30/$length);         }                   $resultArray[] = $out;     }           return $resultArray; }   echo "ShortUrl: " ; var_dump(ShortUrl("https://blog.mimvp.com/article/25420.html", 10));

运行结果:

1 2 3 4 5 6 7

ShortUrl: /Users/homer/Downloads/myCode/workspace/proxy_client/phpinfo.php:35: array (size=4)   0 => string '3dmvkjrkbe' (length=10)   1 => string '4pjfmnvw4h' (length=10)   2 => string 'mrcucmrwsc' (length=10)   3 => string 'u4t0t0hytg' (length=10)

算法二

a-zA-Z0-9 这62位取6位组合,可产生62^6=568亿个组合数量,把数字和字符组合做一定的映射,就可以产生唯一的字符串,如第62个组合就是aaaaa9,第63个组合就是aaaaba,再利用洗牌算法,把原字符串打乱后保存,那么对应位置的组合字符串就会是无序的组合。

把长网址存入数据库,取返回的id,找出对应的字符串,例如返回ID为1,那么对应上面的字符串组合就是bbb,同理 ID为2时,字符串组合为bba,依次类推,直至到达62种组合后才会出现重复的可能,所以如果用上面的62个字符,任意取6个字符组合成字符串的话,你的数据存量达到500多亿后才会出现重复的可能。具体参看这里彻底完善新浪微博接口和超短URL算法,算法四可以算作是此算法的一种实现,此算法一般不会重复,但是如果是统计的话,就有很大问题,特别是对域名相关的统计,就抓虾了。

Java 版本实现

package com.mimvp;
 
import java.security.MessageDigest;
 
public class TestShortUrl {
 
    public static void main(String[] args) {
        String sLongUrl = "https://blog.mimvp.com/article/25420.html"; // 长链接
        String[] aResult = shortUrl(sLongUrl);
        // 打印出结果
        for (int i = 0; i < aResult.length; i++) {
            System.out.println("[" + i + "]:::" + aResult[i]);
        }
    }
 
    public static String[] shortUrl(String url) {
         
        // 要使用生成 URL 的字符
        String[] chars = new String[] { "a", "b", "c", "d", "e", "f", "g", "h", "i", "j", "k", "l", "m", "n", "o", "p",
                "q", "r", "s", "t", "u", "v", "w", "x", "y", "z", "0", "1", "2", "3", "4", "5", "6", "7", "8", "9", "A",
                "B", "C", "D", "E", "F", "G", "H", "I", "J", "K", "L", "M", "N", "O", "P", "Q", "R", "S", "T", "U", "V",
                "W", "X", "Y", "Z"
        };
 
        String key = "mimvp.com";                               // 可以自定义生成 MD5 加密字符传前的混合加密key
        String sMD5EncryptResult = CMyEncrypt.md5(key + url);       // 对传入网址进行 MD5 加密,key是加密字符串
        String hex = sMD5EncryptResult;
 
        String[] resUrl = new String[4];
        for (int i = 0; i < 4; i++) {
            // 把加密字符按照8位一组16进制与0x3FFFFFFF进行位与运算
            String sTempSubString = hex.substring(i * 8, i * 8 + 8);
 
            // 这里需要使用 long 型来转换,因为 Inteter.parseInt() 只能处理 31 位 , 首位为符号位 , 如果不用 long ,则会越界
            long lHexLong = 0x3FFFFFFF & Long.parseLong(sTempSubString, 16);
            String outChars = "";
            for (int j = 0; j < 6; j++) {
                long index = 0x0000003D & lHexLong;     // 把得到的值与 0x0000003D 进行位与运算,取得字符数组 chars 索引
                outChars += chars[(int) index];         // 把取得的字符相加
                lHexLong = lHexLong >> 5;             // 每次循环按位右移 5 位
            }
            resUrl[i] = outChars;                       // 把字符串存入对应索引的输出数组
        }
        return resUrl;
    }
}
 
 
class CMyEncrypt {
    // 十六进制下数字到字符的映射数组
    private final static String[] hexDigits = { "0", "1", "2", "3", "4", "5", "6", "7", "8", "9", "A", "B", "C", "D", "E", "F" };
 
    /** 把inputString加密 */
    public static String md5(String inputStr) {
        return encodeByMD5(inputStr);
    }
 
    /**
     * 验证输入的密码是否正确
     * 
     * @param password 真正的密码(加密后的真密码)
     * @param inputString 输入的字符串
     * @return 验证结果,boolean类型
     */
    public static boolean authenticatePassword(String password, String inputString) {
        if (password.equals(encodeByMD5(inputString))) {
            return true;
        } else {
            return false;
        }
    }
 
    /** 对字符串进行MD5编码 */
    private static String encodeByMD5(String originString) {
        if (originString != null) {
            try {
                // 创建具有指定算法名称的信息摘要
                MessageDigest md5 = MessageDigest.getInstance("MD5");
                // 使用指定的字节数组对摘要进行最后更新,然后完成摘要计算
                byte[] results = md5.digest(originString.getBytes());
                // 将得到的字节数组变成字符串返回
                String result = byteArrayToHexString(results);
                return result;
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
        return null;
    }
 
    /**
     * 轮换字节数组为十六进制字符串
     * 
     * @param b 字节数组
     * @return 十六进制字符串
     */
    private static String byteArrayToHexString(byte[] b) {
        StringBuffer resultSb = new StringBuffer();
        for (int i = 0; i < b.length; i++) {
            resultSb.append(byteToHexString(b[i]));
        }
        return resultSb.toString();
    }
 
    // 将一个字节转化成十六进制形式的字符串
    private static String byteToHexString(byte b) {
        int n = b;
        if (n < 0) {
            n = 256 + n;
        }
        int d1 = n / 16;
        int d2 = n % 16;
        return hexDigits[d1] + hexDigits[d2];
    }
 
    public static void main(String[] args) {
        CMyEncrypt.md5("https://blog.mimvp.com/about");
    }
}

运行结果:

执行上面代码,输出的结果如下,会产生4 组6位字符串,任意一组都可以作为当前字符串的短链接地址。

[0]:::VFvAr2
[1]:::iiI3a2
[2]:::Z3EvEv
[3]:::jMjU3a

PHP 随机数版

原理:指定长度,做多次循环,每次从长字符串里随机取出一位字符,组合成指定长度字符串即可

function random($length, $pool = '') {
    $random = '';
     
    if (empty ( $pool )) {
        $pool = 'abcdefghkmnpqrstuvwxyz';
        $pool .= '23456789';
    }
     
    srand ( ( double ) microtime () * 1000000 );
     
    for($i = 0; $i < $length; $i ++) {
        $random .= substr ( $pool, (rand () % (strlen ( $pool ))), 1 ); // 获取pool字符串中的随机一位字符,包含小数点、反斜杠等
    }
     
    return $random;
} 
 
echo "random: " . random(6, "https://blog.mimvp.com");

运行结果:

random: ipcblc
random: mst/o:

跳转原理

当我们生成短链接之后,只需要在数据库MySQL 或 NoSQL表中,存储原始链接与短链接的映射关系即可。

当我们访问短链接时,只需要从映射关系中找到原始链接,即可跳转到原始链接。

例如:

短网址:http://t.cn/R3Krh36 (存储长链接的映射)

长网址:https://blog.mimvp.com/article/25420.html

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2018年08月05日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
云数据库 MySQL
腾讯云数据库 MySQL(TencentDB for MySQL)为用户提供安全可靠,性能卓越、易于维护的企业级云数据库服务。其具备6大企业级特性,包括企业级定制内核、企业级高可用、企业级高可靠、企业级安全、企业级扩展以及企业级智能运维。通过使用腾讯云数据库 MySQL,可实现分钟级别的数据库部署、弹性扩展以及全自动化的运维管理,不仅经济实惠,而且稳定可靠,易于运维。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档