HyperLogLog统计网站UV 太丝滑

网站的UV定义

网站的UV（Unique Visitor）是指独立访客的数量，用于衡量网站的访问量和流量。在网站统计中，通常使用UV来度量网站的独立访客数量。

UV的定义有两种常见方式：

Cookie方式：通过浏览器的Cookie来标识和追踪访客。当一个访问者首次访问网站时，服务器会在其浏览器中生成一个唯一的标识符（通常是一个Cookie），用于标识该访客。随后，如果同一访客再次访问网站，服务器会识别出该标识符，并将其计算为一个UV。在这种方式下，如果访客在不同的浏览器或设备上访问网站，可能会被计算为多个UV。

IP地址方式：通过访客的IP地址来标识和追踪访客。当一个访问者首次访问网站时，服务器会记录其IP地址，并将其计算为一个UV。随后，如果同一IP地址再次访问网站，服务器将不会将其计算为一个UV。在这种方式下，如果多个访客在同一局域网或使用同一代理服务器访问网站，可能会被计算为一个UV。

如何统计

无论cookie的方式，还是ip地址的方式去做统计，最重要的一点，就是要去重，一个集合里面不能有重复元素。

Redis 的集合类型中，Set 类型默认支持去重，所以看到有去重需求时，我们可能第一时间就会想到用 Set 类型。

有一个用户id为10086的访问 page1 时，你把这个信息加到 Set 中：

sadd uv:page1 10086

用户 10086 再来访问时，Set 的去重功能就保证了不会重复记录用户 10086的访问次数，这样，用户 1 0086就算是一个独立访客。

当你需要统计 UV 时，可以直接用 SCARD 命令，这个命令会返回一个集合中的元素个数。

SCARD uv:page1

但是，如果 page1 非常火爆，UV 达到了千万，这个时候，一个 Set 就要记录千万个用户 ID。能占用多少内存空间呢？我大概计算下：

1千万用户访问page1

如果使用用户id统计UV，一个id，平均占用5个字节

10000000*5/1024/1024=47Mb

如果使用ip统计UV，用字符串来储存每个 IPv4 地址最多需要耗费 15 字节（格式为 'XXX.XXX.XXX.XXX' ）

10000000*15/1024/1024=143Mb

对于一个搞大促的电商网站而言，这样的页面可能有成千上万个，如果每个页面都用这样的一个 Set，就会消耗很大的内存空间，想想都恐怖。那我们就不能用集合的方式来存储了，这个时候我们需要使用 HyperLogLog 这种数据类型来做这件事了。

HyperLogLog

HyperLogLog（下文简称为 HLL）是 Redis 2.8.9 版本添加的数据结构，它用于高性能的基数（去重）统计功能，它的缺点就是存在极低的误差率。

HLL 具有以下几个特点：

• 能够使用极少的内存来统计巨量的数据，它只需要 12K 空间就能统计 2^64 的数据。
• 统计存在一定的误差，误差率整体较低，标准误差为 0.81%。
• 误差可以被设置辅助计算因子进行降低。
• HyperLogLog 只会根据输入元素来计算基数，而不会储存输入元素本身，所以 HyperLogLog 不能像集合那样，返回输入的各个元素。

HyperLogLog命令

HyperLogLog 的命令只有 3 个。

添加元素 pfadd

pfadd key element [element ...]

统计不重复的元素 pfcount

pfcount key [key ...]

合并一个或多个 HLL 至新结构

pfmerge destkey sourcekey [sourcekey ...]

pfmerge 使用场景

当我们需要合并两个或多个同类页面的访问数据时，我们可以使用 pfmerge 来操作

小结

当需要做大量数据统计时，普通的集合类型已经不能满足我们的需求了，这个时候我们可以借助 Redis 2.8.9 中提供的 HyperLogLog 来统计，它的优点是只需要使用 12k 的空间就能统计 2^64 的数据，但它的缺点是存在 0.81% 的误差，HyperLogLog 提供了三个操作方法 pfadd 添加元素、pfcount 统计元素和 pfmerge 合并元素。