巧用 Nginx 的 geo 模块来记录地理信息

Nginx 提供了 GeoIP 来记录来源 IP 的地理位置信息,但 GeoIP 所依赖的 IP 库是收费项目,免费的模块只能区分国家信息,不大适合在线上使用。而 Nginx 另外也提供了 Geo 指令,一直以为 IP 库比较庞大,Nginx 加载的时候开销会增加,以前特意试了下,其实情况还很不错。

GEO 指令介绍

语法

geo $address $variable

默认值

-

上下文

http

geo 指令主要是可以根据指定变量的值映射出一个新变量。 如果不指定变量,默认为$remote_addr,从 nginx 0.7.27 开始,可以根据任意变量映射新变量。

指令

用法解释

delete

删除指定的网络,从 nginx 0.7.23 开始支持

default

默认值。 如果使用 CIDR,可以用“0.0.0.0/0”或"::0"代替 default,如果 default 没有指定,则默认值为空字符串。

include

包含一个定义地址和值的文件,可以包含多个。

proxy

定义可信地址(0.8.7 0.7.63)。 如果请求来自可信地址,nginx 将使用其“X-Forwarded-For”头来获得地址。 相对于普通地址,可信地址是顺序检测的。从 nginx 1.3.0 和 1.2.1 开始支持 ipv6。

proxy_recursive

开启递归查找地址(1.3.0 1.2.1)。 如果关闭递归查找,在客户端地址与某个可信地址匹配时,nginx 将使用“X-Forwarded-For”中的最后一个地址来代替原始客户端地址。如果开启递归查找,在客户端地址与某个可信地址匹配时,nginx 将使用“X-Forwarded-For”中最后一个与所有可信地址都不匹配的地址来代替原始客户端地址。

ranges

使用以地址段的形式定义地址(0.7.23),这个参数必须放在首位。为了加速装载地址库,地址应按升序定义。

IP 库收敛

没有进行收敛的 IP 库行数很多,有的文件还特别大,加载起来比较慢,所以进行 IP 库的收敛以减少库文件的大小,还是很有必要的。

IP 库来自于 GSLB 和视频的修改版本,为了减少存储,特意将国家和省份的中文转换为英文,部分运营商的中文就没有简化了,可按 GSLB 的标准简化为数字代码。

GSLB 是英文Global Server Load Balance的缩写,意思是全局负载均衡。

geo 的拼音版本见附件 geo_en_20160918.tar.gz。

IP 网段收敛的工具来自于以前写的一个单线程的程序,处理上千万行的文本时,内存不够用了,如果要处理的文本过大,得手工分割下,多次收敛后再合并。因为没法贴附件,如果需要可以在评论区留言。

利用该工具,针对国家、省份和运营商三个维度进行了收敛,收敛后三个文件不到 3.5M。如果有必要,也可以针对城市再进行收敛。

另外,港澳台既在国家地区里,另外又在中国的省份文件里。

中国运营商映射文件

收敛后的文件扩展名为.geo,方便 include 进 nginx 的配置文件。按运营商收敛后,ip 段共 9983 行。

geo $geo_isp {
        ranges;
        1.0.1.0-1.0.3.255       CTC;
        1.0.8.0-1.0.15.255      CTC;
        1.0.32.0-1.0.63.255     CTC;
        1.1.0.0-1.1.0.255       CTC;
        1.1.2.0-1.1.63.255      CTC;
        1.2.0.0-1.2.1.255       CTC;
        ......
}

国家/地区映射文件

GSLB 的 IP 库引入了很多干扰项,譬如组播地址、内网地址、保留地址都对应了地理位置,为了保证纯粹性,下载了 2016 年 9 月 15 日的 delegated-arin-extended 库文件,提取了国家和地区信息。

去掉了部分内网和多播网段,按国家收敛后有 87007 行。

geo  $geo_zone {
        ranges;
        1.0.0.0-1.0.0.255       AU;
        1.0.1.0-1.0.3.255       CN;
        1.0.4.0-1.0.7.255       AU;
        1.0.8.0-1.0.15.255      CN;
        1.0.16.0-1.0.31.255     JP;
        1.0.32.0-1.0.63.255     CN;
        1.0.64.0-1.0.127.255    JP;
        1.0.128.0-1.0.255.255   TH;
        1.1.0.0-1.1.0.255       CN;
        1.1.1.0-1.1.1.255       AU;
        ......
}

中国省份映射文件

国内按省份收敛后有 13240 行。

geo $geo_prov {
        ranges;
        1.0.1.0-1.0.3.255       FJ;
        1.0.8.0-1.0.15.255      GD;
        1.0.32.0-1.0.63.255     GD;
        1.1.0.0-1.1.0.255       FJ;
        1.1.2.0-1.1.7.255       FJ;
        1.1.8.0-1.1.63.255      GD;
        1.2.0.0-1.2.1.255       FJ;
        1.2.2.0-1.2.2.255       BJ;
        1.2.4.0-1.2.4.255       BJ;
        1.2.5.0-1.2.7.255       FJ;
        ......
}

应用场景

网上说的用 geo 来做负载均衡来调度,不大靠谱,不适合腾讯网之类的大网站,不过比较适合各地都有站点的地方站、论坛、城市、房产、旅游等网站,可以根据访客地理位置将请求 302 到特定站点。

另外,最常规的应用,就是将$geo_isp、$geo_zone、$geo_prov 三个变量加到日志格式定义里,这样,在日志里就可看到每次请求的地理位置,以供后续的统计分析。

使用方法

将这三个 geo 文件放置在 nginx 安装目录的 conf/geo 子目录下,然后用下述指令包含进去,前面说的三个变量就可以用了。

include  geo/*.geo;

效果

下面简单列出了 9 月 22 日 17 点前每个省的访问次数分布图,后续也可很容易分析出跨省/跨网访问趋势来。

性能消耗

找了 1 台 2008 年的 C1,活动连接不到 1 万,出入包量各在 3 万左右,在 nginx 里加载了这 3 个文件,性能消耗基本可以忽略不计。

启动时间

加载起来很快,大大出乎我的意料,fw.qq.com 加载的是 SNG 的 ip 库,有段时间文件非常大,加载起来都是以分钟计的,所以以前对 ip 库的加载一直有阴影,看来加载个 4.3M 的文件,基本无影响。

# time /usr/local/nginx/sbin/nginx -s reload

real    0m0.480s
user    0m0.316s
sys     0m0.104s

性能

加载的时候负载有上升 50%,稍后又恢复,CPU 基本看不出变化。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

尹磊的专栏

1 篇文章1 人订阅

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏重庆的技术分享区

想调试延迟吗?

近十年来,我们的系统变得复杂。我们的平均生产环境由许多不同的服务(许多微服务,存储系统等)组成,具有不同的部署和生产维护周期。在大多数情况下,每项服务都由不同的...

2465
来自专栏CDA数据分析师

网站分析的重要指标及专业术语(收藏!)

1.浏览数Page Views:网页(含文件及动态网页)被访客浏览的次数。Page View的计算范围包括了所有格式的网页,例如:.htm、.html、.asp...

2098
来自专栏即时通讯技术

快速理解高性能HTTP服务端的负载均衡技术原理

在一个典型的高并发、大用户量的Web互联网系统的架构设计中,对HTTP集群的负载均衡设计是作为高性能系统优化环节中必不可少的方案。HTTP负载均衡的本质上是将W...

931
来自专栏芋道源码1024

徐妈说,他常常因为不太会 Linux 而感到难过

作为一个程序员,性能优化是无法避开的事情,不管是桌面应用还是web应用,不管是前端还是后端,不管是单点应用还是分布式系统,并且性能优化也是软件系统中最有挑战的工...

1024
来自专栏数据和云

问诊白求恩之性能分析:把握趋势比你更了解你的库

如果问你,你的数据库性能如何,你会怎么回答呢? DBA 甲: db file sequential read等待事件经常出现,不知道什么原因。 DBA 乙:平常...

3525
来自专栏架构师之路

持续集成十大要点(开发模式该优化了)

持续集成十大要点 一、Continuous Integration(持续集成) (1)持续集成要求开发人员频繁地提交产品,这个频率通常是至少每天一次,有时候可以...

3775
来自专栏云计算D1net

云自动缩放启动不需要的资源

自动缩放服务能够帮助管理人员识别未充分使用的资源,从而减少公共云成本。了解负载平衡和标记功能是如何最大限度发挥这些优势的。 可扩展性是公共云的基石。但是,正如在...

3404
来自专栏小白课代表

matlab 2014a

MATLAB是matrix&laboratory两个词的组合,意为矩阵工厂(矩阵实验室)。是由美国mathworks公司发布的主要面对科学计算、可视化以及交互式...

1172
来自专栏java、Spring、技术分享

从零开始学架构读书笔记

  软件架构的出现是为了解决系统规模增加后出现了系统耦合严重,开发效率低,逻辑复杂,扩展困难等问题。所以架构设计是为了解决软件复杂度而存在的,所以架构设计的目地...

5284
来自专栏技术翻译

Web应用程序开发指南

Web应用程序是与服务器端编程相结合的动态Web站点,它提供诸如与用户交互,连接到后端数据库以及向浏览器生成结果等功能。

1772

扫码关注云+社区

领取腾讯云代金券