巧用 Nginx 的 geo 模块来记录地理信息

Nginx 提供了 GeoIP 来记录来源 IP 的地理位置信息,但 GeoIP 所依赖的 IP 库是收费项目,免费的模块只能区分国家信息,不大适合在线上使用。而 Nginx 另外也提供了 Geo 指令,一直以为 IP 库比较庞大,Nginx 加载的时候开销会增加,以前特意试了下,其实情况还很不错。

GEO 指令介绍

语法

geo $address $variable

默认值

-

上下文

http

geo 指令主要是可以根据指定变量的值映射出一个新变量。 如果不指定变量,默认为$remote_addr,从 nginx 0.7.27 开始,可以根据任意变量映射新变量。

指令

用法解释

delete

删除指定的网络,从 nginx 0.7.23 开始支持

default

默认值。 如果使用 CIDR,可以用“0.0.0.0/0”或"::0"代替 default,如果 default 没有指定,则默认值为空字符串。

include

包含一个定义地址和值的文件,可以包含多个。

proxy

定义可信地址(0.8.7 0.7.63)。 如果请求来自可信地址,nginx 将使用其“X-Forwarded-For”头来获得地址。 相对于普通地址,可信地址是顺序检测的。从 nginx 1.3.0 和 1.2.1 开始支持 ipv6。

proxy_recursive

开启递归查找地址(1.3.0 1.2.1)。 如果关闭递归查找,在客户端地址与某个可信地址匹配时,nginx 将使用“X-Forwarded-For”中的最后一个地址来代替原始客户端地址。如果开启递归查找,在客户端地址与某个可信地址匹配时,nginx 将使用“X-Forwarded-For”中最后一个与所有可信地址都不匹配的地址来代替原始客户端地址。

ranges

使用以地址段的形式定义地址(0.7.23),这个参数必须放在首位。为了加速装载地址库,地址应按升序定义。

IP 库收敛

没有进行收敛的 IP 库行数很多,有的文件还特别大,加载起来比较慢,所以进行 IP 库的收敛以减少库文件的大小,还是很有必要的。

IP 库来自于 GSLB 和视频的修改版本,为了减少存储,特意将国家和省份的中文转换为英文,部分运营商的中文就没有简化了,可按 GSLB 的标准简化为数字代码。

GSLB 是英文Global Server Load Balance的缩写,意思是全局负载均衡。

geo 的拼音版本见附件 geo_en_20160918.tar.gz。

IP 网段收敛的工具来自于以前写的一个单线程的程序,处理上千万行的文本时,内存不够用了,如果要处理的文本过大,得手工分割下,多次收敛后再合并。因为没法贴附件,如果需要可以在评论区留言。

利用该工具,针对国家、省份和运营商三个维度进行了收敛,收敛后三个文件不到 3.5M。如果有必要,也可以针对城市再进行收敛。

另外,港澳台既在国家地区里,另外又在中国的省份文件里。

中国运营商映射文件

收敛后的文件扩展名为.geo,方便 include 进 nginx 的配置文件。按运营商收敛后,ip 段共 9983 行。

geo $geo_isp {
        ranges;
        1.0.1.0-1.0.3.255       CTC;
        1.0.8.0-1.0.15.255      CTC;
        1.0.32.0-1.0.63.255     CTC;
        1.1.0.0-1.1.0.255       CTC;
        1.1.2.0-1.1.63.255      CTC;
        1.2.0.0-1.2.1.255       CTC;
        ......
}

国家/地区映射文件

GSLB 的 IP 库引入了很多干扰项,譬如组播地址、内网地址、保留地址都对应了地理位置,为了保证纯粹性,下载了 2016 年 9 月 15 日的 delegated-arin-extended 库文件,提取了国家和地区信息。

去掉了部分内网和多播网段,按国家收敛后有 87007 行。

geo  $geo_zone {
        ranges;
        1.0.0.0-1.0.0.255       AU;
        1.0.1.0-1.0.3.255       CN;
        1.0.4.0-1.0.7.255       AU;
        1.0.8.0-1.0.15.255      CN;
        1.0.16.0-1.0.31.255     JP;
        1.0.32.0-1.0.63.255     CN;
        1.0.64.0-1.0.127.255    JP;
        1.0.128.0-1.0.255.255   TH;
        1.1.0.0-1.1.0.255       CN;
        1.1.1.0-1.1.1.255       AU;
        ......
}

中国省份映射文件

国内按省份收敛后有 13240 行。

geo $geo_prov {
        ranges;
        1.0.1.0-1.0.3.255       FJ;
        1.0.8.0-1.0.15.255      GD;
        1.0.32.0-1.0.63.255     GD;
        1.1.0.0-1.1.0.255       FJ;
        1.1.2.0-1.1.7.255       FJ;
        1.1.8.0-1.1.63.255      GD;
        1.2.0.0-1.2.1.255       FJ;
        1.2.2.0-1.2.2.255       BJ;
        1.2.4.0-1.2.4.255       BJ;
        1.2.5.0-1.2.7.255       FJ;
        ......
}

应用场景

网上说的用 geo 来做负载均衡来调度,不大靠谱,不适合腾讯网之类的大网站,不过比较适合各地都有站点的地方站、论坛、城市、房产、旅游等网站,可以根据访客地理位置将请求 302 到特定站点。

另外,最常规的应用,就是将$geo_isp、$geo_zone、$geo_prov 三个变量加到日志格式定义里,这样,在日志里就可看到每次请求的地理位置,以供后续的统计分析。

使用方法

将这三个 geo 文件放置在 nginx 安装目录的 conf/geo 子目录下,然后用下述指令包含进去,前面说的三个变量就可以用了。

include  geo/*.geo;

效果

下面简单列出了 9 月 22 日 17 点前每个省的访问次数分布图,后续也可很容易分析出跨省/跨网访问趋势来。

性能消耗

找了 1 台 2008 年的 C1,活动连接不到 1 万,出入包量各在 3 万左右,在 nginx 里加载了这 3 个文件,性能消耗基本可以忽略不计。

启动时间

加载起来很快,大大出乎我的意料,fw.qq.com 加载的是 SNG 的 ip 库,有段时间文件非常大,加载起来都是以分钟计的,所以以前对 ip 库的加载一直有阴影,看来加载个 4.3M 的文件,基本无影响。

# time /usr/local/nginx/sbin/nginx -s reload

real    0m0.480s
user    0m0.316s
sys     0m0.104s

性能

加载的时候负载有上升 50%,稍后又恢复,CPU 基本看不出变化。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

尹磊的专栏

1 篇文章1 人订阅

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏架构师之路

持续集成十大要点(开发模式该优化了)

持续集成十大要点 一、Continuous Integration(持续集成) (1)持续集成要求开发人员频繁地提交产品,这个频率通常是至少每天一次,有时候可以...

3595
来自专栏数据和云

问诊白求恩之性能分析:把握趋势比你更了解你的库

如果问你,你的数据库性能如何,你会怎么回答呢? DBA 甲: db file sequential read等待事件经常出现,不知道什么原因。 DBA 乙:平常...

3325
来自专栏陈满iOS

iOS基础·一张图分清类别(Category)和拓展(Extension)!

743
来自专栏即时通讯技术

高性能网络编程(二):上一个10年,著名的C10K并发连接问题1、前言 2、学习交流3、C10K问题系列文章4、C10K问题的提出者5、C10K问题的由来6、技术解读C10K问题7、C10K问题的本质

对于高性能即时通讯技术(或者说互联网编程)比较关注的开发者,对C10K问题(即单机1万个并发连接问题)应该都有所了解。“C10K”概念最早由Dan Kegel发...

973
来自专栏CDA数据分析师

网站分析的重要指标及专业术语(收藏!)

1.浏览数Page Views:网页(含文件及动态网页)被访客浏览的次数。Page View的计算范围包括了所有格式的网页,例如:.htm、.html、.asp...

1918
来自专栏即时通讯技术

快速理解高性能HTTP服务端的负载均衡技术原理

在一个典型的高并发、大用户量的Web互联网系统的架构设计中,对HTTP集群的负载均衡设计是作为高性能系统优化环节中必不可少的方案。HTTP负载均衡的本质上是将W...

761
来自专栏liukaili_666888999

iOS开发人员使用TestFlight构建测试版本

1226
来自专栏技术翻译

Web应用程序开发指南

Web应用程序是与服务器端编程相结合的动态Web站点,它提供诸如与用户交互,连接到后端数据库以及向浏览器生成结果等功能。

1302
来自专栏java一日一条

Java应用架构的演化之路

当我们架设一个系统的时候通常需要考虑到如何与其他系统交互,所以我们首先需要知道各种系统之间是如何交互的,使用何种技术实现。

532
来自专栏DevOps时代的专栏

微服务的服务网格

3973

扫码关注云+社区