巧用 Nginx 的 geo 模块来记录地理信息

Nginx 提供了 GeoIP 来记录来源 IP 的地理位置信息,但 GeoIP 所依赖的 IP 库是收费项目,免费的模块只能区分国家信息,不大适合在线上使用。而 Nginx 另外也提供了 Geo 指令,一直以为 IP 库比较庞大,Nginx 加载的时候开销会增加,以前特意试了下,其实情况还很不错。

GEO 指令介绍

语法

geo $address $variable

默认值

-

上下文

http

geo 指令主要是可以根据指定变量的值映射出一个新变量。 如果不指定变量,默认为$remote_addr,从 nginx 0.7.27 开始,可以根据任意变量映射新变量。

指令

用法解释

delete

删除指定的网络,从 nginx 0.7.23 开始支持

default

默认值。 如果使用 CIDR,可以用“0.0.0.0/0”或"::0"代替 default,如果 default 没有指定,则默认值为空字符串。

include

包含一个定义地址和值的文件,可以包含多个。

proxy

定义可信地址(0.8.7 0.7.63)。 如果请求来自可信地址,nginx 将使用其“X-Forwarded-For”头来获得地址。 相对于普通地址,可信地址是顺序检测的。从 nginx 1.3.0 和 1.2.1 开始支持 ipv6。

proxy_recursive

开启递归查找地址(1.3.0 1.2.1)。 如果关闭递归查找,在客户端地址与某个可信地址匹配时,nginx 将使用“X-Forwarded-For”中的最后一个地址来代替原始客户端地址。如果开启递归查找,在客户端地址与某个可信地址匹配时,nginx 将使用“X-Forwarded-For”中最后一个与所有可信地址都不匹配的地址来代替原始客户端地址。

ranges

使用以地址段的形式定义地址(0.7.23),这个参数必须放在首位。为了加速装载地址库,地址应按升序定义。

IP 库收敛

没有进行收敛的 IP 库行数很多,有的文件还特别大,加载起来比较慢,所以进行 IP 库的收敛以减少库文件的大小,还是很有必要的。

IP 库来自于 GSLB 和视频的修改版本,为了减少存储,特意将国家和省份的中文转换为英文,部分运营商的中文就没有简化了,可按 GSLB 的标准简化为数字代码。

GSLB 是英文Global Server Load Balance的缩写,意思是全局负载均衡。

geo 的拼音版本见附件 geo_en_20160918.tar.gz。

IP 网段收敛的工具来自于以前写的一个单线程的程序,处理上千万行的文本时,内存不够用了,如果要处理的文本过大,得手工分割下,多次收敛后再合并。因为没法贴附件,如果需要可以在评论区留言。

利用该工具,针对国家、省份和运营商三个维度进行了收敛,收敛后三个文件不到 3.5M。如果有必要,也可以针对城市再进行收敛。

另外,港澳台既在国家地区里,另外又在中国的省份文件里。

中国运营商映射文件

收敛后的文件扩展名为.geo,方便 include 进 nginx 的配置文件。按运营商收敛后,ip 段共 9983 行。

geo $geo_isp {
        ranges;
        1.0.1.0-1.0.3.255       CTC;
        1.0.8.0-1.0.15.255      CTC;
        1.0.32.0-1.0.63.255     CTC;
        1.1.0.0-1.1.0.255       CTC;
        1.1.2.0-1.1.63.255      CTC;
        1.2.0.0-1.2.1.255       CTC;
        ......
}

国家/地区映射文件

GSLB 的 IP 库引入了很多干扰项,譬如组播地址、内网地址、保留地址都对应了地理位置,为了保证纯粹性,下载了 2016 年 9 月 15 日的 delegated-arin-extended 库文件,提取了国家和地区信息。

去掉了部分内网和多播网段,按国家收敛后有 87007 行。

geo  $geo_zone {
        ranges;
        1.0.0.0-1.0.0.255       AU;
        1.0.1.0-1.0.3.255       CN;
        1.0.4.0-1.0.7.255       AU;
        1.0.8.0-1.0.15.255      CN;
        1.0.16.0-1.0.31.255     JP;
        1.0.32.0-1.0.63.255     CN;
        1.0.64.0-1.0.127.255    JP;
        1.0.128.0-1.0.255.255   TH;
        1.1.0.0-1.1.0.255       CN;
        1.1.1.0-1.1.1.255       AU;
        ......
}

中国省份映射文件

国内按省份收敛后有 13240 行。

geo $geo_prov {
        ranges;
        1.0.1.0-1.0.3.255       FJ;
        1.0.8.0-1.0.15.255      GD;
        1.0.32.0-1.0.63.255     GD;
        1.1.0.0-1.1.0.255       FJ;
        1.1.2.0-1.1.7.255       FJ;
        1.1.8.0-1.1.63.255      GD;
        1.2.0.0-1.2.1.255       FJ;
        1.2.2.0-1.2.2.255       BJ;
        1.2.4.0-1.2.4.255       BJ;
        1.2.5.0-1.2.7.255       FJ;
        ......
}

应用场景

网上说的用 geo 来做负载均衡来调度,不大靠谱,不适合腾讯网之类的大网站,不过比较适合各地都有站点的地方站、论坛、城市、房产、旅游等网站,可以根据访客地理位置将请求 302 到特定站点。

另外,最常规的应用,就是将$geo_isp、$geo_zone、$geo_prov 三个变量加到日志格式定义里,这样,在日志里就可看到每次请求的地理位置,以供后续的统计分析。

使用方法

将这三个 geo 文件放置在 nginx 安装目录的 conf/geo 子目录下,然后用下述指令包含进去,前面说的三个变量就可以用了。

include  geo/*.geo;

效果

下面简单列出了 9 月 22 日 17 点前每个省的访问次数分布图,后续也可很容易分析出跨省/跨网访问趋势来。

性能消耗

找了 1 台 2008 年的 C1,活动连接不到 1 万,出入包量各在 3 万左右,在 nginx 里加载了这 3 个文件,性能消耗基本可以忽略不计。

启动时间

加载起来很快,大大出乎我的意料,fw.qq.com 加载的是 SNG 的 ip 库,有段时间文件非常大,加载起来都是以分钟计的,所以以前对 ip 库的加载一直有阴影,看来加载个 4.3M 的文件,基本无影响。

# time /usr/local/nginx/sbin/nginx -s reload

real    0m0.480s
user    0m0.316s
sys     0m0.104s

性能

加载的时候负载有上升 50%,稍后又恢复,CPU 基本看不出变化。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

尹磊的专栏

1 篇文章1 人订阅

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏SAP最佳业务实践

SAP最佳业务实践:FI–凭证分割(165)-1业务概览

1194
来自专栏鸿的学习笔记

数据分区的策略

在之前的数据复制当中,我们有一个前提就是数据量不会很大,但是随着公司的发展,再加上埋点等各种数据收集的发展,数据量会爆发式的增长,那么单台服务器很难处理这么庞大...

703
来自专栏即时通讯技术

IM群聊消息究竟是存1份(即扩散读)还是存多份(即扩散写)?

上一篇文章《IM群聊消息的已读回执功能该怎么实现?》是说,“很容易想到,是存一份”,被网友们骂了,大家争论的很激烈(见下图)。

952
来自专栏数据和云

insert into太慢?Roger 带你找真凶

李真旭(Roger) ACOUG 核心专家,Oracle ACE,云和恩墨技术专家 编辑手记:昨天谈到索引并不是万能的,事实上很多无用的索引给数据库带来很大的维...

3254
来自专栏安恒网络空间安全讲武堂

X-NUCA 2017第三期 WriteUp

? 我个人感觉这次题目质量是可以的,很模拟现实渗透场景,从外网到内网到域控,到达一定阶段给个flag 但是也有吐槽的点,主办方给8个小时,一共有12个关卡,...

2068
来自专栏iOS122-移动混合开发研究院

记一个同时支持模糊匹配和静态推导的Atom语法补全插件的开发过程: 序

简介 过去的一周,都睡的很晚,终于做出了Atom上的APICloud语法提示与补全插件:apicloud_autocomplete.个中滋味,感觉还是有必要记录...

1836
来自专栏FreeBuf

一种常规Android脱壳技术的拓展(附工具)

最近在做移动安全测试的项目时,遇到了最新的某数字壳,好久都没脱壳了,记得上次脱壳还是zjdroid通杀的时候。秉着安全研究的精神,趁此机会,又把最新的加固与脱壳...

2688
来自专栏吉浦迅科技

DAY67:阅读阅读Events、Synchronization和Device Management

我们正带领大家开始阅读英文的《CUDA C Programming Guide》,今天是第67天,我们正在讲解CUDA C语法,希望在接下来的33天里,您可以学...

995
来自专栏资深Tester

测试流程之缺陷

1552
来自专栏恰同学骚年

谈谈对于企业级系统架构的理解

在我们刚开始学习架构的时候,首先会想到分层的概念,分层架构比较经典的是三层架构,那么,什么是三层架构呢?它包括表现层,业务层,数据访问层;而对于一个新手来说,从...

802

扫码关注云+社区