专栏首页听雨堂关于IP,这里有你想知道的一切!

关于IP,这里有你想知道的一切!

        今日,就来跟大家聊聊关于IP地址方方面面的研究,其实可以归到三个问题上:

1、这个IP在哪儿?

2、这个IP是什么?

3、这个IP干了什么?

看似简单的问题,但每个都需要投入巨大深入研究的代价。同盾科技在IP画像研发过程中,我们接触了国内外很多出色的IP地址数据服务商,也经过诸多的测试与调研,最终我们选择了最优的平台,作为我们的基础数据供应商,在这些数据的基础上,产生出了更加丰富的信息,最终投入到各个风控场景中进行使用。

关于IP的一些冷知识:

IP地址(本文中特指IPv4地址),是用于标识网络和主机的一种逻辑标识。依托于强大的TCP/IP协议,使得我们可以凭借一个IP地址,就访问互联网上的所有资源。

IP地址本质上,只是一个32位的无符号整型(unsigned int),范围从0 ~ 2^32 ,总计约43亿个IP地址。为了便于使用,一般使用字符串形式的IP地址,也就是我们平常用到的192.168.0.1这种形式。实际上,就是把整数,每8个二进制位转换成对应的十进制整数,以点分隔的形式使用。

比如,192.168.0.1和3232235521是等价的。

当今全球,互联网系统共分为四大区域,每一个区域都由一件互联网的本体,通过光缆覆盖信号。这四大区域分别被命名为:格兰芬多,斯莱特林,赫奇帕奇以及拉文克劳......

这是《爱情公寓3》中的一个让人捧腹的桥段。虽然是恶搞,但是有一件事儿说对了,互联网确实是分区域的。

全球共有五个区域互联网注册机构(RIR),分别是:

美洲互联网号码注册管理机构(American Registry for Internet Numbers,ARIN);

欧洲IP网络资源协调中心(RIPE Network Coordination Centre,RIPE NCC);

亚太网络信息中心(Asia-Pacific Network Information Centre,APNIC);

拉丁美洲及加勒比地区互联网地址注册管理机构(Latin American and Caribbean Internet Address Registry,LACNIC);

非洲网络信息中心(African Network Information Centre,AfriNIC)。

IP地址的划分,有RIR机构来进行统筹管理。负责亚洲地区IP地址分配的,就是APNIC,总部位于澳大利亚墨尔本。

各大RIR机构都提供了关于IP地址划分的登记信息,即whois记录。可以在各大RIR机构提供的whois查询页面上查看,或者使用whois命令查询:

whois信息中,会显示IP地址所属的网段,以及申请使用和维护这个网段的运营商。比如,上面的信息中显示,153.35.93.31隶属于江苏省联通。

某些黑客题材的电影中往往会出现使用whois直接查询得到了一个IP的位置,非常精确地定位到了一幢建筑物里。

这张截图来自于2015年上映的《BlackHat》,满满的槽点,都是导演YY出来的。

(导演:怪我咯?)

正餐之前,给大家稍加科普一下,下面我们就要进入主菜了。让我们逐一来解惑文章开篇提到的三个问题。

NO.1  这个IP在哪儿?

前面提到IP的whois信息,其中包含了申请使用该IP的运营商信息,并且在网段描述信息中,会包含国籍和省份信息。

但是这样远远不够,风控场景中,我们需要更加精确的结果,需要知道这个IP具体在哪个城市、哪个乡镇,甚至希望能够精确到某一条街道或者小区。

曾有人问:我们的IP地址库是否能够提供这样的结果?可以确定用户在某个网吧、写字楼甚至某个小区?

那上面这样的IP数据库是如何产生的呢?

俗称“人海战术”。您可别不相信,直到今天,依然有众多的网友在为这个IP库提供数据更新,上报IP地址的确切位置。但我们无从考证这个位置信息是否真实准确,如果不能报保证数据的准确性,在风控决策中同盾是不会去使用的。

一种IP地址定位手段,是通过海量Traceroute信息来分析。

理论上,如果我能够得到所有IP相互之间Traceroute的信息,就可以绘制出整个互联网的链路图。

(上图来自于IPIP.NET提供的BestTrace工具)

每一次traceroute,都会返回详细的网络链路信息。积累了足够多的链路信息之后,就可以直观地看出,很多链路都经过了同一个IP,那么这个IP就是骨干节点或者区域的骨干节点。先确定出哪些节点是CN2骨干节点,进一步确定省级骨干节点,再逐一识别市县区级的骨干节点,最后得到全国范围内的网络分布。

以下是CAIDA的一份报告,使用了类似的原理,但统计的最小单位是AS(自治域)

原图地址:http://www.caida.org/research/topology/as_core_network/pics/2015/ascore-2015-jan-ipv4v6-poster-2000x1389.png圈的边缘,就是探测节点,中间的红色部分,就是全球互联网的骨干节点。原理虽然简单,但实现起来却没那么容易。

首先,你得有足够数量的节点来探测、收集traceroute链路数据。其次,要有可靠的技术手段来及时分析探测到的结果,汇总形成IP地址数据库。据了解,DigitalElemet也用了类似的方式进行探测,在全球范围内一共部署了超过8万个探测节点。

根据这种网络链路探测的出的定位结果,业内又称之为“网络位置”。就是从互联网的结构上来说,我们最终确定了一个IP,被分配到了某个地方的运营商手里。

但是我们又遇到了很多其他的情况,给大家举几个简单的例子。

117.61.31.0  江苏省 南京市 电信

通过分析这个IP关联的所有定位数据,得到了如下的分布:

这种情况,我们称为“流量回源”。当用户在使用南京电信的手机卡上网时,无论用户身处哪里,他的流量都会回到南京电信,再转发出去,所以从IP上看,都会显示为一个南京的IP。

上面的定位信息分布,可以在RTB Asia的IP地址实验室中https://ip.rtbasia.com/

153.35.93.32 江苏省 南京市 联通

各种渠道的信息表明,这个IP确实分配到了南京联通,结果定位点全部落在了北京市的范围内。如果我们根据IP的定位结果来判断用户当前的位置,得到的结果肯定就错了。

难道前面提供的信息错了?其实是由于国内运营商对IP地址的划分和使用不透明,甚至特殊形式的租赁,导致北京的用户,分配到了一个南京的IP。

IP地址跨城市覆盖,覆盖范围非常大,用户位置和网络位置不在同一个城市甚至不在同一个省,都会影响到结果,无法准确给出判断。

另一方面,随着移动设备的普及,在用户允许的情况下,可以通过移动设备采集到设备上的GPS信息。前面大家看到的两张定位分布图,就是分析一个IP在历史上关联过的所有GPS定位绘制出来的。每一个红点,都表示曾经有一个用户这里出现过。再通过聚类和GPS反向解析,就可以预测一个IP下的用户,可能出现的地理位置。这个结果,我们又称之为“行为位置”。

这种分析方法看起来效果非常不错,但是却面临两个很重要的问题。

其一是,今年来设备作弊的方式层出不穷,如果没有有效的手段来保证数据的准确性和可靠性,最终得出的结果也会有偏差。

比如下面这里例子,定位点非常规整地分布在一个矩形区域内,而且覆盖到了海面上,做了深入的分析之后才发现这个IP下面有大量的作弊行为:

另一方面,依靠定位点分布来分析IP的定位,需要长时间积累GPS数据。人口密集的地方,这个数据积累可以只要一天,二线城市需要一周,三线城市就需要至少一个月了。此前还遇到一个位于塔克拉玛干沙漠中的基站IP,至今还没有过与之关联的GPS信息。如果某一天,IP地址被重新分配了,划分到另外一个城市去使用,就需要等上一周甚至一个月的时间,才能重新校正结果。而网络链路的分析可以很快感知到。

实际的使用中,我们会把这两种方式结合到一起。并不是说,两个定位结果中,有一个错了。两个都是正确答案,只是某些情况下,有一个答案并不适合风控场景。

互联网,就像物流系统一样。我们分析IP的位置,和分析一个快递小哥负责派送的区域原理是一样。没有哪个快递小哥只给一户人家送货,IP也一样,我们最终只能确定这个IP后面的用户,可能出现的地理位置区域。随着技术的提升,数据的积累,我们能够不断缩小这个范围,达到最贴近真实的结果。

        本次与大家分享的内容到此为止,大家可以反复多次阅读,很多专业描述其实也没有那么难懂,期望可以帮助到有需要的朋友们。另外两个问题的分享,敬请期待IP下半部的分享!

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 加点的心得

    加点的一般方法:    Catalog _catalog=MapInfo.Engine.Session.Current.Catalog;    MapInf...

    用户1075292
  • 菜单常用:复位全部并设置某个项的样式

       <script language="JavaScript"  type="text/javascript">   function onsel(theob...

    用户1075292
  • 我的Js代码-按钮按下时判断是否选择了最后一行,给出提示

    <script language="javascript"> <!-- function onsub() { /...

    用户1075292
  • 二百元成本单网站每天爬取百万量级数据的方法

    在网络爬虫抓取信息的过程中,如果抓取频率高过了网站设置的阀值,会被禁止访问。通常,网站的反爬虫机制依据IP来标识爬虫。

    普通程序员
  • 如何绕过cdn获取网站真实ip进行测试?

    一般网站会使用cdn进行防御,我们访问时会经过cdn然后再经过源站服务器,这样我们进行渗透测试时很容易被拦截。而在这里,我们的思路是这样的:通过找到源站ip之后...

    网e渗透安全部
  • 带着IP入局,他们得到了什么?

    近两年内容制作品与内容衍生品逐渐盛行,深入到各行业领域为其带来焕发价值,媒体平台致力于打造IP,它既不是kol也不是简单的一本书、一部电影,而是交融并包打造出的...

    齿轮易创说互联网
  • 更换IP地址操作

    有时候我们因为网络问题、或其他原因需要更换服务器上绑定的IP地址,在更换IP之前需要明确下腾讯云IP的分类;

    夏日萤火
  • 响铃:新零售迷上了形象类IP,搭便车,还是打错了车?

    “这个世界上本来不存在新零售,新零售是靠人创造出来的,今天我们正在走这条路的过程当中。给任何深入浅出定性的描述都是不完整的,最终都要靠实践不断地去探索。

    曾响铃
  • 打造超级IP,你真悟错了道!

    这是一个人人都在离不开IP的时代,从动漫、影视、游戏、图书到体育、明星,甚至网红、主题公园和玩偶,IP成了无孔不入的存在,资本追逐、人们“爱戴”、品牌商趋之若...

    曾响铃
  • 全球IPv4地址归属

    列举这些,每个公司或者机构都分配了巨量的IP,数量为16777216(一千六百多万个IP)

    laulzgoay

扫码关注云+社区

领取腾讯云代金券