联通案例｜利用大数据分析，识别电话诈骗个人隐私信息泄露途径
本文系投稿作品 ，作者 | 丁伟
大数据文摘欢迎各类优质稿件
请联系tougao@bigdatadigest.cn
本文以SPARK技术为核心构建大数据分析平台，针对电信诈骗的行为特点，对被呼手机号码用滑动窗口的方法迭代计算信息熵，从中发现可疑被呼号码；然后，在中国联通网研院对全国334个城市功能微网格划分的基础上，对有信息泄露嫌疑的手机用户进行常驻地分析等四种情景筛选，发现用户个人隐私泄露的主要途径，并经检验取得较好效果。
本项目在工业和信息化部指导、中国信息通信研究院主办的“2017年度电信大数据司马（SMART）奖评选”中，获得优秀成果应用奖。
0.前言
治理电话诈骗需多方入手。近年来相关案件实例表明，个人隐私信息的泄露给罪犯行为带来了更大的欺骗性。为了厘清个人信息保管者责任，强化防护意识，从电信诈骗行为特征出发，中国联通网络技术研究院与中国人民银行征信中心合作，共同研发了“基于大数据分析平台的电话诈骗中手机用户个人隐私信息泄露途径侦查”系统，用于识别电信欺诈中可能被泄漏个人信息的被呼手机号码，并且综合多源数据，通过用户常驻定位与微网格地图匹配、社会网络分析、金融账户查询等方法，分类判定用户个人信息泄漏渠道。
其实际效益在于：对电信诈骗案件中的受害人个人信息泄露途径进行了大数据分析，为泄露溯源提供有力证据，便于厘清并依法追究相关责任；同时，有利于进一步强化信息保管者的防护意识，从源头上堵住电信诈骗中信息泄露渠道。
1.被呼号码临界熵的计算
电话诈骗具有明显的特点（见图1）。据统计，电话诈骗的平均成功率仅为0.28%，即平均要打上357次电话才有可能诈骗成功一次，所以电话诈骗也是个费时费力的“工作”。一般而言，电话诈骗中受其侵害的群体比较广泛，有些是非特定的，采取顺序拨号，有些却是有明确目标、针对性比较强的。这些有针对性的诈骗，通常都是受害者的个人信息被泄露所引发的，而且诈骗人可能针对已获取信息为此类群体准备了专门的沟通“脚本”。
图1:电话诈骗呼叫时点与通话时长的分布
为了从被举报的电话诈骗中，发现有明确目标的“无序”（明显的吉祥号码除外）被呼号码，我们引入了“临界熵”（marginal entropy）指标，同时采用“滑动窗口法”来计算熵值，进一步挖掘被呼号码间的关联。相比以往的“隔断窗口法”，在处理数据方面“滑动窗口法”具有明显的优势（见图2）。
图 2: 同一窗口长度下 ，
(a)隔断窗口法与 (b)滑动窗口法比较
设定“连号”被呼号码的熵为锚，熵值越大，号码目的性越强，即号码“无规则”、“无序”的状况越严重，也就有更大的可能被泄露了个人信息。
2、被呼用户特征分析
2.1城市功能微网格地图
自2015年起，中国联通网络技术研究院与各省公司合作，实施对全国334个城市的市区功能微网格的划分与分析。微网格是对有效覆盖区域进行小范围区域的划分，划分总体原则包括：a）微网格是闭环结构，尽量避免和减少宫格交叉、重叠。b）微网格应考虑地形地貌，以道路、河流为宫格边界。c）微网格要充分考虑用户聚集特征（如高校、医院、家属院、政府机关、集团客户等），将用户特征相似的区域划分为一个宫格；划分后的宫格要进行分类和命名，以便后续管理、分析。d）宫格面积在1km2左右。根据用户聚集特征，宫格按如表1进行分类。
表1：宫格分类表（包括但不限于此33类）
2.2 手机用户常驻地识别
从运营商角度，分析手机用户常驻地主要依靠B域话单数据和O域信令数据；两者都是以基站交叉定位为主，但却容易受到手机信号在周边基站间存在乒乓切换等影响，对定位精度有较大干扰。这里，我们创新地引入了联合熵（joint entropy）的相关算法来有效解决这一问题（其中，临界熵是计算独立变量的不确定性，而联合熵是计算有相互影响作用变量的不确定性）。
这样，从手机用户的日常个人行为轨迹中，参考时间维度，可以提炼出其主要的常驻地（即居住地和工作地），结合手机实名制信息与城市功能微网格地图，能够初步推测其职业身份。过程如图3所示。
图 3:(A)某一手机用户日常活动轨迹；
(B)日间工作与夜间休息两个关键时段的常驻区域.
(C)工作区内更细化的微网格位置对应.
3、个人信息泄露情境分析
利用手机诈骗的投诉与报案数据，将用户个人信息泄露分为四种情境：情境 I: 被呼手机用户群体常驻地高度重合，例如，都在同一学校、同一公司办公大楼或同一政府机关。则这样的情况，很可能是从本单位泄露了个人信息。当然有可能是有人内应，也有可能是单位信息防护管理不力，被外部黑客攻击。情境 II : 如果被呼手机用户群体常驻地不相同，但他们的相关亲属关系人中却都被发现有常驻地相同的情况，例如用户的孩子在同一个学校上学，这样用户的个人信息就有可能被间接地泄露出去。其中，手机用户的社会网络分析技术可以完全发现用户的较近关系人特征，如住在同一小区、平时通话特点、以及春节节假日活动轨迹高度吻合等（见图4）。情境III：如果从投诉中心与报案描述中，发现诈骗者甚至知道用户的身份证号和银行卡号，那么我们与中国人民银行征信中心联手，可以对这类被呼手机用户进行银行账户查询统计，从而发现是否用户是否在同一银行开户，如果发现存在同一银行开户情况，则可能是从银行渠道泄露的信息。如果未发现同一银行开户现象，还可以进一步与投诉用户确认，是否在同一购物网站上开设支付功能。情境IV: 通过以上三种情境筛选，如果仍不能发现被呼用户间存在明显的关联性，那么，用户群体中的个人信息泄露可能归因于其他类的个体化行为，情景较为分散，可能由于个人保护意识不强而引发的信息泄露。采用分层递进分类(one against rest)法对四种信息泄露情境进行判别过程（如图5所示），根据两分原理设定三个判别模型，经ROC面积法检验，模型效果较好（见图6）。
图4：手机用户社会网络关系示意图
图5：分层递进分类(one against rest)法
图6：三种模型的ROC曲线下面积对比(>0.5)
4、大数据分析平台
在判别分析中，涉及到大量的用户数据去收集、存储与计算，包括离线数据与实时数据，结构数据与非结构数据，如行为轨迹的图数据、投诉文本数据等。为了保证执行分析的高效性，我们建立了具有四个层次的大数据分析平台（见图6左）。第一层是接口层，提供数据的收集汇总服务，数据来源包括运营商与中国人民银行征信中心，数据涉及用户手机所产生的相关数据与用户在银行的金融账户数据等。第二层用来数据处理与计算，包括用户常驻地图、社会网络分析、离线数据与实时数据处理等内容。第三层是资源管理层，采用大数据分布式存储的HBASE和HDFS文件管理系统，在计算框架方面采用了Spark技术。相比Hadoop技术，由于Spark利用内存计算，执行效率大为提高。第四是硬件部分，主要包括计算与存储的物理资源。在此基础上，在用户常驻地分析与社会网络分析方面，我们采用了多分类器并行迭代算法，并且加入部分有价值的虚拟变量（哑变量），有效提高了常驻地与社会网络分析模型的精确度（见图6右部分）
图6:（左）大数据分析平台的框架和（右）并行算法示意图
5、小结
本文以SPARK技术为核心构建大数据分析平台，针对电信诈骗的行为特点，对被呼手机号码用滑动窗口的方法迭代计算信息熵，从中发现可疑被呼号码；然后，在中国联通网研院对全国334个城市功能微网格划分的基础上，对有信息泄露嫌疑的手机用户进行常驻地分析等四种情景筛选，发现用户个人隐私泄露的主要途径，并经检验取得较好效果。目前，项目分析平台中心服务器22台，以Spark为核心分布式计算引擎，以HDFS为持久层读写原生数据，数据源接口48个，日处理数据能力3TB。
本研究的创新点包括：
1、采用滑动窗口法计算被呼手机号码的信息熵，从中发现非连续号码，作为电信欺诈案件中的可能被泄露个人隐私信息的受害人号码；
2、采用中国联通网研院对全国334个城市微网格数据，与受害人常驻地点进行匹配；并采用分层递进分类(one against rest)法对四种信息泄露情境进行判别；
3、平台引入了中国人民银行征信中心等相关数据结果，并采用Spark分布式计算引擎，有效提高分析执行效率，降低时延。
投稿单位简介：
中国联通网络技术研究院成立于2013年7月，是依照中国联通的发展战略，定位于中国联通的网络技术支撑的二级专业机构。网络技术研究院注重提升科技创新能力，承担“国家工程实验室”，衔接组织中国联通“千人计划”国家特聘专家工作，主要聚焦网络技术，进行技术跟踪、标准预研、验证测试、规划编制、网络分析、网络测评、大数据平台等多项重大科研工程项目研究与实施，为集团公司网络运营与规划发展提供解决方案和全面技术支撑。
一人一笔 | 数据团队建设“全景报告”
清华数据科学研究院联合大数据文摘，发起一次数据团队全行业调研。本次调研将对国内外数据团队发展现状进行盘点和趋势预测，同时探索数据团队应如何建设。我们将结合一系列专访与调查问卷内容，在7月初发布《数据团队建设全景报告》。