本文作者:hugoma,腾讯 CSIG 开发工程师
终端厂商在发力培养负一屏的流量新入口。近场服务,是vivo、OPPO等厂商在2018年下半年推出的新招。如何精准的实现shoping mall等场景的室内店铺级定位,并打通相应的餐饮、酒店、出行服务,是决定近场服务体验的关键。WSPD的WiFi大数据团队,充分发挥安全系产品的数据积累优势,自研“商圈\综合体+店铺”立体定位算法,初步建成近场服务平台,并实现了在OPPO、魅族等多个业务方快速上线,迈出Tob业务从0到1的第一步。在这里,回顾和分享一下近场立体定位服务平台在这一年来的建设历程。
其实近场服务这一项目的起源,是来自vivo、OPPO等厂商在负一屏的智慧场景卡片的合作需求。厂商希望在负一屏能自动识别用户当前所在的场景,包括商圈\综合体的中颗粒度定位,和店铺级的细颗粒度定位,并配套提供相应的餐饮、购物服务。
图1:厂商负一屏智慧场景卡片样例
在及刻、泰迪熊等一些业内同行已经进场的情况下,厂商希望和鹅厂合作,看中的,应该是鹅厂的数据优势和技术优势,以逐步解决当前近场定位方案存在的重度依赖人工采集,覆盖面窄的问题。所以,我们开展这一项目的核心任务,就是要把鹅厂的数据优势转化为切实的技术优势,再转化为切实的业务优势。
截至2019年中,我们输出的产品形态(如下图),是商圈/综合体+店铺的立体定位,并且对商圈/综合体能提供商圈导览、医院导诊、机场值机等服务,对店铺能提供餐饮团购\优惠、客户热评、推荐菜等服务。
图2:自研近场定位服务的输出
从厂商负一屏合作切入,我们把近场定位+服务这一能力的应用作横向扩展,不难找到另外两个主要的业务需求场景
以腾讯WiFi管家为第一个落地点,主要有三个业务场景: 1. 连前——本店WiFi卡片:在用户连接WiFi前,通过近场定位,把用户所在的场所(店铺)的WiFi置顶,让用户直接选出最合适连接的WiFi; 2. 连中——超级连接秀:给店铺商家增加品牌展现广告的曝光机会,创造商业化空间; 3. 连后——美食穿梭机:在连上WiFi后,为商家提供团购\优惠、推荐菜、客户热评等内容的原生内容展现,引导用户下单消费,同样的指向商业化合作。
图3:腾讯WiFi管家的场景化服务
WiFi相关的业务数据能为广告定向投放提供较为精准的标签。主要覆盖餐饮、酒店、购物、教育、医疗等POI场景。有了近场定位能力,能覆盖非连接场景,提升标签覆盖率。
图4:近场定位能力可应用于POI标签扩容
由于室内GPS定位精度的误差,直接通过用户的定位点去获取用户到访的POI误差较大。以广州太古汇为例,接近50%的店铺经纬度会飘移到路对面的万菱汇,有值得优化的空间。
图5:室内经纬度偏差样例——广州太古汇为例
业界有很多成熟的WiFi定位方案,但要么依赖于重度的人工线下采集,要么依赖于线下硬件铺设,要实现全国大范围覆盖的门槛较高。而不依赖硬件或人工采集的解决方案,则需依赖充足的标注数据的收集,这也是中小型厂商无法克服的原始积累过程。
图6:主流室内定位技术
安全系产品在多个C端产品的规模覆盖,以及与手机厂商的深度合作中,积累了丰富的WiFi连接、识别数据,日覆盖过亿量级设备,百万量级的POI,周覆盖数亿量级设备,千万量级POI。同时,已经建成覆盖千万量级POI,过亿量级WiFi的WiFi-POI匹配库。
我们自研的商圈+店铺定位算法,把数据与技术优势完美结合,无须依赖人工大面积采集,完全满足厂商、WiFi管家等业务场景的近场立体定位需求。后面将详细介绍这一部分。
平台主要有四个建设重点:WiFi-POI匹配库、POI服务库、近场实时立体定位服务、用户兴趣判断和打标签。下面重点展开的,是“近场实时立体定位服务”部分。
图7:平台功能模块
要满足三个主要业务场景的需求,主要通过图7的业务流程和图8的系统架构来实现。在满足厂商、客户端的ToC业务需求的同时,积累数据,形成用户标签,最终输出到广告定向投放业务,完成数据价值的闭环。
图8:主要业务流程
其中,后台服务端,主要承担多种内外部业务场景的对接和管理的职能,把业务场景抽象为有限几种的近场服务接口,同时把请求数据沉淀到离线数据系统,完成数据闭环。而基于TAF的在线定位服务,则专注于高效运用离线数据,实现实时快速定位的核心功能。
图9:系统架构简介
从用户视角出发,我们模拟用户由远及近的一次逛街历程,如图9,可以把近场定位,从空间上划分为四个层级——“商区-商圈-楼层-商户”。近场服务,应该也相应的按这个梯度,在不同的层级,给用户提供不同颗粒度的服务,才能满足不同状态用户的差异化需求。
图10:商区-商场-楼层-商店”立体式定位层级
在目前的版本,我们主要实现了上述四个层级里的后三个,即“商圈-楼层-商户”的立体定位。
商圈/综合体定位具体在算法实现上,可划分为以下的5个主要步骤:
图11:商圈定位步骤|center|0x0
我们使用来自腾讯地图、高德地图、谷歌地图的接近亿级的POI实体,根据实体的相关POI数据,运用命名实体识别和聚类相关的算法,聚合出商铺密集的准商圈,并根据商铺的空间分布,快速自动的收敛出商圈的空间边界,作为商圈定位的重要参数。
图12:商圈物理空间聚合与边界自动生成
在聚合出物理商圈后,需要让物理商圈与POI库关联起来,与店铺、商圈WiFi建立起业务关联,才能成为真正意义上的商圈POI。在这里,我们使用了Bi-LSTM-CRF算法,从商铺地址中快速提取出商圈的名称,并从边界内的WiFi池里,匹配出商圈的官方WiFi。
图13:商圈名称解析与商圈-WiFi Mapping
最后,将商圈的边界再转化为Geohash网格,并通过网格定位算法,实现商圈定位。
图14:商圈边界转网络
下图就是商圈\综合体定位算法的一个局部案例,成功的把广州天河路-岗顶商区的多个商圈复现出来。
图15:广州天河路-岗顶商区的聚合效果图
最后再量化的评估商圈\综合体定位算法的准确率,对超过1万个商圈\综合体,测试集的定位准确率达到80%。
店铺定位算法主要针对室内场景构建,室内环境gps因信号衰减不可使用,我们采用了WiFi信号定位的方案。店铺定位的需求是定位出用户所在店铺,或定位出距离用户最近的店铺。基于从管家系数据体系出发最大化室内店铺定位效果的考虑,我们选用了WiFi信号指纹定位的方案。首先根据管家的连接周边WiFi上报日志和扫描周边WiFi上报日志,做数据预处理(剔除周边WiFi异常值,剔除移动WiFi等),然后根据周边WiFi记录所属POI信息,按图16方式构建以线下poi店铺为key的WiFi信号指纹库。
图16:WiFi指纹定位逻辑
基于腾讯WiFi管家海量的上报数据,我们能及时跟新WiFi信号指纹库,剔除无效WiFi,加入新增的指纹项,保证指纹数据的时效性。目前WiFi指纹库在为全国超过百万量级的线下商业实体提供基于指纹的定位服务,在头部商圈的线下实测中准确率达到75%。
图17:WiFi定位数据闭环
除了WiFi指纹定位方案,我们也在探索使用深度学习模型实现店铺定位的可能性。从数据出发,考虑到每条周边WiFi记录代表了一个物理点,如果能在室内场景重构一套坐标系,将每个周边WiFi记录都映射为其中的一点,使同店铺的点聚集,不同店铺的点远离,就等于给每个周边WiFi数据一个固定坐标,可以计算出任意两点的距离。参考图像识别中的三元组训练方法以及排序任务的LTR-Pariwise模型,我们提出一种基于三元组的多任务学习编码器算法。
图18:迭代二——店铺定位进阶算法框架
按位置关系和相似度构造周边WiFi的三元组样本,结果向量化,attention-LSTM的编码后得到每个周边WiFi的高维空间表示。训练过程中,既要求满足triplet loss的约束,又要满足定点数据的向量重构误差最小化的约束。图19展示了三元组编码器在具体商圈数据上的效果,每个球的球心代表店铺,半径又距离最远的本店周边WiFi和球心在抽象坐标系的坐标确定。可见大部分球体的分离度较高。用此方法实现的头部商圈抽样测试的准确率达到85%。
图19:店铺定位进阶算法的可视化呈现——广州体育中心某商圈
目前已上线近场定位服务平台相关能力的业务方包括腾讯WiFi管家,OPPO,魅族等。同时基于机场航站楼、高铁站等多个线下智慧零售方案的合作方也在接入的近场服务定位平台的流程当中。经过长时间的积累与打磨,近场服务平台已建成包括省份-城市-商圈-楼层-PoI店铺-店铺WiFi-WiFi定位指纹等信息的多粒度POI信息库,其中WiFi-PoI匹配实体数达到数千万的量级,带WiFi定位指纹的实体数也达到数百万的量级。近场服务定位平台重点在建设商圈/综合体的室内定位能力,目前平台覆盖全国超过1万个商圈/综合体,能给数以百万计的商圈内实体提供定位服务。
从去年8月份开始,我们连同合作方进行了针对一线城市头部商圈,多轮次的定位能力实测抽查,测试结果得到合作方的好评,下图是线下实测的部分结果图。截止到10月,近场定位服务平均日调用次数4.5亿,日活跃用户数超过700万,累计覆盖用户数超过6000万。
图20:店铺定位线下实测结果示例
线下场景化智慧营销的新需求催生了近场定位+服务的产品模式,鹅厂海量lbs数据和WiFi数据的积累为实现近场定位服务提供了数据支撑。以商圈环境和室内场景为重点,WiFi雷达-近场立体定位平台经过一年多的数据积累和算法优化,实现了定位精度和服务能力的不断提升。基于现有能力,当前我们与合作方一同在探索更多样化的智慧营销方式,例如基于用户实时位置的商家信息个性化展示功能在近期已经上线。当然,在未来我们也将持续优化近场服务平台的定位能力和服务能力。