专栏首页用户6296428的专栏有赞移动日志实践

有赞移动日志实践

作者:MC & 川普

团队:零售移动

背景

日志系统,是移动端定位排查线上问题非常有效的一个工具。以往商家使用App出现问题,向客服咨询时,客服需要详细收集商家的问题信息、店铺信息(操作步骤、操作视频等),然后提交工单反馈给开发,开发再根据这些信息进行问题定位。这个过程中反复沟通的时间成本无法避免,商家与客服在沟通时也存在信息遗漏与缺失。随着业务的不断扩张,业务的复杂度不断加深,当用户达到一定的量级时,仅靠客服在商家和开发之间反复沟通,显然不能满足各个业务开发同学的需要,也无法快速定位问题。

挑战

我们亟需一个完善的日志平台来作为商家与开发间沟通的管道,期望在接入日志平台后,可以解决上述问题。一个完善的日志平台,需要:提供移动端便捷的接入方式、保证日志安全写入、保障日志拉取稳定性、定期进行缓存清除、提供账号|店铺|业务级别的日志查找及筛选功能。在经过多次的迭代、测试、优化后,有赞日志平台于2019年上线。

有赞日志平台


有赞日志平台架构图。底层依赖有赞的通用服务,比如监控告警平台,消息平台。后端服务包含了基本信息聚合、日志回捞管理以及商家上传后的日志管理。前端页面包含了商家设备查询、日志回捞入口以及日志筛选入口。移动端的日志库ZanLogger,依赖了有赞移动的长链接库、设备信息库、配置中心库、网络库以及安全库。

1.1 日志信息

日志信息包含基本信息和业务信息。基本信息包含商家的店铺基本信息、软件版本、系统版本以及网络状况等内容。ZanLogger帮业务方做了写入处理。基本信息只写入一次,当基本信息内容发生变动,才会再次写入日志文件,减少冗余日志内容。业务信息是各个业务方的开发写在代码中的埋点信息。

1.2 日志上报

主动上报

商家在App的设置页操作,主动上报日志。

回捞日志

各个业务开发的同学,收到客服反馈的问题,可以日志平台,通过手机号或者店铺查询到该用户使用的设备,拉取该设备的日志文件。

回捞方式

长链接通知App。当App在活跃状态时,收到日志平台长链接通知,会打包日志内容上传至日志平台。冷启动请求接口,判断是否需要上传日志。弥补收到长链接通知时,商家App不在线的情况。提高日志回捞的到达率。推送通知App。接入App的推送功能,开发回捞日志时,当长链接无法建立连接,增加推送通知的能力。

日志级别

ZanLogger日志库对日志进行了分级。分为log.d(debug日志)、log.i(info日志)、log.w(warning日志)、log.e(error日志)四个级别。日志平台接入了有赞的监控告警平台,error级别的日志会上传到告警平台,通过短信、电话、企业微信、邮件的方式通知开发的同学。

1.3 日志 SDK

性能卡顿

传统方式写入每一条日志,都直接写入到文件。I/O读写是一个耗时的过程,操作系统使用了页缓存机制,系统会在写入时伴随着 用户态-->内核态-->文件 的过程,并且会进行两次的拷贝。由于日志需要非常频繁的写入,应用消耗大量I/O资源,导致GC频繁发生,即使在子线程工作,也会造成应用卡顿。ZanLogger将日志的写入下沉到Native-c++,使用 mmap 内存映射,写入时直接操作内存,不需要经过内核空间的数据缓存,只使用一次数据拷贝,减少了大量I/O损耗,并且也大大加快了写入速度。

性能对比

在Android性能测试中,以java写入和mmap写入进行对比,我们分别对一千组、一万组数据进行写入实验。测试结果中,java写入是mmap写入时间的3倍以上。内存状况如下:

java写入GC非常频繁,存在非常严重的内存抖动:

mmap则表现的非常平滑:

日志完整性

在日志系统开发中,日志丢失问题也是需要重点关注和解决的,通常日志丢失有以下几种情况:

  1. 用户强制退出应用
  2. 应用意外退出,其中包括由于crash闪退、内存不足,系统回收等情况
  3. 由于日志系统自身缺陷导致无法写入或写入不全

ZanLogger引用了mmap来防止日志丢失。mmap是linux提供的函数,将一个文件或者其它对象映射进内存,并且在应用退出、内存不足时触发缺页中断,将缓存回写到硬盘。利用这个特性解决应用退出时的日志完整性。即使使用mmap也可能日志写入不全。如果发生这种情况,可能会导致日志解密失败。我们采用了日志分片和自定的二进制格式来解决,将长的日志分割成短的切片,并且将切片按照二进制格式来存储,二进制主要记录切片信息和校验。在解密时对日志进行拼接和校验,如果校验通过,则对该数据解密,校验不通过,则跳过这一条。

文件二进制格式

前面有提到文件的二进制格式,日志以二进制的协议进行存储。每个日志文件内容分为文件头和内容区两个部分,文件头用于存放日志日期、版本号、加密方式等信息,内容区用于存放加密后的日志。在解密时,先获取文件头的内容,解析出加密方式、秘钥等参数,再使用这些参数解密内容区的内容,从而解密出原始的日志。

安全性

日志会记录用户的一些重要信息,安全性必须得到保障,所以不能以明文存储的方式。目前主流的日志库大多都使用对称加密的形式,在java层初始化时会将密钥以明文的形式传递,反编后可以非常容易的获得秘钥,其加密方式也比较单一。ZanLogger抛弃传统的加密方式,使用了一种更加安全的方案。

对称秘钥生成

出于对性能的考虑,我们在对日志加密时依然使用对称加密的方式。不过我们并没有使用固定的秘钥,而是使用动态生成的。我们对生成秘钥的要求是不同设备不同时间的秘钥都不一致,日志以天为单位记录,所以需要保证每一天的秘钥都不一样。在生成秘钥时,需要将设备标志、时间和一些混淆参数,通过一系列计算生成的。考虑到Android和iOS获取设备信息的方式不同,在实现中,我们仅提供一个钩子函数。由两端的bridge模块自行提供算法。

//初始化密钥生成句柄
char *secretKeyGenerator(int version){}
static void initSecretKeyGenerator(char *(*secretKeyGenerator)(int));

在获取到bridge生成的 char* 值后,会根据具体的对称算法,对值进行再次处理以达到算法要求的秘钥格式。

对称秘钥存储

在完成秘钥生成后,也需要将秘钥存放到日志文件中,否则无法解密。首先考虑到将秘钥加密后存放到文件头中,如果使用对称加密,则需要一个固定的秘钥来加密。但这相比于传统方式,只是多了一次加密,没有什么意义,同样也不安全。所以我们使用非对称加密的形式。通过后端下发公钥和对应的公钥ID,在通过提供的公钥对秘钥进行加密,将加密后的数据和公钥ID共同存入文件头中,在上传后,后端取出公钥ID和加密数据,通过公钥ID拿到其私钥,再通过私钥解密出原始秘钥,最后使用该秘钥解密出原始日志。

1.4 特色功能

支持自定义沙盒文件和配置文件的上传 比如交易链路很长,当定位线上问题时,单纯的靠写入的日志内容,已经不能满足排查问题的需求。所以上传用户的数据库文件,结合日志文件,才能更好的定位线上问题。(沙盒文件上传的同时会和日志文件一起打包上传。) 用户可以手动勾选需要上传的数据库文件。最终数据库文件和日志文件会一起压缩上传到后台。如需上传其他文件可由开发者提供具体的json字符串,用户复制到“自定义”输入框内,即可完成其他沙盒文件的打包上传。数据库文件可使用简写。相关文件具体路径会自动匹配(包括“.sqlite-wal”和“.sqlite-shm”)。日志回捞,也支持这一功能。在日志平台填写文件的名称即可。

1.5 线上效果

作为移动端基础日志库。现在,ZanLogger已经接入有赞微商城、有赞零售、有赞精选、有赞美业、有赞会议等App,日志种类也更加丰富。客服提交工单,开发根据工单上的用户id拉取日志,分析解决问题,大大降低了沟通的成本。

本文分享自微信公众号 - 有赞coder(youzan_coder),作者:有赞技术

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-04-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 打印日志时 Logback 内部都做了些什么

    Logback 是一个优秀的开源日志框架,我们很多项目都使用它来记录日志。实际使用时,通常仅需要一行语句即可记录相应的日志信息,如

    有赞coder
  • 生产环境ERROR日志治理总结

    ‍没有仪表盘的车,那是自行车,只要会骑,人人都能骑······ 有仪表盘的车,没有故障灯,会开车的人可以开但也有坏的时候······ 有仪表盘的车,如果全是ER...

    有赞coder
  • 文件上传杂谈

    文件上传是前端很常见的一类场景。图片、视频和文档等等都属于文件范畴,每个文件则是通过 File.Type 进行更细的划分。本文将针对文件上传的一些通用维度场景做...

    有赞coder
  • 怎么打日志

    王小明_HIT
  • 微服务拆分过细?“卫星”系统帮你做日志收集无遗漏

    背景 随着酒店业务的高速发展,我们为用户、商家提供的服务越来越精细,系统服务化程度、复杂度也逐渐上升。微服务化虽然能够很好地解决问题,但也有副作用,比如,问题定...

    美团技术团队
  • 日志自动分析和解析开源工具

    https://blog.csdn.net/arpospf/article/details/98795806

    lilihongjava
  • 【PaperReading】Tools and Benchmarks for Automated Log Parsing

    Jieming Zhu① , Shilin He② , Jinyang Liu③ , Pinjia He④ , Qi Xie⑤ , Zibin Zheng⑥ ,...

    lilihongjava
  • 你真的会正确使用日志吗?

    日志在应用程序中是非常非常重要的,好的日志信息能有助于我们在程序出现 BUG 时能快速进行定位,并能找出其中的原因。

    xcbeyond
  • C语言 | C++打印有效日志

    一般在程序上线之后,一旦发生异常,第一件事就是要弄清楚当时发生了什么。用户当时做了什么操作,环境有无影响,数据有什么变化,是不是反复发生等,然后再进一步的确定大...

    C语言入门到精通
  • 认识日志分析平台ELK

    为什么要使用日志分析平台 对于日志的重要性,都会很认同,不管是一个小网站,还是一个大系统,都会用到日志 网站初期,一般就是查看web服务器访问日志,例如,平时...

    dys

扫码关注云+社区

领取腾讯云代金券