专栏首页宜信技术实践揭秘宜信财富年度账单的技术实现
原创

揭秘宜信财富年度账单的技术实现

一、背景

年底很多移动产品都会推出自己的年度账单,每年都会引起大众媒体的关注。今年有幸参与了宜信财富APP年度账单的开发,本文将带大家探索宜信财富年度账单背后的技术架构和研发逻辑,希望可以给大家带来一些思路上的启发。

二、前端整体架构和执行流程

宜信财富年度账单前端架构所采用的技术栈包括:

  • 前端页面是用H5制作;
  • 数据加载进度百分比,技术用到swiper插件和一些CSS3动效;
  • 海报生成用到了canvas图片合成,把海报背景和二维码合二为一。
  • 为了完成MGM的追踪,在二维码中嵌入M1信息。

三、数据来源和数据处理

本次年度账单涉及客户维度、销售维度、客户标签等数据,其中客户维度包括活动参与、文章、视频浏览等数据。这部分数据的整合来源于数据中台的主题数据。以下是数据中台的架构图:

  • ODS:数据来源层,存放从业务系统抽取过来的数据,业务系统中的原始数据经过抽取、洗净、传输装入本层。这层数据接近原始数据,却不等同原始数据,数据装入的时候进行了去重、去噪、表命名、字段命名等一系列规范操作。
  • DW:数据仓库层,该层是数据仓库的主体,将ODS层的数据按照主题建立数据模型,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合,是一个包含所有主题的通用的集合。
  • DM:数据集市层,是以某个业务应用为出发点而生成的字段比较的宽表,用于提供后续的业务查询、OLAP分析、数据分发等,该层数据主要由轻度汇总层和明细层数据计算生成。

在数据中台的架构上,我们建立了“以客户为中心”的标签体系。该套标签体系按照人口属性、价值指标、地理指标、心理指标等几大类对数据进行分层管理,标签的加工方式主要来源于DW和DM层数据的轻量汇总或者衍生加工,以及部分模型生成的产品预测等标签。这套标签体系支持360度客户画像以及分析关键接触点,提供基于跨渠道全流客户体验优化和关键触点优化。

本次账单的数据主要来源于业务操作、用户管理等源系统数据,这些数据被结构化地存储在数据库集群中,且都已接入数据中台,并按照定时任务或者实时数据落入对应主题域。账单数据通过其相应主题数据加工而成,前端通过接口API访问数据。

账单需求里的“销售评价消息实时推送”和“账单传播短信发送”都是通过智能运营系统支持的,该系统是集运营活动创建、执行、管理、反馈、迭代为一体的自动化平台,能够通过用户属性、标签、计划、操作等数据筛选客群,实现目标的精准触达,提升关键指标和运营效率。

下面是智能运营系统创建运营计划流程图:

  • 销售评价消息实时推送:该功能依赖wormhole实时平台将数据落到数据库,然后在智能运营系统里配置数据,最终通过消息中心和极光将消息推送到产品终端。
  • 账单传播短信发送:按照业务规则筛选符合条件的客群,在智能运营系统里配置短信模板等内容,然后调用notify通过短信平台将短信发送给客户。

四、技术后台

用户数据来源于宜信财富平台本身数据,包含:基础信息、浏览信息、参与活动等多项数据,如何保证数据准确、高效地传达到前端是后端开发所必须保障的。资产平台采用了spring+jersery+oracle+redis+jetCache的技术架构,为了提升用户体验度,加快响应时间,数据存储上该项目采用了缓存、非关系数据库和传统关系数据库灵活结合的方式,更好地提供数据支撑。

在对接年度账单需求时,我们也着重考虑了接口响应时间。年度账单用户数据包括用户活动数据及操作数据两张表,其中操作数据是一个重量级表格,为了减少数据库的IO操作,采用了两种方式来减少IO时间:

  • 根据数据组提供的标签,尽量减少访问资产数据表的几率;
  • 利用java8的Stream的新特性,将复杂的SQL逻辑放进代码中进行处理。

Stream 不是集合元素,它不是数据结构并不保存数据,它是有关算法和计算的,更像一个高级版本的 Iterator。

此外Stream还提供了并行技术,在不关注集合内部数据顺序的时候,可以采用并行Stream拆解任务来加速处理过程。例如在做统计,需要将子产品进行汇总,或其他操作时。

如果将复杂的代码逻辑直接用SQL来实现,代码会非常冗长,执行效率也不高。代码的逻辑是使用并行流Stream,根据类型对相关数据进行分类汇总,并且根据本次需求的业务场景将某一子类划分到另一个类别下。

使用Stream并行流代替SQL逻辑可以加速执行效率,减少响应时间。感兴趣的同学如果想了解Stream的更多特性,可以参考技术文档。Stream的应用能够让代码逻辑更加清晰,提高速度。

五、总结

此项目是由多个团队共同协作完成,本文对年度账单需求做了一次技术层面的梳理,由于时间比较匆忙,内容不太详细,希望可以给大家带来一些开发思路,也希望用户可以真切感受到我们的用心。

来源:宜信财富管理技术团队

作者:米志华、孙李强、李力、赵全超

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 十步法原则解决数据质量问题

    数据质量管理,是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题,进行识别、度量、监控、预警等一系列管理活动,并...

    宜信技术学院
  • 漫谈“数据湖”

    数据湖这一概念,最早是在2011年由CITO Research网站的CTO和作家Dan Woods首次提出。其比喻是:如果我们把数据比作大自然的水,那么各个江川...

    宜信技术学院
  • 宜人贷PaaS数据服务平台Genie:技术架构及功能

    随着数据时代的到来,数据量和数据复杂度的增加推动了数据工程领域的快速发展。为了满足各类数据获取/计算等需求,宜人贷自研了PaaS数据服务平台Genie,本文将重...

    宜信技术学院
  • 无处不在的流计算到底是什么?终于有人讲明白了(附导图)

    导读:两千多年以前,孔老夫子站在大河边,望着奔流而去的河水,不禁感叹:“逝者如斯夫,不舍昼夜。”老夫子是在叹惜着韶华白首,时光易逝!

    华章科技
  • BDTC 2017 | 深度剖析大数据在交通旅游领域的探索与实践

    12月7-9日,由中国计算机学会主办,CCF 大数据专家委员会承办,的2017中国大数据技术大会(BDTC 2017),在北京新云南皇冠假日酒店隆重举行。本次大...

    挖掘大数据
  • 三三制:大数据企业如何打造一支打不烂、打不散的团队?

    拿破仑说:“进行战争的原则也和实施围攻的原则一样,火力必须集中在一个点上(一个地段上),而且必须打开一个缺口,一旦敌人的稳定被破坏,尔后的任务就是把它彻底击溃。...

    小莹莹
  • 【知乎精选】如何准确又通俗易懂地解释大数据及其应用价值?

    大数据文摘
  • 什么是大数据

    进入本世纪以来,尤其是2010年之后,随着互联网特别是移动互联网的发展,数据的增长呈爆炸趋势,已经很难估计全世界的电子设备中存储的数据到底有多少,描述数据系统的...

    用户3391135
  • 【Python | TensorBoard】用 PCA 可视化 MNIST 手写数字识别数据集

    Principal component analysis (PCA) is a statistical procedure that uses an orth...

    Alan Lee
  • 人工智能将让我们更擅长辩论

    马明良 编译 辩论,向别人表达我们理性思考的能力是人类独有的特征之一。 论证与辩论构成了文明社会、人类精神世界的基石。辩论过程也广泛应用于政府治理、科学研究、宗...

    企鹅号小编

扫码关注云+社区

领取腾讯云代金券