文档中心 电商 技术架构 用户分析及智能推荐

用户分析及智能推荐

最近更新时间:2019-03-06 15:56:08

技术架构

示意图

原图

说明

1. 弹性 MapReduce(EMR)

弹性 MapReduce 结合云技术和 Hadoop、Hive、Spark、Storm 等社区开源技术,提供安全、低成本、高可靠、可弹性伸缩的云端托管 Hadoop 服务。您可在数分钟内创建安全可靠的专属 Hadoop 集群,以分析位于集群内数据节点或 COS 上的 PB 级海量数据,同时支持分钟级的集群扩容缩容,以适应分析业务的峰值谷值对资源需求的不同,获得灵活性的同时,节省大量的成本。

2. 云存储

线上线下前端平台,将业务数据与系统日志统一汇总至 COS 云存储中,EMR 集群从 COS 存储上获取源数据,在通过COS 规模化效应降低存储成本的同时,您还可以创建不同 EMR 版本分析同一份数据,这将为您带来极度的架构灵活性。

3. 用户实时数据流处理与分析

在程序/工具中通过 API、SDK 把位于业务服务器上实时产生的数据 Push 到 CMQ 消息中间件之后,您可以在 EMR 产品中选择合适的流式数据处理引擎来分析数据,以实现对业务变动的实时告警;还可以把分析结果实时同步到 TencentDB 等存储引擎,以便于您能通过 RayData 等数据可视化产品对业务状态进行实时可视化检测。

4. 订单和用户数据存储

TencentDB 等数据库存储的订单和用户数据,可按照需求通过 ODBC 连接 EMR 组件,或导出至 COS 存储并作为 EMR 的源数据,TencentDB 支持 MySQL、SQL Server、MariaDB、PostgreSQL 等,相对于传统数据库更容易部署、管理和扩展,默认支持主从实时热备,并提供容灾、备份、恢复、监控、迁移等数据库运维全套解决方案。

5. 用户特征信息存储

用户特征信息通过 EMR 集群数据分析过程产生,并输出存储在 MongoDB 中,文档数据库 MongoDB(Cloud MongoDB Service)是腾讯云基于全球广受欢迎的 MongoDB 打造的高性能 NoSQL 数据库,100% 完全兼容 MongoDB协议(同时高度兼容 DynamoDB 协议),提供稳定丰富的监控管理,弹性可扩展、自动容灾,适用于文档型数据库场景,使您无需自建灾备体系及控制管理系统。

6. 产品活动推荐

根据用户特征数据通过云短信智能定向发送商品和活动推荐信息,腾讯云短信(Short Message Service)沉淀腾讯十年短信服务技术和经验,帮助广大开发者快速灵活的接入高质量的文字或语音短信服务。

7. 数据仓库

通过 EMR 分析后的中间数据结合数据仓库进行进一步数据处理,数据工坊(Tencent Data Factory)是源于腾讯云数智大数据套件的轻量云上大数据产品,为您提供基于 SQL 的大数据计算框架;适合于需要动态灵活获取大数据计算能力进行批量计算、日志处理或数据仓库应用的场景。

8. 数据可视化分析

  • 腾讯云商业智能分析(Business Intelligence)整合永洪科技产品能力,为您提供多维分析和报表展现,是新一代敏捷型 BI SAAS 服务。您可以在几分钟上线一套数据可视化分析报表,还可以通过拖拽式自服务操作进行交互式分析,快速获得分析结果。
  • 腾讯云大数据实时可视交互系统 (RayData),基于数据实时渲染技术,利用各种技术从大规模数据通过本系统,实现云数据实时图形可视化、场景化以及实时交互,让使用者更加方便地进行数据的个性化管理与使用。