实时计算Flink在游戏行业的实时数仓建设实践

行业背景

行业现状： 

• 随着互联网和移动互联网的相互促进与融合，以及PC终端和各类移动终端在智能化和便携性上的趋同，游戏产品跨平台运行于各类终端的需求逐步显现，特别是互联网页面游戏中的社交类游戏等产品跨平台运行于各类移动终端已经出现，随着版权价值意识的增强，游戏开发商和运营商在取得版权后，加强了对文化内容的开发利用，力图以多形式多媒介的产品实现版权价值的最大化。

• 大数据在游戏行业中的作用：
  • 根据游戏数据分析游戏产品趋势，实现精准营销
  • 根据玩家付费和活跃度等进行玩家画像，针对不同的玩家设计不同的商业化活动方案，提升付费玩家的体验，提升游戏消费额

业务场景

某游戏公司开发了个游戏APP，该公司在APP中会发布一些游戏场景、游戏角色、装备、精美皮肤等内容，玩家在线娱乐，产生充值购买等行为。 业务的构建涉及到几个端：

1. APP：应用程序，玩家访问入口，玩家主要进行如下操作：
   1. 注册账号
   2. 在线娱乐
   3. 游戏充值
2. 后台系统：对玩家行为数据进行分析，提供给运营/运维人员，用于辅助公司决策。
   1. 实时归档日志：用于OLAP查询或离线数据分析
   2. 实时KPI统计：统计不同时间段的游戏点击量，作为确定游戏活动开启、版本升级、服务器维护等操作时间的依据；根据游戏收益金额，制定更合理的商业化活动方式
   3. 实时统计TopN游戏：辅助公司对游戏APP开发资源、运营资源的分配决策

技术架构

image.png

架构解析： 数据采集：该场景中，数仓的数据来源有两部分：用户操作日志采集至日志服务（SLS），用户的购买充值等信息则通过RDS Binlog日志同步至DataHub。 实时数仓架构：该场景中，整个实时数仓的聚合统计，全部通过Flink完成，Flink实时读取SLS和DataHub的数据进行处理，并与维表进行关联查询等操作，最终实时统计的结果输入到下游数据库ODPS和RDS中。

业务指标

• 日志归档
• KPI统计
  • 游戏UV
  • 新增角色累积收益总额
  • 游戏评论次数
• 热门游戏TOP3

说明：该案例中仅包含以上场景及指标，在实际的应用场景下还包括游戏账号异地登录、玩家画像等其他指标。