后疫情时代，零售企业如何降低云上数据分析成本？

文章来源：infoqapachekylin

在 9 月 19 日的 Kyligence Cloud 2020 大会上，来自全球知名连锁咖啡品牌的高级 BI 经理杨祖瑜带来了零售行业数据化转型的真知灼见，分享了其所在咖啡品牌在疫情冲击之下， 进行企业云上数据平台建设的原因、技术选型和项目建设历程，以及如何三位一体实现数据分析成本的节约。

疫情之下的数字化转型

疫情对餐饮零售行业的影响

演讲嘉宾杨祖瑜所在的咖啡品牌成名于欧洲，06 年的时候进入中国，2018 年在中国已有 459 家门店。

2020 年，突如其来的疫情对很多行业冲击巨大，餐饮作为零售行业的一块，也受到了比较大的冲击。因此，公司进行了一系列的数字化转型，以更好地渡过这个严冬。

数字化转型包括两部分：

第一部分是「开源」，通过数字化转型发现新的销售机会、新的增长点；

第二部分就是接下来讲的「节流」，IT 需要对整个业务有以下三个方面的赋能：

1. 用户需求: 关注点的转变，精细化运营成基本手段

在整个资源受限的情况下，如何更好地或者更低成本地获取新的消费者，以及对于现有存量消费者，如何更有效率地提升消费频率和转化。核心策略需从新消费人群的需求分析展开，利用颗粒度更小的数字标签和精准算法实现更完整、更深刻的用户理解。

2. 供应链物流: 数字供应链是基本保障

疫情对零售行业的影响非常大，不论是门店的备货，还是物流预测，都变得非常困难，因为整个消费趋势现在是变得十分动态化的，敏捷供应链和强大的物流效率是为消费者提供交付确定性的唯一保障。

3. 数字赋能: 数字化转型是逆境崛起的基本动力

要做到以上两点，我个人觉得最重要的就是数字化转型，对公司的成本控制和效率提升上会有很大的助力。疫情正是对企业数字化转型的一次全面检阅。疫情期间，具有韧性的品牌公司往往是前期已经开展数字化转型的企业。

数据平台在数字化转型中具有不可替代性

一旦说到数字化转型，大家脑海中经常会闪现过「我们要上新系统」，「我们要升级」。升级和上新系统只是整个数字化转型中的一个步骤，更重要的是做一个闭环。 数字化转型的闭环在哪里？在数据平台。

没有数据平台，就像驾驶汽车没有仪表盘，业务系统的结果无法清晰及时地应用到业务上。有了数据平台，才能进行量化的全盘业务分析，要避免只是埋头干，还是要抬头看，方向不对全白干，数字化平台就会起到这种指引性的作用。
没有数据平台，数据集成缺少可信的单一信源平台，可能导致重要的信息丢失，同一个KPI会出现多种不同的理解。各个业务部门都会有一套自己的数据，每个业务部门都会觉得我做得蛮好的，如果缺少一个统一数据的平台，就无法做到业务内部的数据资源的整合。

如何建设企业数据平台

企业数据平台的现状和目标

在搭建数据平台时，会碰到一些常见问题：

1. 数据割裂

业务系统数据没有打通，多个 OLAP 主题未整合，使得无法从渠道、会员等多角度分析。

2. 数据缺失

主数据没有历史版本保留，无法从历史角度分析数据。

3. 数据逻辑混乱

Discount 现有拆分逻辑无法满足折扣分析。
用户很多线下手工数据无法进入系统，结合分析。

因此，在整个项目中，团队期望做到以下几件事：

1. 整合数据

整合 Sales、Salesitem、Delivery、Discount 以及线下数据，实现从渠道、管理区域、城市、门店、产品、会员、折扣、活动多角度的分析。

2. 保留历史版本

主数据保留历史版本，实现从当前的角度，销售活动当时的历史角度的分析。

数据平台选型分析：本地和云上部署

接下来，就需要决定将数据平台部署在本地还是云上，上图中列了一些比较维度，这些维度最终整合成以下三点：

1. 灵活可扩展性

1）近乎无限的数据存储能力和强大的容灾能力。疫情只是一个短期的挑战，当业务度过了疫情，开始快速的增长，数据平台能否快速地跟上整个业务的变化。

2）较低的存储成本。毕竟还是在疫情期间，能否有一个方案可以对成本进行一定程度的控制。

3）计算与存储分离，按需使用资源。

以上三点是能否在云上做资源控制的关键。

2. 专业架构设计

1）使用专为敏感数据设计的基础架构保护数据。

2）托管的大数据基础服务能力。

3）丰富的数据应用能力。

3. 完善平台管理

1）资源快速安装和变更能力。不管是项目组也好，管理层也好，都会希望在一个短的时间内有交付出一些成果。

2）完善的资源访问策略及权限精细化控制能力。

3）创建或修改虚拟网络及管理网络安全策略的能力。

结合这几点需求，我们选择了云上的方案，本地部署目前难以满足这些需求。

云上数据平台的选择

云上的数据平台有那么多的方案，到底怎么选择？每一个公司选择都是要考虑自己的特性。我们公司的特性和绝大多数公司一样，有很多 Excel 的报告，这意味着做项目的时间和资源通常是受限的，不可能把所有的东西换掉。中间语义层的选择会变得非常重要，因为在这种情况下，很容易出现两个问题：

1. 新旧报告的切换

新旧报告切换是做 BI 项目通常无法回避的一点。由于项目自身的资源/预算/时间有限，企业不可能通过一个项目完成所有的报告的切换。因此，如何保证在项目范围之外的报告尽量简单快速地切换到新数据平台是影响项目结果的因素之一。

我们项目中就有很多 Excel 报告并且数据巨大，直接导致了与 Excel 无缝集成的能力非常重要，以保证项目的交付时间和质量。

2. BI 工具的切换

从长远看，更希望用户去使用一些比较流行的 BI 工具。如果使用能力受限的语义层，今后可能还需要二次投资，以进行优化。

Kyligence 为云上数据平台提供更多可能性

为了避免上述两个问题，Kyligence 成为了最优解，其在 Excel 上是无缝切换的。

1. 无缝切换能力

上线前给用户做报告的切换，这个报告历史悠久，切换的时候大家都战战兢兢，切换完以后用户问，「你能告诉我这个报告之前和现在的区别是什么」？我想了一想，还真说不出有什么区别。这样的无缝切换的能力，使平台在用户的接受度非常高，因为用户不需要承担报告的切换成本或者学习成本。

2. 大数据能力

Kyligence 是一个以大数据为基础的开发方案，所以当我们今后业务快速发展的时候，只需要基于它大数据的原生功能，就可以对整个分析平台提供更强的分析能力。

3. 低 TCO

大家都不希望随着用户的增长，整个平台的使用成本直线增长， 我们更希望随着客户的增长，成本反而是下降的，由于 Kyligence 本身的特性，这个要求也能达到，后面会做进一步的分享。

业务架构–整合所有业务数据打破数据壁垒

基于 Kyligence 的特性，可以很简单地把整个业务架构分成几块：

源系统里有不同的数据源，不同的数据源起不同的业务作用
通过自动的数据采集，我们把主数据、业务数据在数据仓库里面进行落地
根据技术方和业务方讨论的指标体系，用Kyligence来建各个主题的Cube。
在用户端，用户通过自己熟悉的Excel等进行分析。

以上是业务上的架构，在技术上如何落地呢？

技术架构–数据流转实现云上端到端数据服务

整套架构采用微软云（Azure）作为底层，后台使用了微软的 Spark 类型的 HDI。通过微软的数据工厂，把各个源系统的数据在 Blog 上面进行落地，同时用 HDI 里面的 Spark 功能对复杂的业务逻辑进行处理。当这些数据处理完以后，把这些数据 Onboarding 到 Kyligence 的 Cube 里，业务就可以使用这些 Cube 来做数据分析。

如何降低云上数据分析成本

三位一体实现数据分析成本节约

成本分为两个部分：

第一部分叫可见成本，就是真金白银掏出去的，用云的成本；

还有一部分成本是不可见成本，比如用户的学习成本，这一部分成本虽然不用付钱，但是会直接决定整个项目的成败。Kyligence 在可见和不可见的成本上都节约了成本。

1. 不可见成本

用户可以继续使用 Excel 进行数据分析，无需改变使用习惯。同时，用户将来从 Excel 切换到 Tableau，因为数据平台中间的一层直接使用 Kyligence 的 Cube，对于这些 Cube 的字段和指标，他们是非常熟悉的，用户的学习成本大大降低了。

2. 可见成本

Kyligence 也帮助我们极大地减少了云上资源的成本。

1）弹性伸缩

云上资源可以根据我们的实际需求弹性伸缩，Kyligence 的特点是弹性伸缩非常快速。整个 Kyligence 的集群，从一个节点到十个查询节点，整个扩展只用了五到六分钟。当我们能够清晰的预测到用户的使用频率的时候，我可以很好地做成本规划。之前我一直疑惑，这些所谓的弹性伸缩是否真的能帮助到我们，因为用户的分析情况其实不太好做预测，尤其在现在绝大多数企业有自助分析服务的情况下。令我惊讶的是，Kyligence 的数据粒度是非常细的，基于 Kyligence 提供的用户使用数据，我可以对整个数据平台的资源进行闲忙时的分布。

2）预计算

Kyligence 是基于预计算的，这点非常重要。大家经常面临一个问题：当我把资源下调的时候，用户体验也变差了，这不是舍本逐末了吗？而预计算就是通过对用户常用查询进行预先计算，当整个资源下降的时候，用户的查询性能是没有变化的。

前面进行了理论层面的分享，现在来看一下在数据上的变化。

使用成本 & 使用频次的变化

上面的折线图是上线前一周到八月份的使用费用和 Kyligence 查询的趋势图，上线的时候费用一直在增长，突然开始下降，但是整个用户的使用次数从上线开始一直在增长。通过对闲忙时系统的理解和策略的制定，可以在忙时的时候投入足够多的资源，在闲时的时候把资源撤下去，这样的策略从上线第二周（7 月 13 号）开始执行，效果非常明显。

下面的折线图是每天白天的使用情况趋势图。 Kyligence 的数据是可以精细到每一个小时，在尝试通过对每一天时间段的控制，更好地进行整个公司云上资源的调配，降低成本。 为什么是整个公司呢？公司里一定会有应用系统，应用系统的闲忙时比数据平台的更好预估，因为大家会预先规划活动和促销的时间段，如果纯粹为这些时间段去买一些额外资源，有些时间段里这些资源是闲置的，就可以把这些资源的闲忙时和数据平台的闲忙时进行互补。而且通常来讲，应用系统的闲忙时和数据系统的闲忙时正好是反的，先忙着做业务，当你做完业务之后，大家就需要忙着做数据分析了，所以整个公司的云上资源有很大的精细化运营空间。

项目建设周期与里程碑

上图是该项目整整七个月的心路历程，其实这七个月分成两个部分，包括五个月的项目实施和两个月的数据并行。分享以下三点供大家参考：

这两个月的数据并行期非常重要。因为该项目是对整个数据平台的升级和更新，所以不管测试得多充分，用户心里还是有一些顾虑，所以这两个月的并行是为新的数据平台建信心的关键期。
后台的 HDI 是Paas的服务，Paas的好处是不用担心升级，但是做 整个项目规划的时候，需要尤其注意整个项目的时间表和Paas服务升级的时间表是否冲突，避免遇到升级推倒重来。
这个项目涉及很多产品的组合，需要把所有的产品方拉到一起看一些问题。大家对供应商提供的本地部署方案，一般是比较清楚的，云上的方案可能需要考虑额外的由于产品与产品之间的特性导致的一些问题处理。

品牌数字化展望

最后，展望一下数字化转型的未来。零售行业，需要全渠道、线上线下同时发力，包括线下的门店和线上的外卖渠道等等。同时，也会去拥抱更多的销售平台，来拓展销售渠道。

同样对于零售而言，新零售是一个逃不掉的话题。在咖啡业态多元化的今天，怎么打造属于品牌自己的新零售模式，这也是一个非常重要的课题。这也是数字化转型和数字平台对业务的赋能，通过对数据的分析，打造品牌方自己的爆款产品。

最后就是数字化管理。数字化管理不仅是建设数据平台，大家从更高的视角看问题，更重要的是我们需要把公司策略的执行，门店绩效的考核，人员绩效的管理等，落地到数据平台上，进行可量化的分析。这才是数字化管理的最终结果。

作者介绍：