笔记 | 数据分析产品未来范式的小结（增强分析、智能交互等）
笔者之前就看到过增强分析这个概念，只不过没有特意留意，最近也是在总结一些手边工作，通过观察了一些技术部门关于数据分析产品的设计思路，笔者觉得增强分析这个概念背后的趋势，确实是现在很多数据分析类产品的趋势。
笔者在总结了一些技术数据产品之后，觉得数据分析产品会沿着以下几个方向走：
- 数据的私人订制，不同角色想看到的数据都可以定制化，一般需要用问答机器人来完成
- 数据分析产品与各类中台系统 强集成，可以帮助到营销、投放、运营当中
文章目录
- 1 数据分析 -> 数据产品的意义
- 1.1 数据分析：要从业务中来，到业务中去
- 1.2 数据产品：要抽象功能模块
- 1.3 不同场景的用户对数据产品的需求
- 1.4 BI新概念：增强分析
- 2 增强数据分析
- 2.1 自动洞察：阿里妈妈智能洞察系统AutoInsight
- 2.2 京东：数据+算法驱动的消费者深度洞察
- 2.3 网易严选：投放全链路数据产品-诊断性分析实践
- 2.4 神策分析云
- 3 数据可视化+交互的增强
- 3.1 平安寿险 - 数据小助手
- 3.2 阿里机器智能技术-创新产品数据机器人
- 3.3 贝壳找房奥丁分析平台
- 4 数据产品 - 内容运营
- 4.1 灯塔
- 4.2 优酷 / 阿里文娱
- 4.3 快手：内容运营平台
1 数据分析 -> 数据产品的意义
数据分析和数据产品是提升管理效率的两个重要的能力。接下来，从数据分析和数据产品两个角度介绍一下，如何提升数据化管理效率？
1.1 数据分析：要从业务中来，到业务中去
只有将业务目标进行拆解，数据量化才会更贴近业务，分析结论对业务也会更具指导性。量化管理的过程，就是业务理解、业务拆解，最终判断业务的结果是好还是坏的过程。
好坏评估的标准就是根据业务的动作核心，拆解出来的指标，通过不同的维度交叉分析，找到业务做的好与不好的原因，并最终为了更好的开展接下来的工作，提供可以落地的解决方案。
1.2 数据产品：要抽象功能模块
当数据分析师面对多个角色解决非常复杂的业务场景时，数据分析的解题方法、解题思路，甚至是得出的结论，都是多样化的，短期的效率非常高，但长期来看，对于服务更多规模型的用户来讲，效率并没有有效地提升。而这正需要数据产品来解决。
1.3 不同场景的用户对数据产品的需求
自上而下来看，最顶层是决策者，最底层是一线人员，要解决的是价值转化的问题，也就是效率问题。
- 针对决策者，我们要提供定制化的服务。与数据分析回答领导“天问”的专题分析不同，数据产品需满足决策者随时随地发现行业趋势、监控核心指标的诉求。因此，我们会为决策者提供移动端和大屏等产品。
- 针对中间层的各级管理者，承接了领导的问题，需求更多元化，也更量化，对效率要求也非常高。所以我们采取了集装箱式的服务模式，根据不同场景用户的诉求，将不同产品的一些工具进行组合，最终以数据门户的方式做统一的呈现。 决策者-1d和核心的数据分析的人员会去关注问题发生的原因，以及未来将有可能是什么样的表现，关注的是归因和预测。数据产品的归因功能可快速提高定位原因效率。
- 部门的管理者和分析师主要将问题进行更细的拆解，分析原因、调整策略。数据产品将细化业务场景，快速寻找匹配的产品功能，提供产品组合服务。
- 一线人员承接具体执行的工作。他们最关注的是拆解给“我”的目标是什么？我是否能完成这个目标？如果无法完成，我接下来该怎么做？他们希望快速看到数据结果、自助分析查找原因，甚至有的时候都不知道自己要看什么样的数据。所以针对一线人员，需要提供批量复制的产品能力，比如提供多维分析功能，让他们去做数据的探查；提供自主取数功能，便于快速的做一个小的决策。
那么针对此，有非常多的互联网公司已经有布局关联的数据产品，比如阿里的观星台，美团天玑等，都针对不同的场景用户开发了不同的数据产品。
1.4 BI新概念：增强分析
来自：
增强分析的概念由 Gartner 在2017年提出，在 Gartner 当年的报告《Augmented Analytics Is the Future of Data and Analytics》中，给出了增强分析的定义：增强分析是下一代数据和分析范式，它面向广泛的业务用户、运营人员和民间数据科学家，利用机器学习将数据准备、洞察发现和洞察共享等过程自动化”。 对增强分析的概念有了基本的认知之后，我们来看看增强分析具体包含了哪些技术能力。结合 Gartner 的分类，可以将增强分析相关的技术分为三类：增强数据准备、增强数据分析和增强机器学习。下面我们通过一个树状图来说明增强分析的技术能力矩阵：
- 增强数据准备：包含可视化数据交互和数据关系自动化发现两个方面，可视化数据交互实现可视化的数据配置、数据源的混合以及数据清洗工作，让数据准备变得"无代码化"；数据关系发现利用机器学习和 AI 技术来自动化上述的部分流程
- 可视化交互：通过类似 Excel 的界面以及托拉拽式的操作方式实现可视化的数据配置、数据源的混合以及数据清洗工作，让数据准备变得"无代码化"。
- 算法辅助：利用机器学习和 AI 技术来自动化上述的部分流程。例如，自动的查找数据之间的关系，对数据质量进行评估，推荐用于连接、丰富、清洗数据的最佳方法，还有自动查找元数据和血缘关系等功能。例如下图中，Paxata 平台自动找到了两张表最佳的 join 方式。
- 增强数据分析：包含自动洞察、自动可视化、自然语言查询和自然语言生成。自动洞察和自动可视化是实现业务数据的自动化诊断和可视化展示；自然语言查询NLQ和自然语言生成NLG为了跨越人类和机器之间的沟通鸿沟，将非语言格式的数据转换成人类可以理解的语言。
- 自动洞察，也叫主动洞察，是增强分析的核心功能，但同样也是一个宽泛的概念。
- 发现关联：比如分析 GMV 关联因素，可能涉及到订单量、金额、人数、产品类型等多种因素，通过自动洞察可以在分析高费用收入时，找出哪项因素对高费用影响最大。
- 发现异常：自动的发现数据异常，不再依赖于规定固定的阈值。这个领域在学术界应该是个古老话题了，在此就不做赘述。
- 自动聚类：聚类是一种典型的无监督学习，可以自动的将样本分成若干组，因此也被认为是一种自动洞察能力。
- 自动可视化：
- 自动化图表：无需用户操作直接生成图表，根据图形语法、图表配置映射等方式将图表渲染出来
- 自动化报表：自动生成报表，参考分析目的和图形样式等方面来生成报表布局、配置控件、图表联动等
- 自动洞察，也叫主动洞察，是增强分析的核心功能，但同样也是一个宽泛的概念。
- 增强机器学习：包括自动化机器学习（AutoML）和自动化在线学习平台（AutoLearning）。增强机器学习要解决的问题主要是释放机器学习过程中的人力投入，自动化实现数据标注、特征提取、模型训练以及超参优化和模型评估。
- AutoML
- 特征工程平台
2 增强数据分析
2.1 自动洞察：阿里妈妈智能洞察系统AutoInsight
AutoInsight系统能力为实现两个核心自动化能力目标，一是自动化智能化程度高，二是具备个性化诊断洞察能力。 智能洞察系统AutoInsight一共包含四个大的组成部分，分别为：数据源接入&ETL模块、元数据配置服务、InsightCore服务层以及文案展示服务层，整体架构为下图所示：
底层数据源接入&ETL模块做到了多数据源类型的可视化配置；
元数据配置服务层：同样提供了灵活的维度、指标、业务层级关系等个性化的配置能力。 InsightCore服务层是整个AutoInsight的核心算法模块，包括异常发现、洞察算子、TopK-Insights智能推荐三个子模块，即为智能洞察的三步走策略：首先通过异常发现模块完成对业务表现进行多维度、多指标分析；然后对异常维度组合的业务指标表现进行波动分析、趋势洞察等归因分析，最后再经过智能推荐模块对诊断洞察结论进行综合的业务异动波动显著性打分。
该自动洞察模块的应用场景一：广告投放平台智能化诊断
该案例智能化诊断模块的产品功能样例如下图所示，主要包含两个功能点：
- 一是数据分析模块，对报表数据的关键信息挖掘和波动诊断、个性化展示；
- 二是机会洞察模块，向广告商家个性化展示业务可优化的点和商业机会，根据广告商家的投放操作行为进行个性化的投放建议诊断。
该自动洞察模块的应用场景二：移动端投放平台智能预警 为提高广告商家对业务监测和决策的时效性，我们在移动端增加支持业务指标异动洞察能力，并通过发送预警信息帮助广告商家更好的发现业务问题，更及时的进行业务判断和决策。 AutoInsight通过对广告商家业务的诊断分析，发送业务指标异动预警消息，一方面提高广告商家对产品的使用粘性和活跃度，另一方面帮忙用户更好更及时的发现业务问题，进行有针对性业务决策，助力业务增长。
2.2 京东：数据+算法驱动的消费者深度洞察
从人的层面上，我们会通过底层的算法分析模型，帮助我们看到消费者不同维度的特征分析与洞察，帮助品牌更好的定位目标人群； 在人和场层面上，这些模型可以帮品牌发现哪些触点对流转贡献是更高的。针对这些触点，购物路径是怎么样的，哪些关键触点更值得品牌去做投入； 在人和货层面上，通过人和货品的关系洞察，针对不同的消费者群，匹配不同的货品策略，借助这些货品来更好的运营消费者。
我们近期推出了京东数坊的企业版产品，叫做Audience Engine。我们复制京东数坊的能力，使企业去做他自己第一方的用户数据治理，在此基础上构建一个他自己的全域用户的运营能力。在这个平台上，我们为企业构建了私域打通能力，第三方广告渠道对接能力，实现了营销自动化能力。
从效果评估层面上，帮助品牌评估自有流量的投放效果，实现品效结合的效果评估；然后通过京东数据跟企业数据融合，帮助企业深入理解和洞察自己的消费者，以及进一步实现全渠道的营销触达。
2.3 网易严选：投放全链路数据产品-诊断性分析实践
来自讲座分享《全链路市场投放的数据产品》
下图是严选希望借助数据产品帮助做到的四个阶段的内容：
包括异常诊断
预测性分析：
2.4 神策分析云
神策的数据消费者平台CDP之上，也有神策分析云，会将用户的数据中心，标签管理，内容管理都附带上
3 数据可视化+交互的增强
3.1 平安寿险 - 数据小助手
在增强分析的一种实现：BI的AI化一文中，可以看到数据可视化的一条晋级路线：
- 常见的报表系统，以表为主
- 加入可视化的BI报表很常见
- 在线可交互数据报告，数据工厂
- 一对一的专业私人数据服务
那么BI报表作为一种数据服务，也完全可以追求私人定制，那就是你的数据小助理：
- 随叫随到——从PC到移动
- 有问有答——从看板查询到人机对话
- 简单高效——从展示现象到解读结论
- 有理有据——从定性查看到定量分析
小助理：“经分析，是渠道X带来的日活环比大幅下降75%导致，请关注”——将经典归因分析方法内嵌系统，直接反馈分析结论。
正如上述对话示例的解读，小助理背后的技术原理并没有想象中那么复杂：
- 识别&推测用户意图，通过多轮对话形式引导用户补充系统计算所需的关键输入信息；
- 支持用户个性化输入，并能将其转化为系统可识别的标准化输入；
- 将标准化输入对应到后台的不同组件化数据指标计算流程；
- 将系统计算结果填充到预设的文案模版中，向用户显性化解读结果。
3.2 阿里机器智能技术-创新产品数据机器人
增强分析技术原理与实践也提到了创新产品数据机器人，以对话机器人形式提供多维数据查询、智能分析、预警推送、数据可视化等多项数据智能服务 数据机器人于2017年10月在钉钉上首次上线，最初通过机器人平台的会话流和意图配置提供客户体验领域的指标查询。经过两年多的业务发展，数据机器人已接入阿里集团20多个 BU、100多块子业务的数据，并且以 PaaS 化服务的形式接入到阿里小蜜、钉钉智能助理、内外小蜜、云小助等机器人实例中，提供个性化的数据查询和分析服务。
从功能而言，数据机器人主要功能特性都完美契合了增强数据分析的能力方向：
- 对话式分析：基于分析意图模型和多轮对话管理能力，实现灵活便捷的对话式分析请求和丰富数据展现。这一过程实质将 NLQ 和自动化报表串联起来，自然语言转 SQL，再将 SQL 结果集转图形，形成了"NL2SQL2Graph"的完整链路，同时利用 NLG 技术形成机器人对话能力。
- 动态预警：借助数据机器人的动态预警能力，实现数据自动找人，将业务数据的异常波动主动推送到相关人和钉钉群，帮助业务部门及时发现问题并采取有效措施。
- 智能分析：数据分析算法化，支持归因、TopN、维度下钻、时序预测等等算法，以及动态的操作推荐。
- 智能洞察：具备时序异常检测、因果关联、波动归因等主动洞察能力，自动的发现有用结论。这些都是自动洞察技术的典型应用，同时叠加 NLG 过程，为用户自动的生成智能洞察报告。
3.3 贝壳找房奥丁分析平台
来自贝壳找房《转变，贝壳找房数据平台演进》，
也有一直到移动端的布置：
包括数据治理中，数据血缘关系的梳理：
4 数据产品 - 内容运营
4.1 灯塔
来自快手数据平台部的分享：《数据产品在内容行业的应用》
灯塔有比较详尽的影视内容关联数据，可以查看：
4.2 优酷 / 阿里文娱
4.3 快手：内容运营平台
