产品成立之初,产品的需求是需要对各种指标进行公式运算,组合成一个新的复合指标,供后续使用。当时产品提出的形式是有两种:
在做薪酬的数据分析过程中,我们的基础薪酬数据来源于薪酬的年度基础数据表,在这个表的基础上,我们需要对数据进行汇总分析生成薪酬的数据分析报表,在薪酬的数据汇总报表中有薪酬的一些指标数据,比如各个层级的薪酬最大值,最小值,各个层级的薪酬带宽,各个层级的中位值。这些关键指标都是来源于薪酬的数据基础表,在这个过程中,我们希望能快速的 自动的可以进行这些关键指标的计算,汇总。
我们在上篇文章讲到了如何根据岗位的工作职责进行KPI关键值的选择,那今天我们就来聊聊,如何进行量化的KPI指标的设计。
做数据可视化分析时,会出现两个极端,一是不管什么需求,用表格干就完了。再者就是追求炫酷的可视化效果,堆叠各种“高端”的可视化图表,用户看不懂,华而不实。基于实际的分析需求以及要表达的信息内容,选择最匹配的图表形式,才能可视化得恰到好处。每种图表能够承载的数据格式以及反映的数据信息各不相同,这一次主要想分享瀑布图的用法,不管以后是做定制化的可视化页面开发,还是做自助BI图表类型的扩展,都会有所帮助。
作者:teachzhang 腾讯PCG工程师 |导语 大数据多维分析是业务中非常常见的分析场景,目前也有许多落地方案,但是在遇到上百亿数据、维度个数不限、秒级返回结果这样的场景时,实现的时候还是遇到了一些挑战。本文介绍了一种参考kylin的预聚合模式实现的存储方案,支持对上百亿数据以及数百个维度的多维分析,并且能在秒级返回查询结果。该方案可以运用于多维指标拆解分析,异动归因分析业务场景。希望给其他有类似分析场景的同学提供一种参考方案,对本内容感兴趣的同学,欢迎一起交流学习。 1. 背景 周报场景:微视
作者:Justin Ellingwood 翻译:云监控团队 跟踪哪些类型的信息很重要? 您监控的值的类型和跟踪的信息可能会随着基础设施的发展而改变。由于系统通常是分层运行的,在更原始的基础设施之上会构建更复杂的层,因此在计划监控策略时,按层级式考虑指标会大有裨益。 01 基于主机的指标 在指标层次结构的最底层是基于主机的指标。只要能帮助评估单个计算机的运行状况或性能,任何指标都可能被纳入其中,暂且无需考虑当前的应用程序堆栈和服务。主要包括操作系统或硬件的使用或性能,例如: CPU 内存 磁盘空间 进程
杜邦分析法(DuPont analysis)是一种分析企业财务状况的方法,得名于美国杜邦公司。该方法可以应用于销售业绩分析。如下图模拟杜邦分析图对门店零售业务的业绩进行分解(参考:黄成明老师的《数据化管理》)
现在数据仓库层面的工作越来越多,开发人员也越来越多,如何保障数据准确性是一项非常重要的工作,,数据仓库的很多应用数据直接呈现给用户或者支撑企业分析决策的,容不得数据出现错误。随着开展的业务越来越多,数据模型越来也多,我们管控的越晚就越容易出问题。尽管有数据仓库建设规范,同样在数据模型命名,数据逻辑开发,每个人都可能不一样,而这些也容易导致数据模型准确性的问题。我们迫切需要制定一套数据的准确性验证流程,让大家都按规范流程来做,保障数据的准确性。
编译:互联网数据官 梅子 我们都知道,Google Analytics(后文统称为GA)让不懂数据背后的处理逻辑的人也能很容易的收集和查看数据。通常情况下,理解了GA收集和存储数据的模型,就会很好解释一些复杂问题或者古怪的访客行为。下面就从最基本的说起: GA的数据收集可以分成两类:维度和指标。然而,并不是每一个维度-指标的组合都可以在GA标准报告中进行分析。例如,“所有页面”报告提供的是关于网站不同网页的详细信息,你可以这个报告中看到网页浏览量、唯一身份浏览量,以及每一个页面的访问进入次数、平均页面停留时
所谓的管理指标就是企业经营和管理活动所需要达成的经营成果衡量标准。通俗地讲就是一个企业为了实现自己的经营结果而需要组织成员,包括每个岗位的员工、每个部门、每个业务单元在什么时间做什么,以及达到什么样的结果。
很多同学在看薪酬数据分析报告的时候都会看到一个数据叫薪酬CR值,但是有时候我们在其他的报告中,还会看到另外一个数据叫“薪酬偏离度”,很多同学就搞不清楚,CR值和薪酬偏离度到底是一个指标,还是两个不同的薪酬数据指标,两者的差异在哪里,在薪酬的数据分析中都有什么意义,今天我们就来聊聊这两个指标。
无规矩、不方圆。规范设计是在具体开发工作之前制定的,过程中不断进行完善。目的在于约束N个人对齐认知,按照一个标准或流程进行开发,以保证数据一致性,流程清晰且稳定。
数据分析逻辑是整个人力资源数据分析过程中最核心的一个环节。我们在学习数据分析的过程中,一些软性的技能我们可以通过线上学习或者跟随老师的操作,反复的操作就可以学会,比如EXCEL的技能,这些都是数据技能类的知识。但是思维的养成和改变确实最难的,数据分析的思维需要你在真实的工作场景中,通过真实的案例的学习,积累数据分析的经验,养成数据分析的思维。所以数据分析的思维是不断学习积累的过程。
DWD层是以业务过程为驱动,基于每个具体的业务过程特点,构建最细粒度的明细层事实表。
编者按:此文由AI科技评论独家编译,未经许可拒绝转载。此白皮书为谷歌总结的机器学习(ML)最优实践方法,浓缩了其多年技术积累与经验,尤其是 Youtube、Google Play 和 Google+ 等平台背后的 ML 算法开发、维护经历。谷歌于白皮书中总结了四十三条 ML 黄金法则,旨在帮助已经掌握了基础知识的开发者少走弯路。鉴于其珍贵程度与技术性,AI科技评论逐条做了严格尊重原文的翻译。若你已学习过机器学习课程,抑或有开发 ML 模型的经验,那么应当具备足够的背景知识理解这篇文章。 术语 以下是对文
Destiny,某物流公司数据产品经理,目前从事数据平台搭建和可视化相关的工作。持续学习中,期望与大家多多交流数据相关的技术和实际应用,共同成长。
Power BI 2023年的几次更新使得内置视觉对象(表格矩阵和新卡片图)自定义99%的图表效果成为可能,实现路径是DAX和SVG矢量图结合。我已经在各种场合分享了两三百种SVG图表效果,目测丰富程度全球第一。表格矩阵和新卡片图(不了解新卡片图参考此文:Power BI可视化的巅峰之作:新卡片图)都是SVG自定义图表的良好载体,二者在应用上有什么区别?本文依据过往的经验总结一二。
近些年,企业对数据服务实时化服务需求日益增多。本文整理了常见实时数据组件的性能特点和适用场景,介绍了美团如何通过 Flink 引擎构建实时数据仓库,从而提供高效、稳健的实时数据服务。此前我们美团技术博客发布过一篇文章《流计算框架 Flink 与 Storm 的性能对比》,对 Flink 和 Storm 两个引擎的计算性能进行了比较。本文主要阐述使用 Flink 在实际数据生产上的经验。
背景 所有业务都会面对“为什么涨、为什么降、原因是什么?”这种简单粗暴又不易定位的业务问题。为了找出数据发生异动的原因,业务人员会通过使用多维查询、dashboard等数据产品锁定问题,再辅助人工分析
作为HRBP 人力资源紧密结合业务,从人力资源的角度推动业务的发展,提升业务人员的岗位核心能力,这个是我们HRBP 最为核心的岗位工作。但是很多HRBP在实际的工作中比较迷茫,不知道人力资源如何的结合业务进行业务的分析和推动,日常的BP工作往往做的是普通的HR的工作。
② 维度:维度是度量的环境,是我们观察业务的角度,如时间,地点等,用来反映业务的一类属性 。其中描述维度的是 属性,即维度属性,是查询约束条件、分组和报表标签生成的基本来源,是数据易用性的关键。 ③ 度量:度量是指标产生的原始数据,或者是指标的结果值,度量通常为数值型数据,作为事实逻辑表的事实。 ④ 指标:指标分为原子指标和派生指标。原子指标是基于某一业务事件行为下的度量,是业务定义中不可再拆分的指标,是具有明确业务含义的名词 ,体现明确的业务统计口径和计算逻辑,例如支付金额。 原子指标=业务过程+度量,如订单数量,支付金额。 派生指标=时间周期(When)+修饰词(How)+原子指标,派生指标可以理解为对原子指标业务统计范围的圈定,如用户近1日通过支付宝支付金额,用户近30日通过手机APP产生的订单数量。
今天,数据资产日益成为企业的核心竞争力。但如果企业在走向数字化过程中遗忘了数据治理,可能再多的投入都会变成一种“徒劳”。
科学完善的数据指标体系是企业开展数字化运营管理、打造数据驱动型组织的重要支撑。透过多维度的数据指标,运营人员能够清晰了解业务现状,产品/研发人员能够高效定位系统问题,管理人员能够更加准确地做出分析决策。
Prometheus 通过指标名称(metrics name)以及对应的一组标签(label)唯一定义一条时间序列。指标名称反映了监控样本的基本标识,而 label 则在这个基本特征上为采集到的数据提供了多种特征维度。用户可以基于这些特征维度过滤、聚合、统计从而产生新的计算后的一条时间序列。
人力资源的数据分析过程是一个流程化,标准化的过程,对于HR来说,在数据分析的学习过程中,最关键的是要学习数据分析的思维,数据分析思维的最关键是数据分析的流程,以及在这个流程中的方法,工具。
作者:肖承志、周飞鹏 来自:东北证券金融工程《经济指标周期及领先性确认的数理方法》
从2016年开始,美团到店餐饮技术团队就开始使用Apache Kylin作为OLAP引擎,但是随着业务的高速发展,在构建和查询层面都出现了效率问题。于是,技术团队从原理解读开始,然后对过程进行层层拆解,并制定了由点及面的实施路线。本文总结了一些经验和心得,希望能够帮助业界更多的技术团队提高数据的产出效率。
注:Google 在自己文章中用了 Display Performance 来描述我们常说的流畅度,为了显得有文化,本文主要用“显示性能”一词来代指“流畅度”(虽然两者在概念上有细微差别)。 从 Android 诞生的那一刻起,流畅度就为众人所关注。一时之间,似乎所有人都在讨论 Android 和 iOS 谁的流畅度更好。但是,毫不夸张的说,流畅度绝对是 Android 众多性能维度中最为奇葩的一个。因为,为了刻画这一性能维度,业界设计了各式各样的指标来对其进行衡量。可以说弄清了这些指标我们就明白了什么是流
企业组织的管理按照专业进行职能划分,并根据职责权限的大小分成不同的层级,无论是矩阵型组织还是简单的层级树形结构都需要通过层级划分实现更加有效的管理。组织的层级划分直接决定着数据指标的层级划分,每个层级对一定的数据指标负责,并通过过程指标了解对应下属部门或者组织成员的绩效,通过控制指标行使本岗位职能的权力,通过绩效指标向上一级部门或者组织成员汇报本职工作绩效。数据指标的层级管理必须跟公司组织架构的层级管理相匹配。
前一篇跟大家详述了关于Excel在作图理念上的诸多细节,今天让我们把聚焦于多分类维度的数据呈现问题。 当然今天这篇我会把视角从Excel切换到Tableau,没错就是Tableau。可能很多小伙伴儿已经了解过这款商务智能工具,这是一款目前市面上最成熟、最人性化的桌面端可视化工具(没有之一,至于PowerBI,我之后会写专门的体验贴来说明)。 ---- 相信很多小伙伴儿(特别是已经在职场已经混迹很多年的)对Excel中的数据透视表非常熟悉,没错Tableau就是一款升级版的数据透视表。 它不仅仅可以将原始的一
数据的定义标准化是指在进行数据分析选择数据指标的时候,对这些指标定义的标准化,比如我们在进行薪酬数据分析的时候,我们会把各个层级的中位值数据和外部的分位值数据进行对标,在进行对标的时候,我们在定义内部薪酬数据的时候,我们定义的是“中位值”而不是平均值,所以我们需要理解什么是中位值,对中位值的定义是什么。
本文旨在指引具有机器学习基础知识的工程师等人,更好的从机器学习的实践中收益。介绍一些应用机器学习需要遵循的规则,类似于Google C++ 风格指南等流行的编程指南。如果你已经上过机器学习相关课程或者正在从事相关的工作,那你已经满足阅读本文所需的背景知识了。
层次分析法是一种用于评价多指标权重的方法,可以解决多个层级或者多个指标的复杂问题。把定性和定量相结合进行决策分析,既有主观也有客观。AHP通过把定量分析和定性分析结合在一起,让决策在在权衡多个指标之间的重要度是可以更加科学合理的判断。
前几天关于三大模型的文章发布后,有同学在技术交流群问了我一个问题:“QPS和TPS有什么区别,该如何在实际工作中理解这些指标的含义”?
如何全面把握系统现状,以便在关键时刻做出明智的决策?这是很多负责全局稳定性的管理者深感关切的问题。基于这一背景,同时也为了寻求提升研发工作效率提升,去哪儿网构建了一套数字化质量度量体系,以此来更精确地度量、管理并提升系统稳定性。
前言:那些年我们用过的显示性能指标 相对其他 Android 性能指标(如内存、CPU、功耗等)而言,显示性能(包括但不仅限于我们常说的“流畅度”)的概念本来就相对复杂。让我们更蛋疼的是,业界对显示测试评估方式也是丰富多样,这无疑更加重了我们对其理解的复杂程度。 笔者简单搜集了一些业界中提及的显示性能指标,大家可以来品评一下: 指标名称:FPS 相关资料:Android性能测试之fps获取 指标名称:Aggregate frame stats(N 多个指标) 相关资料:Testing Display P
作为一家高度数字化和技术驱动的公司,美团非常重视数据价值的挖掘。在公司日常运行中,通过各种数据分析挖掘手段,为公司发展决策和业务开展提供数据支持。经过多年的发展,美团酒旅内部形成了一套完整的解决方案,核心由数据仓库+各种数据平台的方式实现。其中数据仓库整合各业务线的数据,消灭数据孤岛;各种数据平台拥有不同的特色和定位,例如:自助报表平台、专业数据分析平台、CRM数据平台、各业务方向绩效考核平台等,满足各类数据分析挖掘需求。早期数据仓库与各种数据平台的体系架构如图1所示:
携程作为在线旅游公司,对外提供机票、酒店、火车票、度假等丰富的旅游产品,其系统稳定性关乎用户是否具有顺滑的出行体验。然而,流量激增、代码发布、运维变更等都会给系统稳定性带来挑战。
数仓规划是数仓建设的蓝图,涵盖从需求分析开始到最终的数仓评估验收整个环境;数仓规划之所以重要,是因为它是描述了数据流动的概念性框架,为元数据管理奠定了基础,对数据加工过程的理解、数仓建设的交流分享、数据的使用和问题排查、数仓健康度的评估都提供了极大的帮助。
如果大家遇到过上述类似的问题,说明需要指标库这样的一套指标管理工具来规范指标的定义与维护。
小编邀请您,先思考: 1 如何让数据驱动决策? “数据驱动决策”,为了不让这句话成为空话,请先装备以下13种思想武器,相信将来你一定能用上! 1. 信度与效度思维 这部分也许是全文最难理解的部分,但
今天有同学来咨询,现在地产行业的各个职级的各个分位值的市场数据是什么样的,行业前几名的地产公司的薪酬结构又是什么样的,刚好去年在做薪酬数据分析课程的时候,在网上搜集了几家地产公司的薪酬职级数据,今天就来解读下地产行业的薪酬数据。
丨导语丨 让你的报表和分析师一样智能~ 在日常数据看板制作的过程中,我们常常会遇到以下痛点: ✦业务指标体复杂,当有底层逻辑或数据表变动时,需要同时修改多个图表,维护不便且容易遗漏和出错。 ✦指标拆分维度多样,通常只选取相对重要的维度展示,需要分析时再手动写sql获取数据,临时取数工作量大。 ✦很难用一个看板同时满足不同用户的分析需求,例如用户A只需查看聚合指标,用户B却需要进行更细致的分析。 ✦ 为了解决上述问题场景,在DataTalk平台的黑科技系列中,“变量”功能可以说是一大利器。 充分利用变量
英文全文查看:Rules of Machine Learning: Best Practices for ML Engineering
今天我们本节介绍DCOS监控模块的技术选型,主要介绍DCOS监控选型等,接下来,请阅读:DCOS之监控技术选型
2019年5月6日,美团正式推出新品牌“美团配送”,发布了美团配送新愿景:“每天完成一亿次值得信赖的配送服务,成为不可或缺的生活基础设施。”现在,美团配送已经服务于全国400多万商家和4亿多用户,覆盖2800余座市县,日活跃骑手超过70万人,成为全球领先的分钟级配送网络。
领取专属 10元无门槛券
手把手带您无忧上云