首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

Apache Doris 在橙联的应用实践:仓架构全面革新,千万数据计算时间从 2 小时变成 3 分钟

因此,早期数仓架构十分简单,如下图所示,直接使用 MySQL 构建仓集市层,使用仓集市层的数据进行报表开发,基于商业化的报表平台向需求方提供 T + 1 的数据报表服务。...新仓架构 为了解决旧架构日益凸显的问题,适应快速增长的数据和业务需求,今年正式引入 Apache Doris 构建新的仓架构。...在这个方案中,虽然 Flink CDC 支持全量历史数据的初始化,但由于历史遗留问题,部分表数据量较大,单表有几亿数据,而且这种表大多是没有设置任何分区和索引,在执行简单的 COUNT 查询时都需要花费十几分钟的时间...以 On Time Delivery 业务场景报表计算为例,计算 1000w 单轨迹节点时效变化,使用 Apache Doris 之前需要计算 2 个多小时,并且计算消耗的资源非常大,只能在空闲时段进行错峰计算...;使用 Apache Doris 之后,只需要 3min 就可以完成计算,之前每周更新一次的全链路物流时效报表,现在可以做到每 10 分钟更新最新的数据,达到了准实时的数据时效。

95730

查找用户活跃分钟(哈希)

指定用户的 用户活跃分钟(user active minutes,UAM) 定义为用户对 LeetCode 执行操作的 唯一分钟 。 即使一分钟内执行多个操作,也只能按一分钟计数。...请你统计用户活跃分钟的分布情况,统计结果是一个长度为 k 且 下标从 1 开始计数 的数组 answer ,对于每个 j(1 <= j <= k),answer[j] 表示 用户活跃分钟 等于 j...因此,该用户的用户活跃分钟为 2(分钟 5 只计数一次) ID=1 的用户执行操作的分钟分别是:2 和 3 。...因此,该用户的用户活跃分钟为 1 ID=2 的用户执行操作的分钟分别是:2 和 3 。...因此,该用户的用户活跃分钟为 2 1 个用户的用户活跃分钟是 1 ,1 个用户的用户活跃分钟是 2 因此,answer[1] = 1 ,answer[2] = 1 ,其余的值都是 0 提示:

24520

10分钟了解啥是

2 仓 2.1 仓简介 仓发展 随着人类IT发展,数据越来越多被产生,并且这些数据还可能跨部门,跨业务。如何把数据集成起来进行OLAP是个巨大挑战。...仓发展 对于仓可以理解为原来各个数据孤岛中的数据可能存储位置、存储格式、编程语言等各个方面不同。仓要做的就是把数据按照所需格式提取出来,进行转换、过滤、清洗。...集市层构建的好坏有一个比较好的衡量标准就是是否可以满足超过80%的应用层数据需要,剩下的20%来源于仓层。...2.3.2 仓分层原因 用空间换时间:通过大量的预处理来提升应用系统的效率,因此数据仓库会存在大量冗余的数据。...2.4 元数据介绍 2.4.1 元数据定义 仓的元数据Metadata是关于数据仓库中数据的数据。

1.9K10

10分钟了解啥是

2 仓 2.1 仓简介 ? 仓发展 随着人类IT发展,数据越来越多被产生,并且这些数据还可能跨部门,跨业务。如何把数据集成起来进行OLAP是个巨大挑战。...仓发展 对于仓可以理解为原来各个数据孤岛中的数据可能存储位置、存储格式、编程语言等各个方面不同。仓要做的就是把数据按照所需格式提取出来,进行转换、过滤、清洗。...集市层构建的好坏有一个比较好的衡量标准就是是否可以满足超过80%的应用层数据需要,剩下的20%来源于仓层。...2.3.2 仓分层原因 用空间换时间:通过大量的预处理来提升应用系统的效率,因此数据仓库会存在大量冗余的数据。...2.4 元数据介绍 2.4.1 元数据定义 仓的元数据Metadata是关于数据仓库中数据的数据。

77020

睡前刷8分钟手机,身体兴奋1小时

前不久,来自美国的一项医学研究表明了这一点: 视神经细胞只要受到蓝光8分钟刺激,就会让身体持续兴奋超过1小时。 而且调查还发现,比起其它应用来说,刷TikTok之后入睡所需要的时间最久。...(REM:rapid eye movement,快动眼睡眠) 调研结果展示了睡前使用流行的应用程序后,在REM阶段的平均睡眠百分比和入睡所需的平均时间: TikTok:14% / 1小时7分钟 Instagram...:15.5% / 58分钟 Snapchat:16% / 56分钟 Twitter:18% / 50分钟 Facebook:19.5% / 45分钟 …… 从结果出发,研究人员认为TikTok是对睡眠影响最大的...更具体一些,这项研究表明:仅8分钟的刺激就可造成全身交感神经持续兴奋超过1小时。 而更早的,2013年的一项研究也表明,睡前接受蓝光暴露的人,睡眠时期的脑电波会出现异常。...因此,研究人员建议每天在相近的时间段里保证7-9小时的睡眠(即使在周末)。 除此之外,白天的“小憩”如果时间太长,也会让人在晚上难以入眠,所以要把这个时间控制在半小时以内。

38540

睡前刷8分钟手机,身体兴奋1小时

前不久,来自美国的一项医学研究表明了这一点: 视神经细胞只要受到蓝光8分钟刺激,就会让身体持续兴奋超过1小时。 而且调查还发现,比起其它应用来说,刷TikTok之后入睡所需要的时间最久。...(REM:rapid eye movement,快动眼睡眠) 调研结果展示了睡前使用流行的应用程序后,在REM阶段的平均睡眠百分比和入睡所需的平均时间: TikTok:14% / 1小时7分钟 Instagram...:15.5% / 58分钟 Snapchat:16% / 56分钟 Twitter:18% / 50分钟 Facebook:19.5% / 45分钟 …… 从结果出发,研究人员认为TikTok是对睡眠影响最大的...更具体一些,这项研究表明:仅8分钟的刺激就可造成全身交感神经持续兴奋超过1小时。 而更早的,2013年的一项研究也表明,睡前接受蓝光暴露的人,睡眠时期的脑电波会出现异常。...因此,研究人员建议每天在相近的时间段里保证7-9小时的睡眠(即使在周末)。 除此之外,白天的“小憩”如果时间太长,也会让人在晚上难以入眠,所以要把这个时间控制在半小时以内。

24140
领券