首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

对于多维数据集构建,我们需要使用Cognos Transformer还是cube Designer?

对于多维数据集构建,我们需要使用Cognos Transformer。

Cognos Transformer是IBM Cognos套件中的一个组件,它是一个专门用于构建和管理多维数据集(也称为立方体)的工具。它提供了一个可视化的界面,使用户能够通过简单的拖放操作来定义和设计多维数据集的结构、维度和指标。

Cognos Transformer的主要优势包括:

  1. 强大的数据建模能力:Cognos Transformer支持灵活的数据建模,可以根据业务需求定义多个维度和层次结构,以及各种指标和聚合函数。
  2. 高性能的数据处理:Cognos Transformer使用专门的数据压缩和索引技术,可以快速处理大规模的数据集,并提供快速的查询和分析性能。
  3. 可视化的界面:Cognos Transformer提供了直观的可视化界面,使用户能够轻松地进行数据建模和设计,无需编写复杂的代码。
  4. 与其他Cognos组件的集成:Cognos Transformer可以与其他Cognos组件(如Cognos Report Studio和Cognos Analysis Studio)无缝集成,实现全面的报表和分析功能。

Cognos Transformer适用于各种多维数据分析场景,包括销售分析、财务分析、市场分析等。它可以帮助用户快速构建灵活的多维数据集,提供准确、一致和可靠的数据分析结果。

对于腾讯云相关产品和产品介绍链接地址,由于要求不能提及具体品牌商,建议您访问腾讯云官方网站,查找与多维数据分析相关的产品和服务。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

数据OLAP框架对比

其本质原因是, 没有一个系统能同时在数据量、性能、和灵活性三个方面做到完美, 每个系统在设计时都需要在这三者间做出取舍。 这个就有点像我们的CAP理论了~~~ ?...以关系模型的方式存储用作多维分析用的数据, 优点在于存储体积小,查询方式灵活, 然而缺点也显而易见,每次查询都需要数据进行聚合计算, 为了改善短板,ROLAP使用了列存、并行查询、查询优化、位图索引等技术...MOLAP 将分析用的数据物理上存储为多维数组的形式, 形成CUBE结构。...里为百亿以上数据定义数据模型, 并构建立方体进行数据的预聚合。..., 但是对于支持的查询则是可以达到一个比较稳定的查询速度, 对于稳定的天级任务, 我们完全可以使用预计算的方式, 而对于一些类似偶尔的临时任务, 那么可以通过MPP的方式进行导出, 没有必要为了一些特殊的需求而加大机器资源的开销

3.9K72

最佳实践大奖:中兴通讯大数据平台在中国农业银行的应用

2.信用风险:交易图谱构建 信用风险管理系统是中国农业银行大数据应用的核心内容,原有系统受限于系统结构,难以处理多达30亿的法人客户交易数据,仅月度数据查询一次就需要20多分钟,无法满足实际业务需要。...原月度数据查询需要20多分钟,改造后数据查询反馈速度小于1秒。 3.基于大数据多维分析平台 为了满足金融分析业务需求,中国农业银行以Cognos为基础构建了庞大的多维分析服务系统。...经测试,发现面对大数据量的Cube,相比Cognos,Kylin的构建速度有近10倍的提升。...基于研究成果,2017年3月份,基于大数据多维分析平台项目,以中兴通讯GoldenData HD(ZDH)为基础,构建百亿级数据量的多维分析平台,以云服务模式满足各领域商业智能分析需求。...2017年7月此平台投产上线,并为管理会计系统提供了第一个Cube服务。后继将在各业务系统升级改造过程中,逐步取代原有的Cognos,实现全行集中的大数据多维分析服务平台。

1.6K00
  • Kylin 新定位:分析型数据仓库

    五年来,Kylin 已经成为了大数据版图中一个不可或缺的角色,帮助了全球上千家企业进行高效的大数据分析。 经过五年的发展,如今回头看,我们发现 Kylin 已经不仅仅是一个 OLAP 分析引擎。...因为分布式架构的优势,Kylin 对传统方案具备降维打击的能力,在某些场景中,一个 Kylin Cube 取代了数百个 Cognos Cube,不但管理运维的复杂度大大降低,并且具有更好的构建性能和查询性能...建设银行、农业银行等已经使用 Kylin + Hadoop 来构建下一代大数据分析平台,解决扩容难和并发低的难题。...从这些用户案例可以看出,社区用户们不仅仅把 Kylin 当作功能单一的引擎使用,而是使用 Kylin 来替换传统分析型数据仓库的工作。下面我们就来看一下什么是数据仓库吧。...Kylin会按照时间来分区加载数据构建 Cube,然后保存为片段(也称分区);对于维度表,Kylin 每次会生成快照。这些数据在分析过程中是稳定的,不会随意改变。

    84200

    快速学习-Kylin Cube构建优化

    由于该工具需要在对数据进行一定阶段的处理之后才能估算Cuboid的大小,因此一般来说只能在Cube构建完毕之后再使用该工具。...在Web GUI的Model页面选择一个READY状态的Cube,当我们把光标移到该CubeCube Size列时,Web GUI会提示Cube的源数据大小,以及当前Cube的大小除以源数据大小的比例...累积造成整体Cube体积变大; 因此,对于Cube膨胀率居高不下的情况,管理员需要结合实际数据进行分析,可灵活地运用接下来介绍的优化方法对Cube进行优化。...每个分组各自独立地根据自身的规则贡献出一批需要被物化的Cuboid,所有分组贡献的Cuboid的并就成为了当前Cube中所有需要物化的Cuboid的集合。...对于每个分组内部的维度,用户可以使用如下三种可选的方式定义,它们之间的关系,具体如下。

    60810

    多角度带你认清Kylin的工作原理

    某一有 n 个 dimession 的 cube 会有 2^n个 cuboid。 数据立方体只是多维模型的一个形象的说法。 为什么叫立方体?...立方体本身只有三维,但多维模型不仅限于三维模型,可以组合更多的维度。 为了与传统关系型数据库的二维表区别开来,才有了数据立方体的叫法。...,而是通过预计算预先完成表的关联、聚合等复杂运算 利用预计算的结果来执行查询,相比非预计算的查询技术,其速度一般要快一到两个数量级,在超大的数据上优势更明显 数据达到千亿乃至万亿级别时,Kylin的速度可以超越其他非预计算技术...根据元数据的定义,构建引擎从数据源抽取数据,并构建Cube Kylin可以使用MapReduce或者Spark作为构建引擎。...的概念 ■ 分析师只需要理解简单的关系模型就可以使用Kylin,没有额外的学习门槛,传统的SQL应用也很容易迁移 ■ 查询引擎解析SQL,生成基于关系表的逻辑执行计划,然后将其转译为基于

    45820

    【三歪教你些能装逼的】麒麟入门教程

    官方已经帮我们解答了: 定义数据上的一个星形或雪花形模型 在定义的数据表上构建cube 使用标准 SQL 通过 ODBC、JDBC 或 RESTFUL API 进行查询,仅需亚秒级响应时间即可获得查询结果...一个多维数据称为一个OLAP Cube:上面的几张二维表我们可以形成一个数据立方体,这个数据立方体就是Cube 一个Cube可以由不同的角度去看,可以看似这多个角度都是从一个完整的Cube拆分出来的,...使用kylin步骤: 首先你得有数据(一般来自Hive/Kafka),在Kylin上定义对应的数据模型(结构) 通过kylin系统配置需要聚合以及统计的字段(这块就是上面所提到的维度和度量),然后构建出...Cube(这块就是kylin的预聚合,把需要统计的维度都定义好,提前计算) kylin会把数据存放在HBase上,你可以通过JDBC/RESTful的方式来查询数据 使用kylin 在官网上也列出比较常见的...这就会带来延迟(Cube需要时间构建,同时也不可能秒级去请求构建一次Cube)那这能忍受吗?

    1K10

    58HBase平台实践和应用-OLAP篇

    Kylin是一个底层使用HBase作为存储引擎和查询引擎的的多维分析平台,并对外提供标准SQL查询功能。在超大规模数据上,Kylin还能达到亚秒级的查询响应。 Kylin的架构: ?...用户可以使用以下两种方式来构建和查询Kylin cube数据: 魔方平台,魔方是公司自研的多维分析平台,底层基于Kylin,可以实现将Kylin构建cube数据在魔方中以多种图表的方式展现出来。...对于用户的Cube的自动化调度,目前也是提供两种方式: 如果用户通过魔方构建和查询Kylin数据,则直接使用魔方的调度功能; 如果用户直接通过域名访问Kylin的数据我们提供单独的调度平台用于用户Cube...2019年我们将跟进社区,升级我们的Kylin版本,使用更快的Cube构建引擎Spark,支持用户留存分析,支持更丰富的SQL查询功能,支持更稳定的全局字典构建算法。...58数据平台部是58团唯一的大数据架构部门,负责包括海量数据采集接入,万亿级消息引擎、离线/实时计算引擎,海量存储引擎以及多维分析平台等的建设和优化。

    1.1K10

    Kylin快速入门系列(4) | Cube构建优化

    每个分组各自独立地根据自身的规则贡献出一批需要被物化的Cuboid,所有分组贡献的Cuboid的并就成为了当前Cube中所有需要物化的Cuboid的集合。...对于每个分组内部的维度,用户可以使用如下三种可选的方式定义,它们之间的关系,具体如下。   ...并发粒度优化   当Segment中某一个Cuboid的大小超出一定的阈值时,系统会将该Cuboid的数据分片到多个分区中,以实现Cuboid数据读取的并行化,从而优化Cube的查询速度。...kylin.hbase.region.cut的默认值是5.0,单位是GB,也就是说对于一个大小估计是50GB的Segment,构建引擎会给它分配10个分区。...由于每个Cube的并发粒度控制不尽相同,因此建议在Cube Designer 的Configuration Overwrites(上图所示)中为每个Cube量身定制控制并发粒度的参数。

    86820

    数据贼快的哟

    官方已经帮我们解答了: 定义数据上的一个星形或雪花形模型 在定义的数据表上构建 cube 使用标准 SQL 通过 ODBC、 JDBC 或...好了,我们再来看看cube是什么意思吧: image.png 一个多维数据称为一个OLAP Cube:上面的几张二维表我们可以形成一个数据立方体,这个数据立方体就是Cube 一个Cube可以由不同的角度去看...(结构) 通过 kylin系统配置需要聚合以及统计的字段(这块就是上面所提到的维度和度量),然后构建Cube(这块就是 kylin的预聚合,把需要统计的维度都定义好,提前计算...这就会带来延迟(Cube需要时间构建,同时也不可能秒级去请求构建一次Cube)那这能忍受吗?...这意味着最新的数据得等Cube任务调度到了且Cube构建完成才能查到数据 画外音:构建Cube一般都是定时任务的方式请求kylin的api进行构建的。 Kylin 没有内置的调度程度。

    1.1K20

    Apache Kylin 历险记

    支持超大数据:Kylin对于数据的支撑能力可能是目前所有技术中最为领先的。早在2015年eBay的生产环境中就能支持百亿记录的秒级查询,之后在移动的应用场景中又有了千亿记录秒级查询的案例。...MOLAP:基于多维数据(一个多维数据称为一个OLAP Cube),需要预计算。 1.3.8 Cube & Cubeid 有了维度跟度量后就有了根据维度和度量做预计算的Cube理论。...给定一个数据模型,我们可以对其上的所有维度进行聚合,对于N个维度来说,组合的所有可能性共有2n种。对于每一种维度的组合,将度量值做聚合计算,然后将结果保存为一个物化视图,称为Cuboid。...我们需要知道Cube底层是如何预聚合后把数据存储到HBase中的。 Cube存储 系统会按照所有的维度选跟不选做01映射,然后每个维度选了后也有对应的维度值做映射。...2.3.2 数据准备 在Kylin安装完毕后,需要构建数据源、创建Model、创建Cube等操作,都是一些常规操作,没啥说的。

    59230

    HiveCube在有赞的实践

    为了更优雅的基于数仓各主题域的星型模型去产出混合粒度的多维数据立方体,降低代码开发成本和维护成本,我们开始尝试去使用HiveCube,下文主要介绍HiveCube在有赞的使用以及实践。...三、理论 Cube又叫数据立方体,是基于事实和维度而建立起来的多维数据模型,主要为了满足用户从多角度多层次进行数据查询和分析的需要。...以下模拟了一份二维数据,基于这份数据我们需要做 (dim1, dim2), (dim1), (dim2), ( ) 这四种粒度的汇总,分别计算出对应聚合粒度的记录数。 data: ?...1.在使用Cube基于各主题域明细中间层做多维运算之前,务必,务必,务必确保每个维度都做了空处理操作,否则会导致通过上面代码实现的group_id无法区分是数据NULL还是非聚合列产生的NULL,从而导致...,原则上Cube一次性可以产出小时粒度,天粒度,周粒度,月粒度等不同时间粒度的汇总,对于构建Cube底层使用的明细中间层的时间限制需要优先满足长时间跨度的指标。

    86530

    关于数据仓库的架构及3大类组件工具选型

    但是创建数据集市层需要额外的硬件资源,并集成它与数据平台其他的数据库。 三层架构(OLAP) 在数据集市层之上,我们通常会使用联机分析(OLAP)处理多维数据cube)。...OLAP 数据是一类从多维度描述数据的特定数据库。关系型数据库只能表示二维数据,而 OLAP 允许在多维度下编译数据并且在维度之间移动。...中间层:数据仓库中的中间层是使用ROLAP或MOLAP模型实现的OLAP服务器。对于用户,此应用程序层显示数据库的抽象视图,这一层还充当最终用户和数据库之间的中介。...比如对接各种数据库直接生成报表;对采集整理后的数据进行多维报表展现,支撑业务分析报表;对接集团性数据仓库,构建数据中心平台,形成决策分析平台。...现在很多成熟的BI工具都是集成了OLAP服务器的,所以通常我们需要选择ETL工具以及存储方案和可视化BI方案即可,所以OLAP本文也就不多讲了。

    1.6K10

    Kylin 大数据下的OLAP解决方案和行业典型应用

    Apache Kylin的原理和技术架构 Apache Kylin 从数据仓库中最常用的Hive中读取源数据使用 MapReduce作为Cube构建的引擎,并把预计算结果保存在HBase中,对外暴露Rest...目前,百度地图大数据 OLAP 多维分析平台承载百度地图内部多个基于 Apache Kylin 引擎的亿级多维分析查询项目,共计约 80 个 cube,平均半年时间的历史数据,共计约 50 亿行的源数据规模...Kylin 有效解决的痛点问题: 痛点一:百亿级海量数据多维指标动态计算耗时问题,Apache Kylin 通过预计算生成 Cube 结果数据并存储到 HBase 的方式解决。...那么对于传统的存储方案,我们将遇到问题。 假如今天是 2015-12-02,我们计算实际得到的是 2015-12-01 的数据。 ?...报表类产品使用的表 经 OLAP 引擎数据转移决策识别认为需要进行聚合缓存的表 前者不难理解,后者则如引擎中的表,表数据规模较大,且被频繁执行某种聚合分析,在一段时间内达到一定的频次,引擎会识别并认为该表需要执行聚合缓存

    64830

    Kylin 大数据下的OLAP解决方案和行业典型应用

    目前,百度地图大数据 OLAP 多维分析平台承载百度地图内部多个基于 Kylin 引擎的亿级多维分析查询项目,共计约 80 个 cube,平均半年时间的历史数据,共计约 50 亿行的源数据规模,单表最大数据量为...Kylin 有效解决的痛点问题: 痛点一:百亿级海量数据多维指标动态计算耗时问题,Kylin 通过预计算生成 Cube 结果数据并存储到 HBase 的方式解决; 痛点二:复杂条件筛选问题,用户查询时...对于某个产品的 1 个页面,我们查询时传到后台的是维度 id,维度 id 对应的维度 name 来自 MySQL 中的维度表,可以将维度 name 查询出来并和维度 id 保存为 1 个维度 map 待后续使用...那么对于传统的存储方案,我们将遇到问题。 假如今天是 2015-12-02,我们计算实际得到的是 2015-12-01 的数据。...两个方面: 报表类产品使用的表; 经 OLAP 引擎数据转移决策识别认为需要进行聚合缓存的表。

    1.3K20

    快速学习-Kylin概述

    2)支持超大数据:Kylin对于数据的支撑能力可能是目前所有技术中最为领先的。早在2015年eBay的生产环境中就能支持百亿记录的秒级查询,之后在移动的应用场景中又有了千亿记录秒级查询的案例。...给定一个数据模型,我们可以对其上的所有维度进行聚合,对于N个维度来说,组合的所有可能性共有2n种。对于每一种维度的组合,将度量值做聚合计算,然后将结果保存为一个物化视图,称为Cuboid。...预计算过程是Kylin从Hive中读取原始数据,按照我们选定的维度进行计算,并将结果保存到Hbase中,默认的计算引擎为MapReduce,可以选择Spark作为计算引擎。...算法缺点: 1)当Cube有比较多维度的时候,所需要的MapReduce任务也相应增加;由于Hadoop的任务调度需要耗费额外资源,特别是集群较庞大的时候,反复递交任务造成的额外开销会相当可观; 2...)此算法会对Hadoop MapReduce输出较多数据; 虽然已经使用了Combiner来减少从Mapper端到Reducer端的数据传输,所有数据依然需要通过Hadoop MapReduce来排序和组合才能被聚合

    56730

    【腾讯微视】百亿数据、上百维度、秒级查询的多维分析场景的实践方案

    作者:teachzhang  腾讯PCG工程师 |导语  大数据多维分析是业务中非常常见的分析场景,目前也有许多落地方案,但是在遇到上百亿数据、维度个数不限、秒级返回结果这样的场景时,实现的时候还是遇到了一些挑战...因此急需建设一个多维分析平台,解决目前的业务痛点。 2. 产品介绍 最终我们开发了一个归因分析平台,产品演示如下: 特殊说明:1.展示数据经过脱敏处理;2.为了演示直接使用了已运行好的报表。...功能特色: 零SQL实现数据多维分析,直接选择指标和维度,快速构建多维分析报表; 速度快,对于每天4000W数据量的用户报表,回溯30天只需5~10分钟;对于每天上亿的消费数据报表,回溯30天需要30~...通过对需求进一步分析,发现虽然维度非常多,但是分析师在使用中根本不会用到这么多维度组合,对于一个包含10个维度的报表,用到的维度组合为10,并且业务的分析逻辑基本上有迹可循,最终的维度组合最多只有几千。...但是Kylin不支持指定维度组合的方式构建cube。因此我们决定参考Kylin的原理自己实现预聚合。

    1.9K20

    一站式大数据解决方案分析与设计实践 | BI无缝整合Apache Kylin

    应尽量多地预先计算聚合结果,在查询时刻应尽量使用预算的结果得出查询结果,从而避免直接扫描可能无限增长的原始记录,预计算系统是在入库时对数据进行预聚合,进一步牺牲灵活性换取性能,以实现对超大数据的秒级响应...附注 Mondrian为一个OLAP引擎,而且是一个ROLAP引擎,实现了以下规范: MDX(多维查询语言,相当于数据库的SQL) XMLA(通过SOAP使用OLAP) olap4j(Java API...每次Cube构建都会从数据源中批量读取数据,而对于大多数业务场景来说,数据源中的数据处于不断增长的状态,为了支持Cube中的数据能够不断地得到更新,且无需重复地为已经处理过的历史数据构建CubeCube...支持增量构建,每个Cube都关联着一个数据模型Model,增量构建Cube需要指定分割时间列。...对于维度表可选择配置是否将其以快照(Snapshot)形式存储到内存中以供查询。当维表小于300M时推荐启用,可以简化Cube计算提高效率。 CUBE配置 ?

    87220

    【开发实践】美团为什么开发 Kylin On Druid(上)?

    01 Apache Kylin 简介 Apache Kylin 是一个开源的分布式大数据分析引擎,在超大规模数据上建立数据模型,构建支持多维分析的预计算 Cube,提供 Hadoop 上的 SQL 查询接口及多维分析能力...我们知道,目前的 Kylin 数据存储使用 HBase,存储 Cube 时将维度值和度量值转换成 HBase 的 KeyValue。...图 7 Cube1 查询日志 ? 图 8 Cube2查询日志 从上面的测试结果看,对于相同的 SQL 语句,两者查询用时相差两百多倍。...从上面的 Druid 的优点介绍我们得知 Druid 正好符合列式+多维度索引这样的特征。因此美团 Kylin 开发团队决定尝试使用 Druid 替换 HBase。...等到全部 Druid Segment 被加载完毕后,Cube 完成构建。 ? 图 9 构建 Cube 流程 查询 Cube 的流程 1.

    76320

    数据分析师需要掌握的技能

    3.掌握可视化工具,例如BI,例如Cognos,Tableau和FineBI等,特别关注企业使用的工具,就像我以前使用FineBI一样。...此外,作为专业分析师,使用多维分析模型Cube,您可以轻松高效地自定义报告。 总结:此时,如果您掌握了上述80%的技能,您可以被视为合格的分析师。...此阶段的数据分析师需要知道如何使用工具处理数据,了解业务场景,分析和解决基本问题。重要的是要强调数据分析师最重要的事情是熟悉我们的业务。...此外,大数据之间的隐藏关系无法实现通过手动分析或使用传统工具。此时,算法已实现,并且不会有任何意外。 其中,用于统计分析的开源编程语言及其操作环境R,引起了很多关注。...因此,您需要具备沟通,组织,管理技能和商业思维。这不限于某个位置。您需要在更高的位置思考并为公司寻求利益。与此同时,我们还必须考虑如何使用数据分析”卡在公司中发挥作用并使用数据来推动业务运营。

    2K20

    一站式大数据解决方案分析与设计实践:BI无缝整合Apache Kylin

    应尽量多地预先计算聚合结果,在查询时刻应尽量使用预算的结果得出查询结果,从而避免直接扫描可能无限增长的原始记录,预计算系统是在入库时对数据进行预聚合,进一步牺牲灵活性换取性能,以实现对超大数据的秒级响应...设计架构 附注1 Mondrian为一个OLAP引擎,而且是一个ROLAP引擎,实现了以下规范: MDX(多维查询语言,相当于数据库的SQL) XMLA(通过SOAP使用OLAP) olap4j(Java...每次Cube构建都会从数据源中批量读取数据,而对于大多数业务场景来说,数据源中的数据处于不断增长的状态,为了支持Cube中的数据能够不断地得到更新,且无需重复地为已经处理过的历史数据构建CubeCube...支持增量构建,每个Cube都关联着一个数据模型Model,增量构建Cube需要指定分割时间列。...对于维度表可选择配置是否将其以快照(Snapshot)形式存储到内存中以供查询。当维表小于300M时推荐启用,可以简化Cube计算提高效率。

    93310
    领券