odps的表周期_odps表权限_odps表统计 - 腾讯云开发者社区 - 腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

周期表生命周期管理

这是学习笔记的第 2085 篇文章对于周期表的生命周期管理，一直以来是一个不被重视的环节，听起来有些拗口，所谓的周期表就是类似日表分区表那样的数据表，在MySQL中我们和业务方算是达成了共识，把需求引导过来后...建表需求是一种第风险操作，而删除则是高风险操作，所以在处理方式上两者的方式就有很大的差别，比如创建周期表，我们可以提前一两周就预创建1个月~3个月的周期表。...创建的工作相对可控，但是删除的操作就麻烦了，我们需要谨慎处理，为了保证drop操作的可控和可回溯，我们设置了回收站的处理方式，即一个数据库会对应一个arch命名的归档库，当我们要删除周期表时，可以把要删除的表...第二阶段是清理，做drop操作，在arch归档库开始删除操作，删除的频率不宜过于频繁。 ? 在开始阶段，我们需要做的就是根据逻辑去提取过期的周期表。...一般来说在清理的过程中，我们需要增加一系列的校验规则，比如对周期表的属性进行检查，确保操作完全可靠，可控。

8653 0

MySQL周期表管理的设计

这是学习笔记的第 2038 篇文章关于MySQL周期表管理，近期做了初步的设计，总体上是希望把周期表的管理和业务同学对接起来，实现流程化的管理。...对于周期表的数据管理，能够实现数据的批量管理，也可以对接到大数据中实现数据分析，并通过巡检任务对接，让整个流程动起来。 ?...对于整体的设计方面，需要开发后端的API,API列表如下：周期表列表周期表创建周期表属性变更周期表批量变更接口周期表数据清理接口巡检任务大数据提取接口即时通讯提醒接口对于模型的设计是重中之重...，也能够决定我们的周期表管理的存储设计优劣。...模型方面考虑了如下的一些表： Mysql_dailytable 周期表 Mysql_cycle_table_manage_log 周期表维护日志（包含配置创建，属性修改） Mysql_cycle_table_ddl_log

1.7K3 0

您找到你想要的搜索结果了吗？

是的

没有找到

周期表的清理逻辑设计

这是学习笔记的第 2065 篇文章今天做了下周期表清理的设计，从实践的效果来看还不错。现在线上环境有差不多50多个周期表要统一管理，随着这个管理的规模扩大，对于生命周期的管理也迫在眉睫。...有一套环境有6000多张表，其实按照保留周期需要的表只有800多个，剩下的过期周期表都应该删除。...整个周期表的清理逻辑做了下面的设计： 1.以API的方式设计参数设计： ip_addr db_port Start_time End_time Table_schema Table_name Code...: cycle_table_list 2.根据配置中的保留信息得到过期的列表存在不连续的周期表，如果是20190101,20190103这样不连续的周期表，需要保证程序的健壮性更早的周期表，如果我们扫描的周期是近...2个月，2个月之前的过期周期表也应该被覆盖 3.检查归档数据库是否存在归档数据库是整个设计的核心，即数据不是直接drop，而是做了转储。

4321 0

当DevOps“遇上”周期表

搜索“DevOps”，出来的是茫茫多的信息，最奇怪的现象是明明2009年才提出的名词，却有人号称有十年以上DevOps经验。那小编只好来扒一扒关于DevOps的那些事。...DevOps Engineer（DevOps工程师）根据开发人员的需求构建各种工具，提高开发的速度与品质，解决开发人员的后顾之忧。...在DevOps 2015研讨会上，有人鉴于数量繁多的DevOps工具，仿照元素周期表制作出了一张DevOps周期表。划分了数据库、CI、日志、安全、监控、配置管理、云服务等15个大类，120个工具。...DevOps 2015研讨会上的DevOps周期表掌握了以上图片里的这些工具，或许你就是一名合格的全栈工程师。...但个人认为，不要沉迷于工具带来的便利，大多数DevOps工具都是自动化的工具，用任意script语言一样能写出同样的效果，重要的是完全理解了这些工具背后的设计理念和使用时机。

1.1K6 0

CISO元素周期表

我在会上看到了一些有趣的东西，逐渐分享给大家，比如接下来要说到的CISO元素周期表，里面提到了诸多CISO需要关注的重点。笔者将其翻译了过来，再加上自己的理解，写成这篇文章，供大家娱乐和拍砖。...大会厂商将CISO需要考虑的安全要素汇总提炼，总结成为下面的CISO元素周期表，在下面的篇幅中，我将对逐个要素做以解释。...Cm (Configuration Management) 配置管理随着软件系统的日益复杂化和用户需求、软件更新的频繁化，配置管理逐渐成为软件生命周期中的重要控制过程，在软件开发过程中扮演着越来越来重要的角色...Dso (DevSecOps) “DevSecOps”，一种全新的安全理念与模式，从DecOps的概念延伸和演变而来，其核心理念为安全是整个IT团队（包括开发、运维及安全团队）每个人的责任，需要贯穿从开发到运营整个业务生命周期的每一个环节...St (Stuffing) 员工：没人啥事都落不了地 Te (Technology) 技术：技术是工具 Oz (Optimization) 优化：好好优化，天天向上以上是我们对安全总监元素周期表的翻译和粗浅理解

6573 0

函数周期表丨NATURALINNERJOIN

NATURALINNERJOIN这个函数可以通过内部联接，返回两个表共有列的重合部分，也就是交集，但是不同之处在于会将两个表中的其他列也添加到新的表中。微软将其划分到”表函数“中。...语法 DAX=NATURALINNERJOIN(, ) 参数左右表：可以是表的表达式，也可以是物理表。返回结果左右表共有列的重合部分，以及其他列组成的新表。...注意 1、@高飞老师在论坛上曾说，这个函数的使用分为有模型关系和无模型关系两种情况。无关系的情况下，两个表的共有列需要同样的列名；有关系的情况下，两个表的共有列的列名不能重复。...，可以看到表A和表C有很明显的格式区别。...) 结果如下： [ed222a9af4688e0bf38c21b0d2f9764e.png] 返回两个表重合的列以及其他列组成的新表。

3272 0

函数周期表丨INTERSECT

INTERSECT函数 INTERSECT的英文含义是“相交、交叉”。因此从名称就能看出来这个函数的用途：取两个表的交叉部分，即交集。这个函数与白茶之前说的EXCEPT函数的作用正好相反。...此函数被微软划分为“表函数”中。用途：取两个表的交集。语法 DAX=INTERSECT(, ) 参数表：物理表，也可以是表的表达式。返回结果整张表。表1在表2中出现过的行。...注意 1.表1和表2的顺序，表顺序不同返回的结果也不同； 2.两个表必须具有相同的列数； 3.返回的列名与第一参数相匹配； 4.若重复行表1表2都出现，则不删除重复项。...例子模拟数据：这是白茶随机模拟的数据，比较简单，一共是三张表。例子1：例子1 = INTERSECT ( 'A表', 'B表' ) 结果：返回B表中存在的A、C、D，列名承袭表A。...例子2：例子2 = INTERSECT ( 'B表', 'A表' ) 结果：返回A表中存在的A、C、D，列名承袭表B。

5962 0

函数周期表丨EXCEPT

因此从名称就能看出来这个函数的用途：返回不在一个表中的另一个表的数据。此函数被微软划分为“表函数”中。用途：可以用来排查两个表交集之外的数据。...应用案例传送门：《新增客户》语法 DAX=EXCEPT(, ) 参数表：物理表，也可以是表的表达式。返回结果整张表。内容为第一参数中表的行，去掉第二参数表的行所剩余的行。...注意 1.表1和表2的顺序，表顺序不同返回的结果也不同； 2.两个表必须具有相同的列数； 3.返回的列名与第一参数相匹配。...例子1：例子1 = EXCEPT ( 'A表', 'B表' ) 结果： [b3091c08c551739886524d37912357f5.png] 返回结果为B表中不存在的E、F、G三行，注意看名称...例子2：例子2 = EXCEPT ( 'B表', 'A表' ) 结果： [5af9ab366bd209f75bdee283fefd435a.png] 返回结果为A表中不存在的甲、乙、丙、丁四行，列名承袭第一参数表

4882 0

函数周期表丨时间丨表丨CALENDAR

[1240] CALENDAR函数语法= CALENDAR(,) CALENDAR函数，属于常用的“表函数”之一，一般用于生成日期维度。也可以用来构建虚拟的日期表进行计算。...返回结果一个具有单个“日期列”表，这个日期列包含开始与结束日期。并且是连续不间断的，比如一月份实际销售是27天，利用这个函数生成的日期列是31天。连续、不间断、不挂挡。...应用例子例子1：下面这个代码返回一个从2019年12月1日到2019年12月15日，连续15天的表函数，日期列有15行，连续不间断的15天。...白茶之前生成的两个表，一个是12月1日到15日，一个是11月1日到15日，取最小值最大值，CALENDAR函数生成一个从11月1日到12月15日连续45天的日期列。...白茶会不定期的分享一些函数的基本用法。（文件在PowerBI丨需求圈的知识星球） [1240] 这里是白茶，一个PowerBI的初学者。[1240]

3520 0

函数周期表丨筛选丨表丨ALLSELECTED

[1240] ALLSELECTED函数 ALLSELECTED函数，被微软划分为“筛选”类函数，隶属于“表函数”。其用途，常常是用来计算或者显示明面上的筛选影响，而忽略其行上下文的影响。...语法 DAX= ALLSELECTED([ | [, [, [,…]]]] ) 参数表：（可选项）不能是表达式，现有表的名称。...列：（可选项可重复）不能是表达式，现有列的名称。注意：要么是表，要么是列；如果是多列，必须在同一表中。返回结果不带任何列或行上下文的上下文。...例子3，没有关系维度筛选生效：维度表 = DATESBETWEEN ( '例子'[坐标轴], DATE ( 2020, 1, 4 ), DATE ( 2020, 1, 8 ) ) 随机生成一个维度表，...ALLSELECTED例子3 = CALCULATE ( SUM ( '例子'[数据] ), FILTER ( '例子', '例子'[坐标轴] IN ALLSELECTED ( '维度表'

9740 0

函数周期表丨筛选丨表丨SUBSTITUTEWITHINDEX

也可以指被添加索引的表。...索引列名：为即将添加的索引列命名。参照表：与主表有关系的参考表，通常指的是维度表。参照表[列]：与主表所共有的列，通常是模型关系中的一端。排序：调整索引列的排序方式。DESC/ASC。...现在假定事实表没有相关索引的列，但是我们做出来的维度要索引，该怎么进行呢？...INDEX虚拟表中，提取BA表中的一列，去掉重复项，作为维度参考。最后，利用SUBSTITUTEWITHINDEX函数，替换掉了两个虚拟表中的共有列[商品]，输出结果为[品名列]和[索引列]。...这样的话我们就绕过PQ，不需要去PQ编辑界面添加索引，仅在DAX中完成了维度提取，添加索引的操作。例子2：将我们刚才生成的维度表与事实表建立联系。

5174 0

函数周期表丨其他丨表丨DATATABLE

DATATABLE函数 DATATABLE函数属于“其他”函数，隶属于表函数。可能从名称上看，小伙伴差不多能猜到这个函数的用途，其作用有点类似于其他编程语言中的创建语法，可以添加新的数据。...原因： 1.直接利用EXCEL添加数据源的方式操作简单； 2.也可以直接利用界面上的新表功能直接添加； 3.会M语言的小伙伴可以在PQ中直接处理数据。...参数列名：顾名思义，这一列的名称。类型：对应列的数据格式。有这几种选项：INTEGER、DOUBLE、STRING、BOOLEAN、CURRENCY、DATETIME。...值：每一列所对应的数据。返回结果新的表。...白茶会不定期的分享一些函数卡片（文件在知识星球[PowerBI丨需求圈]）这里是白茶，一个PowerBI的初学者。

3234 0

函数周期表丨筛选丨表丨ALL

[1240] ALL函数 ALL函数隶属于“表函数”，被微软划分为“筛选”类函数之中。...其实白茶觉得部分函数微软划分的有点模糊，比如本期的ALL函数，虽然可以单独使用，但是其更主要的作用是作为中间函数使用。主要用途：用来清除外部筛选器。...语法 DAX= ALL( [ | [, [, [,…]]]] ) 参数参数：可以是一个表；可以是表的一列或者多列。返回结果表或列。...例子模拟数据： [1240] 这是白茶随机模拟的一份数据。例子1： ALL例子1 = ALL ( '例子' ) 结果： [1240] 单纯的ALL整个表，不与其他函数搭配使用，相当于整体的复制。...ALL函数的使用方式还有很多，比如白茶之前写过的组内占比，各类排名等等。白茶会不定期的分享一些函数卡片哦。

7130 0

函数周期表丨筛选丨表丨ALLNOBLANKROW

语法 DAX= ALLNOBLANKROW( { | [, [, [,…]]]} ) 参数表：已经删除上下文筛选的表。列：（可重复）已经删除上下文筛选的列。...注意：此函数参数类型只能存在一种，要么是表，要么是列。返回结果去除重复值的表或列。...ALL函数基本上差不多，返回一个完整的数据表。...： [5b9b84faa9a411c844127b33ea922855.png] 可以看得出来，这种情况下，父表对于子表的筛选条件不造成影响，二者的结果是一致的。...这是因为，子表中存在父表中不存在的维度数据。 ALL函数会直接为父表添加一行“空行”，这一行ALL函数计算在内。ALLNOBLANKROW则会忽略这一空行，只计算父表中存在的数据。

5300 0

函数周期表丨时间丨表丨CALENDARAUTO

[1240] CALENDARAUTO函数语法= CALENDARAUTO([参数]) CALENDARAUTO函数，属于常用“表函数”之一。一般用于生成日期表维度，用途与CALENDAR差不多。...返回结果一个具有日期列的表，并且是连续不断的。相对于CALENDAR函数，它返回的范围比较广。...如果数据包含多个日期维度，推荐使用这个函数，它会检测所有的数据模型，生成一个涵盖所有日期范围的日期表。应用例子例子1：数据如下。 [1240] 导入到PowerBI中。...比如输入参数2，那么开始日期就是3月1日，不要2月份之前以及2月份的数据。通常情况下，参数我们使用的很少，一般默认不填就可以了。那我要是有多个表呢？例子4：数据如下。...生成一个涵盖所有日期范围的日期表。最后一个问题，这个函数可以没有数据的情况下使用么？例子5：输入代码。

7180 0

函数周期表丨筛选丨表丨ADDMISSINGITEMS

可能白茶对这一部分的函数整理的比较慢，希望小伙伴们多多体谅。 ADDMISSGITEMS函数被微软划分到“筛选器”这一大类之中，隶属于“表函数”。...语法 DAX= ADDMISSINGITEMS([,…],,[,…], [筛选条件]) 参数展示列：（可选，可重复）需要展示出来的列。汇总表：经过筛选处理之后的表。...筛选条件：（可选，可重复）定义筛选条件的表函数表达式。返回结果经过分组处理的表，一部分为筛选计算之后的“可见项”；一部分为不符合条件的“缺失项”。...，是一张经过筛选之后的表，销售数据小于等于115，且与日期列搭配显示的表。...函数能更直接一些，可以通过筛选和计算直接显示可见项，但是结果上不太灵活； 3、FILTER函数偏向于筛选类，可以直接筛选表，可以与CALCULATE函数搭配计算，但是又比较复杂。

8270 0

函数周期表丨筛选丨表丨CALCULATETABLE

[1240] CALCULATETABLE函数 CALCULATETABLE函数属于“筛选”类函数，隶属于“表函数”。...某种意义上来说，CALCULATETABLE函数其实就是CALCULATE函数的表函数模式。其核心点都是一致的，根据上下文生成新的上下文。二者的区别是一个返回的是值，一个返回的是表。...感兴趣的小伙伴可以看看白茶之前写的文章《精品丨CALCULATE函数进价知识》，里面有系统的介绍。用途：构建新的上下文环境，生成一个符合我们需求的表。...语法 DAX= CALCULATETABLE(,,,…) 参数表达式：必须项，可以是一个表，也可以是表的表达式。筛选器：可选项可重复，用来过滤条件使用。...返回结果根据筛选器生成的上下文对表达式进行计算，返回一张表。例子模拟数据： [1240] 这是白茶随机模拟的数据。

1.1K0 0

函数周期表丨筛选丨表丨VALUES

当参数为列时，返回结果会去除重复值，保留空项；当参数为表时，结果不会进行去重复操作。用途：适用于度量值计算。...语法 DAX= VALUES(表or列) 参数 VALUES函数的参数可以是列，也可以是表，但不能是表达式。返回结果去除重复值的列或者返回一个完整的表。当表为单列单行时，可以作为值使用。...，在表函数模式下，都会进行去重复操作。...= SUMX ( ALL ( '维度'[类别] ), CALCULATE ( COUNTROWS ( '例子' ) ) ) 结果： [1240] 在例子和维度上下文中，DISTINCT函数排除掉因扩展表原因导致的空值项目...ALL函数在例子上下文中的计算，没有屏蔽掉例子的筛选效果，其计算结果包含空值项目；而在维度上下文中，清除了维度表的筛选效果，计算结果包含空值项目，每个返回值均为总计行数37。

9361 0

函数周期表丨筛选丨表丨FILTER

[1240] FILTER函数 FILTER函数属于“筛选”类函数，隶属于“表”函数，其使用频率可以算得上最高的几个函数之一。用途：用来筛选表或者作为计算的筛选条件。...语法 DAX= FILTER(,) 参数表：可以是固定的表，也可以是表的表达式。条件：过滤条件。返回结果由符合筛选条件的行组成的表。...代码：双层FILTER = FILTER ( FILTER ( '例子', MONTH ( '例子'[日期] ) < 2 ), '例子'[类别] = "白" ) 结果： [1240] 从结果上看，三者的结果是一模一样的...1、从性能上看，双层FILTER的性能优于前两者； 2、从执行顺序上看，多层FILTER时，通常是从内往外计算。...白茶会不定期的分享一些函数卡片（文件在知识星球PowerBI丨需求圈） [1240] 这里是白茶，一个PowerBI的初学者。 [1240]

5840 0

函数周期表丨筛选丨表丨ALLEXCEPT

[1240] ALLEXCEPT函数 ALLEXCEPT函数属于“筛选”类函数，隶属于“表函数”，在ALL函数系列家族中，其地位是不可或缺的。 EXCEPT翻译成中文是什么意思？表示：除了的意思。...因此，这个函数所表达的意思顾名思义，“除了...剩下的都....”。联想起ALL函数的特性，这个函数表示除了某一项受到筛选之外，其他的项目全部清除筛选。用途：特别适用于组内占比的计算。...语法 DAX= ALLEXCEPT(,[,[,…]]) 参数表：要清除筛选器的表。列：（可重复）位于第一参数表中，需要保留筛选的列。除了这一列之外，其他列全部不受筛选影响。...注意：不能使用表的表达式和列的表达式。返回结果除了保留筛选器的那一列，清除了其他筛选条件的一个表。例子模拟数据： [1240] 这是白茶随机模拟的一份数据。...例子1： ALLEXCEPT例子1 = ALLEXCEPT ( '例子', '例子'[类别] ) 结果： [1240] 因为当前上下文环境为行上下文，默认筛选条件为空，结果返回为剔除了保留筛选的列一个表

6650 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭