标签：VBA 自Excel 2010发布以来，已经具备删除工作表中重复行的功能，如下图1所示，即功能区“数据”选项卡“数据工具——删除重复值”。...图1 使用VBA，可以自动执行这样的操作，删除工作表所有数据列中的重复行，或者指定列的重复行。 下面的Excel VBA代码，用于删除特定工作表所有列中的所有重复行。...Cols(i) = i + 1 Next i rng.RemoveDuplicates Columns:=(Cols), Header:=xlYes End Sub 这里使用了当前区域...如果只想删除指定列（例如第1、2、3列）中的重复项，那么可以使用下面的代码： Sub DeDupeColSpecific() Cells.RemoveDuplicates Columns:=Array...(1, 2, 3), Header:=xlYes End Sub 可以修改代码中代表列的数字，以删除你想要的列中的重复行。
本文处理的场景如下，hive表中的数据，对其中的多列进行判重deduplicate。...1、先解决依赖，spark相关的所有包，pom.xml spark-hive是我们进行hive表spark处理的关键。
Grafana 7 在配置表的时候出现按时间取值显示，表格中无需展示时间轴采集的数据情况，只需显示采集数据的最小值，最大值，当前值。 ? 通过配置Transformations 实现 ?...转换多用于可视化表中。转换类型如下： Reduce 减少 使用max，min，mean或last等函数将所有行或数据点减少为单个值。...如果要共享来自具有许多查询的另一个面板的结果，并且只想在该面板中可视化该结果的子集。 Organize fields 组织字段 允许用户重新排序，隐藏或重命名字段/列。...当数据源不允许替换以可视化数据时很有用。 Outer join 外接 通过一个字段连接许多时间序列/表格。这可以用于外部连接_time_字段上的多个时间序列，以在一个表中显示多个时间序列。...对于在表格中显示带有标签的时间序列很有用，其中每个标签键都变成一个单独的列。 Merge 合并 合并许多系列/表，并返回一个表，其中可合并的值将合并到同一行中。
如果它被显示，它可以通过检查表复选框显示为一个值表。没有值的系列可以使用隐藏空复选框，从而在图例中隐藏。...实际的通知被配置并在多个警报之间共享。 State History 警戒状态的变化都被记录在内部注释Grafana的数据库表。状态更改可视为警报规则的图形面板中的注释。...Override relative time：覆盖相对时间，该graph在屏幕上的显示时间段(time range) Add time shift：添加时移，将现在时间减去时间,如20m，那屏幕的显示最新的时间段结束...为now-20m Hide time override info：隐藏时间覆盖信息，即右上角的时间，当缩放或更改 Dashboard time到自定义绝对时间范围时，所有面板重写将被禁用。...面板时间重写总是活跃的，即使当仪表盘的时间是绝对的。 Hide time override info选项允许您隐藏在覆盖时间范围选项时显示在面板右上方的覆盖信息文本。
——善于让自己在学习的过程中感受良好，并确实持续进步，自我激励是一个特别实用的软技能。 然后我想着不妨把这几天玩转 grafana 时用到的进阶版的 sql 语句整理出来。...之前写了一篇笔记，记录自己是为什么要玩 grafana ，以及如何在 24 H做到被工程师称赞，文中提及我把工程师已经实现的 sql语句拷贝下来，拆解为元知识点，然后逐个理解：它是什么功能，如何用，然后直接用起来试试效果...【语句块X】 union all 【语句块Y】 处理表格数据的合并时，细分有以下三个情形： 把多列或多行的数据，合并为单列或单行的数据 把A表的数列，与B表的数列合并起来 把A表的数行，与B表的数行合并起来...超高频使用。 ? 类似count()和sum()都是高频使用的基础函数。不过数据统计中，更常用到累加。...前面举例中无形中也用了该方法数次，就不单独举例啦。 多表联合查询 最后说明下，相对复杂的多表查询。从多个表格、或表格和自定义数据源如data中合并查询。
上一篇我们通过Prometheus 自带的 Web UI 展示 Prometheus 抓取的数据，本篇将利用 Grafana 更加直观展示的出来。...点击 “保存” 图标保存Dashboard，使用缺省Folder，给Dashboard起名为 “http-simulator” ?...减少表中数据项，选中Instant只显示当前值 ?...隐藏Time列，在 Column Sytle 下，Apply to columns named为Time，将Type->Type设置为Hidden ?...点击表中的 Requests/s header，让其中数据根据端点活跃度进行排序。 ? 保存修改后的Dashbaord。 -- END --
文档编写目的 在前面的文章中介绍了用Ranger对Hive中的行进行过滤以及针对列进行脱敏，在生产环境中有时候会有脱敏条件无法满足的时候，那么就需要使用自定义的UDF来进行脱敏，本文档介绍如何在Ranger...中配置使用自定义的UDF进行Hive的列脱敏。...测试环境 1.操作系统Redhat7.6 2.CDP DC7.0.3 3.集群已启用Kerberos 4.使用root用户操作 使用自定义UDF进行脱敏 2.1 授予表的权限给用户 1.在Ranger中创建策略...由上图可见，自定义UDF脱敏成功 总结 1.对于任何可用的UDF函数，都可以在配置脱敏策略时使用自定义的方式配置进策略中，然后指定用户/用户组进行脱敏。...3.在配置脱敏策略时，方式选择Custom，在输入框中填入UDF函数的使用方式即可，例如：function_name(arg)
Grafana 系列文章，版本：OOS v9.3.1 Grafana 的介绍和安装 Grafana监控大屏配置参数介绍（一） Grafana监控大屏配置参数介绍（二） Grafana监控大屏可视化图表...选项卡 2、选择要使用的转换类型，不同的转换类型配置不同 3、要新增转换类型，点击Add transformation 4、使用右上角调式按钮可以调式转换 支持的转换类型： Add field...，合并到一个表中 Join by labels 将带标签的结果展示到由标签连接的表中 Labels to fields 按时间分组序列，并返回标签或标记作为字段。...用于在表中显示带有标签的时间序列，其中每个标签键成为单独的列 Limit 限制显示的数据条数 Merge 将多个查询的结果合并为一个结果 Organize fields 允许用户重新排序...、隐藏或重命名字段/列，只能用于单个查询的面板 Partition by values 通过一个或多个字段中的唯一/枚举值进行区分 Prepare time series 对时间序列数据宽
可这次我是想在此基础上，能变成能转换任何论坛的，因此不想借助他自带的存储过程。...先前有一点很难做，因为一般的主键都是自动递增的，在自动递增的时候是不允许插入值的，这点让我一只很烦，今天有时间，特地建立了一个表来进行测试 字段名 备注 ID 设为主键 自动递增 Name 字符型...建立以后，我先随便输入了一些数据（当中输入的时候，ID是不允许输入的，但会自动递增） 随后我运行一条Sql语句： insert into [Test] (id,name) values (4,'asdf...'); 很明显，抛出一个Sql错误： 消息 544，级别 16，状态 1，第 1 行 当 设置为 OFF 时，不能为表 'Test' 中的标识列插入显式值。 ...PS1:今天公司上午网站出现问题，造成了很严重的后果，我很坚信我的同事不会犯connection.close()的错误，错误原因还没有查到，星期一准备接受全体惩罚 PS2：年会要到了，要我表演节目，晕死
数据表设计 其实这一块我个人是参考的 Zizaco/entrust 因为我觉得，大多数情况下，我们要用的角色和权限节点都是真多用户的。...数据表设计如下： 可以看到关系如下 user -> role -> ability ，其中关系全部都是多对多关系。...ability 用户 Trait Ability 实例 Role 模型所需代码 使用 然后我们打开 User 模型wen jia文件添加如下代码： class User ......{ use UserHasAbility; } 总结 其实性状在 User 模型中只暴露了 roles 和 ability 两个公开方法。...整个 ability 都是结合在集合之上的一些封装，这样是的代码调用更加优雅。 以上代码是在开发ThinkSNS+中的实际真实代码。具体的实现可参考项目。
timestamp：时间戳，因为InfluxDB是时序数据库，它的数据里面都有一列名为time的列，存储记录生成时间。如 rx_bytes 中的 time 列，存储的就是时间戳。...field key是字段名，在rx_bytes表中，字段名为 value。field value是字段值，如 17858781633，1359398等。...measurement：类似传统数据看的表，是字段，标签以及time列的集合。 series：共享同一个retention policy，measurement以及tag set的数据集合。...特色函数：有一些聚合类函数如FILL()用于填充数据, INTEGRAL()计算字段所覆盖的曲面面积，SPREAD()计算表中最大与最小值的差值， STDDEV()计算字段标准差，MEAN()计算平均值...连续查询：InfluxDB独有的连续查询功能可以定期的缩小取样，就原数据库的数据缩小取样后存储到指定的新的数据库或者新的数据表中，在历史数据统计整理时特别有用。
配置文件： /etc/grafana/grafana.ini 配置Grafana Note： 更改Grafana配置文件后需要重启Grafana服务生效。 配置文件中以 ; 开头的行为注释行。...= /var/lib/grafana/plugins # Grafana默认查找插件的位置 ;provisioning = conf/provisioning # Grafana启动时依赖的配置文件存放位置...ip ;http_port = 3000 # 访问端口 ;domain = localhost # 这个设置是root_url的一部分，当你通过浏览器访问grafana时的公开的domian名称，默认是...依赖https，默认是false ;session_life_time = 86400 # session过期时间，默认是86400秒，24小时 log [log] ;mode = console file...;allow_sign_up = true # 允许登陆 alerting [alerting] enabled = true # 设置为false以禁用警报引擎，并从UI中隐藏警报 execute_alerts
在平台监控系统中，可以使用 Telegraf 采集多种组件的运行信息，而不需要自己手写脚本定时采集，大大降低数据获取的难度；且 Telegraf 配置极为简单，只要有基本的 Linux 基础即可快速上手...InfluxDB有三大特性： 时序性（Time Series）：与时间相关的函数的灵活使用（例如最大、最小、求和等）； 度量（Metrics）：对实时大量数据进行计算； 事件（Event）...* from "XXXXX" 查询指定表的数据；表名中间有点号时，表名双引号； 4. measurement，tags，fields，points与普通的关系型数据库的对应： InfluxDB...对象 关系型数据库对象 measurement table tags 索引的列 fields 列 points 行数据 第三部分 Grafana的安装与部署 Grafana 是实现...，在数据达到阈值时通过Slack、PagerDuty等获得通知； 4、混合展示：在同一图表中混合使用不同的数据源，可以基于每个查询指定数据源，甚至自定义数据源； 5、注释：使用来自不同数据源的丰富事件注释图表
注意：使用MaxDataPoint功能时，无论您的分辨率或时间范围如何，Grafana都可以显示完美的数据点数量。 使用重复行功能根据所选的模板变量动态创建或删除整个行（可以使用面板填充）。...目前有四种面板类型：图形，单词，Dashlist，表和文本。 面板（如“图表”面板）允许您根据需要绘制多个指标和系列。其他面板如Singlestat需要将单个查询减少为单个数字。...6设置：管理仪表板设置和功能，如模板和注释。 仪表板，面板，行，Grafana的构建块...¶ 仪表板是Grafana所关注的核心。 仪表板由排列在多个行上的各个面板组成。...模板变量可以使用$ myvar作为值添加。 当链接到使用模板变量的另一个仪表板时，可以使用var-myvar = value将链接中的模板变量填充到所需的值。...Axes “轴和网格”选项卡控制轴，网格和图例的显示。 Legend 通过选中显示复选框隐藏图例手。 如果显示，可以通过选中表复选框将其显示为值表。 没有值的系列可以使用隐藏空复选框从图例中隐藏。
，供查询使用； field： 指标列，代表数据的测量值，随时间平滑波动，不需要查询。...time的列，里面存储UTC时间戳。...，因为tag是有索引的，tags相当于SQL中的有索引的列。...measurement measurement是fields，tags以及time列的容器，measurement的名字用于描述存储在其中的字段数据，类似mysql的表名。...如上面例子中的measurement为census。measurement相当于SQL中的表，本文中我在部分地方会用表来指代measurement。
例如：多人同时进行压测如何在grafana面板中如何区出自己的压测信息；当一个脚本中有多个请求，如何查看每个请求的独立数据以及总事务数据等等，要达到实际使用的需求的信息展示，我们就需要对jmeter和grafana...db=[库名] application 应用名，会存储在events表中；在grafana面板可以做为在分类筛选项 measurement 数据库表名;influxBD数据库中的measurement可以理解为...grafana使用 参数application在性能脚本中修改为自己项目所需的分组名字，目的是区别于别的脚本数据，具有一定的唯一性且有实际标志作用。...例如：项目中遇到的问题是多人同时使用不同压测服务器进行压测，导致无法在grafana中查看到自己脚本当前实际使用线程数。...$application的SQL就是获取库中application字段全部数据 influxDB数据库的表由时间戳（time）、数据（field）、标签（tags）组成。
Schema 的作用是告诉数据库使用者所希望的表结构，确保每行数据都符合该表的 Schema。...我们举例来看： Schema 定义了如何在数据库中插入和存储数据，上图展示了如何为关系型数据库创建一个标准的 Schema。 在上图的数据库中， 一共有 4 张表，每张表都有各自的 Schema。...图片中间的表有 4 列数据，其余 3 张表有 2 列数据。 此外，我们还需要在 Schema 中定义数据类型。...当用户创建表并开启动态字段时，Milvus 会在表的 Schema 里创建一个名为$meta的隐藏列。...JSON 是一种不依赖语言的数据格式，被现代编程语言广泛支持，因此 Milvus 隐藏的动态实际列使用 JSON 作为数据类型。
开启自动注册，如果用户在grafana DB中不存在 [analytics] reporting_enabled：如果设置为true，则会发送匿名使用分析到stats.grafana.org，主要用于跟踪允许实例...编辑图表时默认进入的是Metric，内容包括： Data Source：填写刚刚配置过的数据源的名称，这里是prometheus A和B指的是这张图有几条线，这里是A一条线、右侧的小眼睛代表是否隐藏该线...Hide time ocerride info: 上边相对时间设置之后在graph中会显示本图表的时间信息，在此处选择后可以把显示的信息隐藏掉 更多详细的配置可以查看：https://grafana.com...填写名称，下拉框选项的数据获取表达式，刷新周期，是否有ALL选项等，然后保存 接下来在具体的图表中使用该变量 ? 在metric中，将变量$Node写在表达式中做匹配即可。...grafana的变量支持高级匹配，如$Node.*代表以Node开头的字符，利用变量的方式，可以实现多级筛选，满足更复杂的需求，如pod资源的查看 ?
前面我们以Time series 图表为例，学习了面板的配置参数，在这里我们要继续学习Grafana 的其他图表，配置参数大同小异。...Gauge 仪表是一种单值可视化，可以为每个系列、列或行重复仪表。...当您希望以美观的形式快速比较一小组值时，最好使用这种类型的图表。 State timeline 状态时间线面板可视化显示随时间的离散状态变化。每个场或系列都被渲染为其唯一的水平带。...该列表可以配置为使用星形仪表板、最近查看的仪表板、搜索查询和仪表板标记。 News 此面板可视化显示RSS提要。默认情况下，它显示Grafana Labs博客中的文章。...画布可视化是可扩展的表单构建面板，允许您在静态和动态布局中显式放置元素。这使您能够在Grafana的UI中以标准Grafana面板无法实现的方式设计自定义可视化和覆盖数据。
领取专属 10元无门槛券
手把手带您无忧上云
