KQL时间序列到分组时间范围- Kusto
KQL（Kusto Query Language）是一种用于查询和分析大规模数据的语言，它是Azure数据资源管理器（Azure Data Explorer）的查询语言。KQL提供了丰富的功能和语法，可以对时间序列数据进行灵活的查询和分析。
在KQL中，时间序列到分组时间范围是一种常见的操作，它可以将时间序列数据按照指定的时间范围进行分组，以便进行聚合分析或可视化展示。以下是对这个概念的完善和全面的答案：
概念： 时间序列到分组时间范围是指将时间序列数据按照指定的时间范围进行分组的操作。这个时间范围可以是固定的，例如每小时、每天、每周等，也可以是动态的，例如最近一小时、最近一天等。通过将时间序列数据分组，可以更好地理解数据的趋势和变化。
分类： 时间序列到分组时间范围可以分为静态分组和动态分组两种类型。
- 静态分组：指定固定的时间范围进行分组，例如每小时、每天、每周等。这种分组方式适用于需要按照固定时间间隔进行数据分析和展示的场景。
- 动态分组：根据当前时间动态计算时间范围进行分组，例如最近一小时、最近一天等。这种分组方式适用于需要实时或近实时地对最新数据进行分析和展示的场景。
优势： 时间序列到分组时间范围的操作具有以下优势：
- 数据聚合：通过分组操作，可以对时间序列数据进行聚合计算，例如求和、平均值、最大值、最小值等，从而得到更高层次的数据概览。
- 趋势分析：通过将时间序列数据按照时间范围分组，可以更好地观察数据的趋势和变化，发现周期性或趋势性的模式。
- 数据可视化：分组后的数据可以更容易地进行可视化展示，例如绘制折线图、柱状图、饼图等，帮助用户更直观地理解数据。
应用场景： 时间序列到分组时间范围的操作在各种领域都有广泛的应用，例如：
- 网站流量分析：将网站访问日志按照每小时或每天进行分组，分析网站的访问量、独立访客数等指标。
- 传感器数据分析：将传感器采集的数据按照每分钟或每小时进行分组，分析传感器的温度、湿度、压力等变化趋势。
- 应用性能监控：将应用程序的性能指标按照每分钟或每小时进行分组，分析应用的响应时间、错误率等指标。
推荐的腾讯云相关产品和产品介绍链接地址： 腾讯云提供了一系列与数据分析和云计算相关的产品，以下是一些推荐的产品和对应的介绍链接地址：
- 云原生数据库 TDSQL-C：https://cloud.tencent.com/product/tdsqlc
- 云原生数据库 TDSQL-M：https://cloud.tencent.com/product/tdsqlm
- 云原生数据库 TDSQL-PG：https://cloud.tencent.com/product/tdsqlpg
- 云原生数据库 TDSQL-MySQL：https://cloud.tencent.com/product/tdsqlmysql
- 云原生数据库 TDSQL-Redis：https://cloud.tencent.com/product/tdsqlredis
- 云原生数据库 TDSQL-MariaDB：https://cloud.tencent.com/product/tdsqlmariadb
- 云原生数据库 TDSQL-PolarDB：https://cloud.tencent.com/product/tdsqlpolardb
这些产品提供了丰富的功能和性能，可以满足不同场景下的数据存储和分析需求。
相关·内容
我在Azure日志中有以下日志：
以上查询如下：
输出如下所示，看起来像一个‘散点图’，但我正在寻找一个类似于时间图的连接点，但未能做到：
我如何连接这些点，或者是否存在限制，或者上面的KQL (Kusto查询语言)的编写方式？
浏览 14提问于2021-02-27得票数 0
我能够获得公共演示表来学习和使用KQL查询。现在，我想将我的天蓝色集群链接到Kusto以使用KQL查询。Kusto插件只是导入了一些示例演示集群。除了使用KQL乱搞，我无法链接我的集群或日志分析工作空间。
我无法弄清楚如何添加我自己的集群。(基本上是如何构建URL )
浏览 6提问于2022-09-23得票数 0
是否有任何方法可以使用KQL查询大型本地文件(10k+行)，例如Excel、CSV等，以及存储在Kusto ()中的数据？
下面是我的场景:我广泛使用KQL来探索Kusto (Azure data Explorer)集群中托管的数据。大多数情况下，这些探索是非常动态的，并且是在一次性的情况下调查情况。
对于一些数据，我只有Excel和CSV文件，我想加入Kusto数据。我知道我可以用Pandas来做这件事，但是我特别想知道是否有任何方法可以用KQL来完成，最好不要设置集群并将数据吞到Kusto表中。
浏览 14提问于2022-11-23得票数 0
回答已采纳
1回答
我试图使用Kql魔术版0.1.114.post16在木星中运行kusto查询。我想删除500 k行限制，我认为在运行%kql --help "client-request-properties"时列出的%kql --help "client-request-properties"选项应该可以解决我的问题，但是我不知道如何在kql魔术中插入它。它不作为其他选项或命令工作。
浏览 16提问于2022-03-23得票数 0
2回答
在将KQL语法提交到集群之前，是否有一种检查KQL语法的方法(在Powershell中最好，但也有其他方法)？
我想在我的CI管道中检查KQL代码回购的正确性。
谢谢!
浏览 5提问于2021-11-30得票数 3
回答已采纳
1回答
我发现自己通过Azure language使用(KQL)，我很难找到一种方法来获得任何详细的执行报告或查询计划。
在PostgreSQL中，我会使用EXPLAIN来生成关于DBMS打算如何执行查询的报告，或者用EXPLAIN ANALYZE来表示查询是如何实际执行的。在KQL中有类似的东西吗？
对"kql查询计划“、"kusto解释查询”等的搜索基本上没有结果，但这可能只是意味着我不知道正确的术语。
浏览 7提问于2022-03-15得票数 2
有没有办法在Kusto language (KQL) / Azure Data Explorer查询中注释行/解释带有注释的查询代码？
提前感谢
浏览 0提问于2019-05-12得票数 5
回答已采纳
根据的文章，人们可以创建SSIS作业来使用KQL查询来查询Kusto。
如何做到这一点？如何连接到SSIS包并从SSIS包查询ADX？
浏览 5提问于2021-10-23得票数 0
1回答
我有一项任务要把仪表板从Splunk转换到Kusto，我看到了由于Splunk在UTC时区有数据表的不同，但是我认为Kusto正在占用我的本地时区。1)是否有一种在Kusto中查询数据以识别当前时区的方法。2)将Kusto表或查询转换为使用UTC时区与Splunk数据匹配。谢谢。
浏览 2提问于2021-10-05得票数 0
回答已采纳
我正在尝试构建基于KQL查询的仪表板。我使用的仪表板工具知道如何呈现减价，但我不知道如何根据Kusto内部的查询结果(不使用外部工具)生成减价。
浏览 5提问于2022-09-20得票数 1
我想利用KQL从不是Kusto集群的JSON字符串中查询数据。
我可以使用Kusto C# SDK加载json数据，然后使用KQL进行查询吗？
浏览 15提问于2021-12-13得票数 0
回答已采纳
在Kusto KQL中有没有连接列的方法？
例如，对于某些在MySQL (V8)中具有列name的world数据集：
select group_agg(name) from world;
将导致：
| string_agg |
|-----------------------------------------------|
| Afghanistan,Azerbaijan,Bahrain,Bangladesh,... |
浏览 3提问于2020-02-03得票数 2
回答已采纳
我需要获取json数组中的第一个条目的值，并在Microsoft Defender ATP中使用Kusto KQL。
数据格式如下(匿名)，我想要“UserName”的值：
[{"UserName":"xyz","DomainName":"xyz","Sid":"xyz"}]
如何拆分或以任何其他方式获得"UserName“值？
浏览 6提问于2020-01-28得票数 1
回答已采纳
我正在检查kusto文档，以检查是否可以创建直方图，但我似乎没有找到任何与直方图相关的内容。只有条形图和柱状图。
是否有在KQL中创建直方图的方法，或者这是不可能的？
浏览 4提问于2022-05-10得票数 2
回答已采纳
我正在尝试翻译以下MySQL (v5.6)查询： SELECT name FROM world WHERE capital LIKE CONCAT(name, '%city') 到Kusto KQL中，但以下代码不起作用： world | where capital matches regex strcat(name,".*city") | project name 可能是因为matches regex只接受一个字符串值，而concat(name,".*city")是一个列。 甚至下面的代码也不起作用： world | extend a =
浏览 67提问于2020-01-30得票数 0
我正在尝试根据时间戳选择行。在下面的示例数据中，一些列包含重复的计算机名称。我对有最新时间戳的那一排感兴趣。
+------------------------+----------+---------+------------+
| TIMEST AMP | COMPUTER | VERSION | MORE COLS. |
+------------------------+----------+---------+------------+
| 2019-10-02 10:32:40 | COMPA | 1234 | ... |
+
浏览 7提问于2020-10-08得票数 1
回答已采纳
是否有像jq这样的Linux命令行工具，但它运行的是Kusto查询？所以我可以做这样的事：
$ cat somedata.json | kql 'where user="ml" | count'
42
我的意思是在我自己的服务器上运行它，而不是使用Azure服务。
浏览 3提问于2022-01-26得票数 0
Azure Data Explorer使用Kusto Query Language (KQL)。为什么Microsoft不使用SQL？
LogEvents
| where StartTime > datetime(2021-12-31)
| where EventType == 'Error'
| project StartTime, EventType , Message
在sql中也可以这样写，这样可以帮助开发人员学习一种新的语言。
select StartTime, EventType, Message from LogEvents where startime
浏览 8提问于2022-11-29得票数 0
回答已采纳
1回答
我正试图使用KQL查询语言获取Kusto数据库中用户的最后登录详细信息。但是，下面的查询没有得到确切的结果。
GlobalID -唯一的GUID值，它将在每次用户登录时创建。
UserId -登录UserId值
LastSuccessFullLoginTimeStamp -最大时间戳值
//Fetch Last Logged in userID details
let window = 2h;
Events
| where Timestamp >= ago(window)
| extend UserId = tostring(Properties.UserId)
| wher
浏览 5提问于2022-03-15得票数 0
回答已采纳
我一直在使用Kusto Query Language (KQL)，并通过以下链接中的魔术命令%%kql从Jupyter Lab运行查询：
最近，对于相同的查询，我开始收到以下错误，而我过去运行这些查询时没有任何问题。有时，当我刷新我的jupyter实验室并连接到kql时，问题消失了，但似乎没有任何一致性，而且问题最近似乎变得更糟。
错误：
ChunkedEncodingError：(“连接断开: ConnectionResetError(10054，‘现有连接被远程主机强制关闭’，无，10054，无)”，ConnectionResetError(10054，‘现有连接被远程主机强制关闭’，无
浏览 1提问于2021-04-07得票数 0
我正在尝试设置行顺序策略(参考：https://docs.microsoft.com/en-us/azure/data-explorer/kusto/management/roworder-policy )。但是，我打算将其仅应用于time logging列。但它不起作用。不过，时间戳不是UNIX格式。我必须与任何其他属性组合吗？
浏览 13提问于2021-10-11得票数 1
回答已采纳
我正在开发一个逻辑应用程序，它将创建一个bug，我必须在工作项中显示描述，如下所示：
{
"Description":
{
"Title":"",
"Validation step":"",
"OperationActivityId:":"",
"Environment detailsLink":"",
"Please click here"
浏览 3提问于2020-11-06得票数 6
1回答
我对Kusto完全是个新手，希望有人能给我建议和帮助。
我有一个包含大量数据的文件。这是一个非常简短的示例：
我想要做的，是比较name，userID，并计算这2列在分钟(基于时间戳)或天(只是为了方便，我可以将天转换为分钟)的时间范围内重复自己多少次。
到目前为止，我使用的代码似乎只考虑其中一列并计数，它不检查它们以前是否出现过。
这就是我所使用的：
"| summarize count() by bin(_timestamp, 4320m), name, userID"
使用正确的查询，我希望收到所有列的返回(假设时间戳为13:38:01)，即有一个名为count
浏览 0提问于2021-05-28得票数 0
1回答
我正在尝试使用查询参数和.NET Kusto SDK对Azure Data Explorer集群执行KQL查询。 我已经尝试将参数放在大括号{}中，而不放在大括号中。 我已经阅读了关于将参数传递给查询的文档，但我找不到任何示例来说明当通过Azure SDK传递到.NET数据资源管理器时，查询应该是什么样子。 当我在Kusto.Explorer工具中设置参数时，我的查询可以在该工具中工作，但在使用SDK时就不走运了。 var queryParameters = new Dictionary<string, string>()
{
浏览 37提问于2019-05-29得票数 2
我们正在使用Azure DevOps服务器2019 (on-prem)。因此，构建分析是非常不存在的。因此，我们设置了一个过程，将完成的构建度量上载到Azure AppInsights，这允许我们编写各种有趣的仪表板。
我的经理想知道三件事：
构建多久会失败一次？
建造需要多长时间？
这个建筑会持续多长时间？
前两个很简单，但最后一个很难。
首先，我将问题转化为Sql，并借助解决了这个问题。
在收到了Sql的答案之后，我能够将它翻译成Kql (AppInsights使用的Kusto查询语言)，如下所示：
customEvents
| where customDimensio
浏览 0提问于2020-01-24得票数 2
回答已采纳
假设我有一个列表，我想要对列表中的每一项运行Kusto查询。 (在jupyter nb上) List=Aa，Bb，Cc，.... %%kql 让城市Where dt=Stormevent ==“Aa”/“Bb”....； Dt
浏览 13提问于2020-10-10得票数 1
可以用KQL创建一个数据库吗？ 我在文档中的Databases management下看不到这个选项。 我知道我可以使用SDK/CLI创建一个数据库，但我经常使用Kusto，如果我能找到这个选项就太好了。 我的场景是-端到端测试的数据库和一般的游乐场(不是生产的东西)。
浏览 24提问于2020-11-02得票数 0
回答已采纳
我有一个包含列StartDate和EndDate的数据集。我正在尝试获取在任何给定时间步长有多少项是“活动”的计数。例如:如果项目具有StartTime 01/21/2021和EndTime 03/22/2021，则它将递增01/2021、02/2021、03/2021。 我觉得这和时间序列有关，但我不能理解它。 let data=datatable(startTime:datetime, endtime:datetime)
[
datetime(2021-07-07), datetime(2021-07-13),
datetime(2021-07-02), datetime(2021-09
浏览 74提问于2021-09-10得票数 0
回答已采纳
小问题:是否有人知道是否可以通过JDBC将Kusto函数(Azure Data )公开为视图。背景：
我们有一些可以连接到JDBC目标的工具(第三方不能更改)。不幸的是，它们中的大多数都不能看到或使用过程/函数，而只能在视图和表上操作。我们有一些非常复杂的查询用KQL实现，我们希望在这些工具中使用，并且不能在SQL.中轻松完成。
Kusto函数由JDBC驱动程序作为过程公开。是否有一种方法可以指定某些函数被导出为视图(在语义上是这样的)。我们在文件中没有发现任何东西。
浏览 1提问于2020-10-01得票数 0
我希望像偏移量一样在ADX表(kql)上实现分页，然后再取一些我们通常在Server中做的行，但是我无法在kusto查询lang中跳过/偏移选项。在ADX表记录上是否有实现分页的替代方法。
请提供一种不使用row_number()在ADX记录上应用分页的替代解决方案。
我们有取用或限制选项，寻找跳过记录的选项。
浏览 2提问于2022-03-25得票数 0
如何实现以下SQL查询使用偏移量在KQL中进行分页查询。
select * from testtable where code = '88580' limit 1000 offset 111
我在KQL中找不到像SQL中的偏移量那样的函数
浏览 27提问于2022-05-13得票数 2
回答已采纳
2回答
我正在尝试找到MySQL (v8) with子句的替代方法。
我有一些很长的查询，它使用with子句为一些结果设置别名。
with top5 as (
SELECT ....
)
SELECT .... from top5
UNION ALL .... from top5
我正在尝试找到Kusto KQL中的with子句的等价物。
任何帮助都将不胜感激。
浏览 34提问于2020-02-03得票数 1
回答已采纳
我有来自Kusto/KQL查询的数字输出，在这里，我希望格式化输出以有逗号分隔。我也想把它整到最近的整数。例如，它不是1000.2865，而是1,000。是否有任何内置的KQL功能来完成这一任务？我查过文件，但找不到。我希望能找到这样的东西：
format_number(myNumberColumn, 0, "commaThousands")
注意:如果它以字符串的形式出现，我对此也没意见，我还意识到Azure数据资源管理器中显示的输出具有可视化的格式。但是，一旦我将数据移到外部，我就失去了这种格式，就像我粘贴到Excel中或者使用仪表板的查询来显示一个关键指标一样。
浏览 10提问于2022-09-08得票数 1
1回答
目前，我可以使用查询单个集群和单个数据库：
KQL查询：
StormEventInfo
| take 10
| where environment contains "templ"
| where userType == "user" or isempty(userType)
python代码如下：
client = KustoClient(
KustoConnectionStringBuilder.with_aad_application_key_authentication(
KUSTO
浏览 34提问于2022-09-06得票数 1
在我azure监视器日志输出中，数据是数组格式，我想使用kusto来查询和获取表格格式的数组数据。您可以帮助如何做到这一点，而不是在KQL中手动粘贴JSON数组。
JSON输出数组：
{
"count": 6,
"value": [
{
"Total_Record_Count": 6,
"date": "2021-02-01"
},
{
"Total_Record_Coun
浏览 3提问于2021-03-02得票数 0
1回答
我是Kusto/KQL的新手，但在to方面有经验。我正在尝试获取一个异常列表，按类型对它们进行分组，添加一个计数，并按该计数降序。在SQL中，应该是：
SELECT Type, COUNT(Type)
FROM exceptions
GROUP BY Type
ORDER BY COUNT(Type) Desc
除了那种我什么都能搞定。
exceptions
| summarize count() by type
我想不出怎么用一个集合来分类。我试过| sort by count() desc，| sort by count() by type desc，| as c | sort by c
浏览 15提问于2021-12-15得票数 2
回答已采纳
需要使用KQL/Kusto查询在Azure监视中实现一系列警报。它是非常基本的，例如心跳、空闲磁盘空间(基于代理输出到)。
查看Terraform文档，我不确定要使用哪些资源。我希望我需要先在资源中构建查询，然后构建警报资源。但是，从文档来看，似乎应该将查询添加到此Resource中。
无论如何，如果有人能分享一个为虚拟机Win/linux实现天蓝色监视器警报的例子，那就太棒了。
浏览 5提问于2021-10-20得票数 0
回答已采纳
1回答
我正在尝试使用星火连接器从ADX集群加载数据，并将其保存在Azure存储中。但是ADX数据库中的表将每周更新一次，所以我如何编写KQL查询来只从集群加载最新数据并将其保存在存储中？
提前感谢！
这是火花连接器的代码。
query=“”表
数“”
dataframe= spark.read. \
format("com.microsoft.kusto.spark.datasource"). \
option("kustoCluster", kustoOptions["kustoCluster"]). \
浏览 12提问于2022-11-16得票数 0
1回答
我有一个Kusto时刻表，它有来自查询的联想。我想删除该图例中的附加文本，它在图表中可见。你能告诉我我是怎么用KQL做的吗？
例如，在下面，我想从图例中删除单词ValueName和Value，只显示Win_T3。
ValueName: Win_T3 : Value -> Win_T3
提前谢谢。
你好，尼哈
浏览 5提问于2022-04-19得票数 0
我试图使用ADF完成从Azure Devops到Azure Kusto集群的增量加载。由于Kusto没有更新或删除特定记录的选项，我按照以下步骤实现增量数据加载。
数据将第一次作为满载加载到主表(表A)中。
我将从表A获得最大修改日期，并且只使用以下过滤器将最新修改的数据加载到库斯托的TableStg中。(>=(最大修改日期-1天)
我将在Kusto中创建一个临时表(TableTemp)，将修改后的/新数据(来自TableStg)合并到单个表中，然后使用下面的KQL将主表(表A)替换为临时表。
.set-or-replace TableTemp with (dist
浏览 1提问于2020-12-19得票数 0
1回答
我在使用KQL显示的表中有数据。 一旦我生成了列，我就可以在仪表板上看到表中的数据；在右边有一个" columns“菜单按钮，您可以在其中应用行分组。 是否有一些KQL查询可以自动应用这些行分组？目前，我必须在每次加载仪表板时重新应用它们。 我知道summarize命令，但它无法展开数据并查看组中的内容。
浏览 32提问于2021-05-05得票数 0
回答已采纳
当使用联合来包含2个日志分析工作区时，我遇到了KQL的问题。我的任务是计算来自两个不同的日志分析工作区的所有失败的ADFPipelineRun；A和B 以下是我从Log Analytics Workspace A和include Workspace B运行Kusto查询的语法： ADFPipelineRun //which is Workspace A
|union
workspace("<WorkspaceID for workspace B>").ADFPipelineRun
| where Status == "Failed"
| whe
浏览 21提问于2021-08-25得票数 0
1回答
我想创建基于两列的数据列表的摘要(sum或count)，显示从第一列到各行的所有唯一项，以及从第二列到所有列的唯一项，以及每个组合的总和(或总计
我可以用多个公式做加法运算，但我想试着用一个公式做
浏览 5提问于2021-09-30得票数 0
我想使用Kusto过滤登录日志，它的时间戳仅在下午6点到早上6点之间。
类似这样的东西
SignInLogs
| where TimeGenerated between(dateStart .. dateEnd)
我发现的所有示例都是基于带有确切日期的完整时间戳的，比如(2014-05-25T08:20:03.123456Z)。但我只对时间感兴趣。
知道怎么解决这个问题吗？
浏览 2提问于2022-06-02得票数 0
回答已采纳
2回答
我有一个类似下面的查询()
SELECT State, EventType, DamageProperty From StormEvents where DamageProperty >= ALL(select DamageProperty from StormEvents where State = 'NEW YORK') AND EventType = 'Wildfire'
我想将此查询转换为KQL，但在转换ALL运算符时遇到了问题。
以下查询将收到相同的结果：
StormEvents | where (DamageProperty >= tos
浏览 0提问于2020-01-27得票数 0
1回答
我有一个ADF，它每天将Kusto函数的输出写入Kusto表。我需要每天将数据插入到表中。我没有找到更新Kusto中现有数据的方法。如果数据不存在，是否可以通过ADF插入行，否则更新现有的行？
集合或替换对我来说将是非常昂贵的，因为表由一组巨大的数据组成。
如果这是不可能的，我是否可以使用我拥有的日期时间戳截断过去两个月的数据，并从函数中重新加载它？
浏览 0提问于2019-07-24得票数 4
回答已采纳
我有一个http响应表，包括时间戳、服务名称和我想使用KQL/Kusto查询的http响应代码。
我的目标是有一个表来告诉我“某一类型的http响应(2xx，4xx等)在过去5分钟内有多少次”。
我还想用5分钟的时间桶()和(基本上是响应代码类)来总结行，但我似乎无法让它工作。当我在总结子句中添加count(ResponseType)时，它将返回错误消息Function 'count' cannot be invoked in current context。
我的KQL看起来像这样
InsightsMetrics
| extend Tags = parse_json(Tag
浏览 3提问于2020-10-01得票数 6
回答已采纳
1回答
我有一个关于KQL查询的问题。我想在KQL查询中使用一个时间，它只显示08:00到17:00之间的结果。
如何在KQL查询中构建这些？我只找到DateTime变量，但我只需要时间？
非常感谢。
你好，菲尔
浏览 9提问于2022-10-26得票数 -1
回答已采纳
我试图用kusto (kql)编写一个查询，在那里我将检查哪些用户访问了哪些项目。
pageViews
| extend projectId = extract(@"/projects/([0-9a-f]{32}|[0-9a-zA-Z]{21,22})", 1, url)
| where url matches regex @'/projects/([0-9a-f]{32}|[0-9a-zA-Z]{21,22})'
and timestamp > ago(90d)
and isnotempty(user_Id)
| project timestamp,
浏览 4提问于2021-06-01得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
