ADX:防止blob元数据干扰摄取？
ADX是Azure Data Explorer的缩写，是一种用于大规模数据分析的云原生数据探索和查询服务。它具有高性能、可扩展性和灵活性，适用于处理大规模的结构化、半结构化和非结构化数据。
在云计算领域中，ADX可以用于解决数据摄取过程中的一些问题，其中之一就是防止blob元数据干扰摄取。具体来说，当从Azure Blob Storage等存储服务中摄取数据时，数据通常会伴随着一些元数据，如文件名、创建时间等。而在某些情况下，这些元数据可能会对数据的分析和查询产生干扰。
为了解决这个问题，ADX提供了一种称为“数据映射”的功能。数据映射允许用户在摄取数据时，通过定义映射规则，将元数据从数据中分离出来，从而使得数据在摄取后更加干净和规范。用户可以根据自己的需求，灵活地定义映射规则，将元数据映射到ADX表的特定列中，或者直接忽略元数据。
通过使用ADX的数据映射功能，可以有效地防止blob元数据对数据摄取过程的干扰，使得后续的数据分析和查询更加准确和高效。
推荐的腾讯云相关产品：腾讯云数据湖分析（Data Lake Analytics，DLA）。DLA是腾讯云提供的一种大数据分析服务，可以帮助用户快速、高效地分析存储在对象存储中的海量数据。DLA支持SQL查询语言，具有强大的查询和分析能力，可以与腾讯云对象存储（COS）无缝集成，方便用户进行数据摄取和分析。
更多关于腾讯云数据湖分析的信息，请参考：腾讯云数据湖分析产品介绍
相关·内容
我们希望在每次将新的blob上传到我们的存储帐户时设置数据摄取(通过事件网格>事件中心路由)。下一页解释了在blob上设置的元数据可能会干扰摄取：
第三方将使用SAS令牌将BLOB作为外部数据接收的一部分上载到其特定目录，在该目录中将触发接收。如果有人在上传他们的daily blob时修改kustoTable、kustoCreationTime或kustoExtentTags元</em
浏览 10提问于2021-02-20得票数 1
我正在尝试使用Azure Data Factory中的copy对象将JSON文件blob插入Azure数据资源管理器表中。然后对数据进行转换和处理。有没有办法将“Properties”对象映射到ADX中的动态列？我尝试在ADX中创建摄取映射，并在副本的接收器设置中引用该映射。我得到一个错误，即找不到映射引用。
浏览 27提问于2021-06-20得票数 0
回答已采纳
当我在Azure数据资源管理器中摄取来自IoT集线器的数据时，我遇到了一些问题。当我在ADX上执行命令以查看错误时：.dup-next-failed-ingest into Tab
浏览 4提问于2021-09-09得票数 1
回答已采纳
1回答
有足够的ADX文档可用于流媒体摄取，但我找不到任何关于流出Kusto的内容。即使是连续导出也有导出频率的最低限制(我认为是5分钟)，这远远不是一种流式导出方法。有没有办法将大容量数据从ADX传输到BLOB或ADLS Gen2？
浏览 25提问于2021-07-13得票数 2
回答已采纳
我创建了一个Azure数据资源管理器(ADX)集群和一个表(称为ABC)。这些数据通过ADX中内置的管道进入Kusto表-(通过事件网格从azure blob获取数据)。我还创建了一个JSON摄入映射，使用该映射可以摄取数据。我在输入的数据中有一个字段，它是它的缩写格式。是否有一种方法(可能是Kusto函数或Kusto摄取映射中的某些属性)允许我引用Kusto中的另一个表，其中包含相应的缩写和完整形式，并将完整的单词
浏览 0提问于2021-06-16得票数 1
回答已采纳
2回答
所以，我需要坚持使用Grafana作为可视化工具，我认为，我需要使用Azure数据资源管理器来收集数据，因为Grafana只有Azure数据资源管理器的插件。
如果我必须使用Azure数据资源管理器本身--我需要先将数据存储到Azure blob存储，然后再将数据存储到
浏览 5提问于2021-11-27得票数 0
我们正在经历使用SKU Dev(No SLA)_Standard_E2a_v4的瞬态错误的增加(集群一天内多次离线，数据库突然消失，blob摄取失败，BadRequest_InvalidBlob: BadRequest_EmptyBlob我们知道没有SLA，但目前这使得开发相当困难，向管理层出售ADX也不容易，因为现在的中断发生在sprint-review演示文稿期间。
我们是单独解决这个问题，还是这是一个已知的、有时间限制的问题？
浏览 3提问于2021-02-17得票数 1
对不起，对这样的比较服务，我有很好的理解，除了ADX。我觉得有一个很大的功能覆盖，所以想知道ADX在Azure基础设施中的确切角色。当ADX明显优于Synapse/Databricks时，用例是什么？我对ADX的理解
AFAIK，ADX是一个集群(每小时计费，比如Databricks或Synapse，而不是ADLA)，它正在为您处理数据库，并且是针对大规模流吞食和临时查询进行优化的。它还支持外部表，它的性能较差，但更便宜(您需要为Blob/ADLS存
浏览 1提问于2020-05-27得票数 8
回答已采纳
我们有一个用例，在ADLS-V2中，我们接收到大量数据(例如，每5分钟80 GB分成300个文件)，并使用火花连接器将ADLS-V2写入Kusto表。在写入阶段，需要使用多个注意到的核对整个数据进行批处理，只使用一个核心来写入Kusto表，即80 in只写一个核心，其余的核心处于空闲状态。Azure数据库(每个节点为28 RAM和8个CPU核)
每个文件大小是~260 in未压缩，并以拼花格式。我还看到了一些最佳实践文档，其中说文件大小应该在100 GB到1GB之间，未压缩。在databricks中使用writestream来编写数
浏览 6提问于2022-09-16得票数 1
但是我希望blob存储中的日志被摄入到蔚蓝数据资源管理器集群中。在数据资源管理器集群中，我有一个数据库和表，其中已经定义了一些模式。问题是，我如何修改going中的事件，使其符合表模式？有可能吗？
浏览 19提问于2022-02-10得票数 1
如何做到这一点？AFAIK您只能通过"Diagnostic settings“/ Diagnostics扩展将AFAIK流式传输到Event Hub，但自定义日志仅可用于日志分析代理。我对许多Azure VM代理感到有点困惑。例如，在AWS中，我会使用Firehose代理将自定义日志流式传输到Kinesis。非常简单。
浏览 18提问于2020-08-21得票数 0
我有一个网站收到网站点击事件从蓝色事件中心，然后摄取这些事件到ADX。catch(Exception ex) AppInsighLogError(); }我使用了，并在摄入到ADX当事件不符合1000个事件/ 1GB数据大小的默认IngestionBatch策略时，ADX将等待，直到它返回Success状态，这使得Run也等待了这么长的时间。
浏览 0提问于2019-10-11得票数 1
1回答
也许有人可以为我指明方向，我应该如何为我的blob存储实现故障转移方案。
我正在处理相当大的有效负载，这些负载被发送到我的API。API摄取具有元数据的有效负载，并将其保存到blob。一切似乎都运行得很好，除了我有SLA要求，它定义了故障转移策略，在Azure Blob Storage服务不可用的情况下，API应该后退并在本地或任何其他位置持久保存文件。在Azure Blob Storage启动并运行后，应将文件传输回blob以进行进一步处理。
浏览 1提问于2019-07-02得票数 0
我的Azure云块blob用例场景如下所示：2.机器A下载blob，进行一些更改，然后将其上传到具有相同blob名称的容器中。机器A和B可以完全同时下载blob，但是机器A可能更快地完成更改并上传到容器。
当机器B上传其更改而不知道机器A已对blob进行更改时，问题就会发生。所以我想知道Azure商店是否有任何现有的机制来防止这种覆盖的发生。如果Azure没有它，我正在考虑在blob中使用元<
浏览 0提问于2019-08-22得票数 2
回答已采纳
如果我重新发送(相同) Json，则blob /文件将在blob中得到覆盖的。OtherStuffUuid": "aaaaaaaa-1111-1111-1111-1111",如果有防止覆盖的话？附文
基于一个答案，我尝试添加以
浏览 7提问于2017-08-24得票数 2
回答已采纳
1回答
我有一个时间敏感的操作，需要注意时钟在其他计算机中的倾斜，而/or则防止这种情况发生。如何检测或防止时钟倾斜？我正在尝试检测本地节点当前时间的时钟偏差。可能的解决方案
也许我可以让每个节点将其当前日期定期写入<
浏览 10提问于2012-10-15得票数 5
2回答
一旦添加了容器中的所有blobs，我想通过Arm部署创建一个EventGrid到ADX集群。(每隔一定的时间间隔就会产生一堆气泡)我在看这个链接：
对于Blob的事件列表、部分和Azure数据存储的事件列表、Gen 2、REST、部分，我感到困惑。
浏览 4提问于2021-07-14得票数 2
回答已采纳
3回答
对于移动用户来说，这可能是一个重大问题，因为他们中的大多数人都为数据使用付费。到目前为止，我还没有找到一个合适的解决方案，跨浏览器工作，以防止这种情况。
当按下暂停时，卸载源。
浏览 5提问于2012-11-06得票数 20
回答已采纳
1回答
例如，在hbase仪表板的tables部分，我可以看到凤凰添加到我的表中的以下元数据：
'QUOTES', {METHOD => 'table_att', coprocessor$1 => '|org.apache.phoenix.coprocessor.ScanRegionObserver}, {NAME => '0', DATA_BLOCK_ENCODING => 'FAST_DIFF', KEEP_DELETED_CELLS => 'true
浏览 2提问于2014-09-03得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
