如何更新Apache Druid中的现有数据
Apache Druid是一个开源的分布式数据存储和分析系统，用于实时数据探索和分析。它具有高性能、可扩展性和灵活性的特点，适用于大规模数据集的快速查询和聚合。
要更新Apache Druid中的现有数据，可以按照以下步骤进行操作：
- 首先，确保你已经安装和配置了Apache Druid集群。可以参考Apache Druid官方文档进行安装和配置。
- 在更新数据之前，需要先停止Apache Druid集群的服务。可以使用命令行或管理界面停止相关服务。
- 接下来，准备要更新的数据。可以通过以下几种方式更新数据：
- 批量导入：将更新的数据以批量方式导入到Apache Druid中。可以使用Apache Druid提供的数据导入工具，如
tranquility或ingest-segment等。 - 实时流式导入：将更新的数据以流式方式导入到Apache Druid中。可以使用Apache Kafka等流式数据处理工具将数据实时导入到Apache Druid。
- 手动更新：如果只需要更新少量数据，可以手动修改Apache Druid存储的数据文件。但这种方式不推荐，因为容易出错且不可逆。
- 批量导入：将更新的数据以批量方式导入到Apache Druid中。可以使用Apache Druid提供的数据导入工具，如
- 更新数据后，重新启动Apache Druid集群的服务。确保所有服务都正常启动并连接到更新后的数据。
更新Apache Druid中的现有数据需要谨慎操作，特别是在生产环境中。建议在更新数据之前先备份原始数据，以防止意外情况发生。
对于Apache Druid的更多信息和详细介绍，可以参考腾讯云的相关产品文档和官方网站：
相关·内容
问题是向现有数据源添加一个新字段，并用一些默认值填充它。我已经通过this aticle尝试过了 但实际结果是添加了新列，但它填充了一个空值。我哪里错了，我能用同样的方法修复它吗？
浏览 55提问于2021-09-28得票数 0
2回答
我错误地从Hadoop中删除了数据。我在Druid中有这些数据，现在我想将这些数据从Druid恢复到Hadoop，以避免进一步的数据恢复问题。
浏览 1提问于2018-12-13得票数 0
我在Kubernetes上部署了一个没有路由器(因此没有UI)的Druid平台。我注意到一些数据源消失了(很可能是手动删除的)。有没有一种方法可以在不重新部署整个平台的情况下手动重新创建它们(例如，通过重新启动摄取服务器，通过API调用等)？谢谢--克里斯蒂安
浏览 1提问于2021-02-12得票数 0
我如何从Druid摄取规范json文件中获取模式名称/数据库名称。我已经阅读了本教程，但没有找到任何关于模式名称或数据库名称的内容。] } "granularitySpec" : { }
} 对于上面的摄取规范，我们可以从"dataSource“键值中获取表名，从"dimensions”键值中获取列名。
浏览 129提问于2019-09-04得票数 0
我正在考虑使用Druid进行聚合。我的用例是，我希望将数据流到Druid (这是同一天设置的segmentGranularity )，在摄入期间，我想聚合数据。我的问题是，当我们发送第一个数据流时，数据被卷起来，聚合被计算并写入Druid。现在，当我将另一个数据流发送给德鲁伊(这与已经卷起来的数据相关)时，德鲁伊是如何处理它的。
浏览 1提问于2018-05-30得票数 0
回答已采纳
我有一个Apache Druid数据库，我想用Prometheus监控Apache Druid数据库。我研究发现Druid Exporter支持Prometheus从Apache Druid收集指标，我找到了下面的文档：> druid_emitter_h
浏览 31提问于2021-07-19得票数 0
首先，我将两个mysql表插入到kafka中，然后在druid.Now中加载kafka主题。我在druid中有两个数据源，其中一个数据源包含多达6000条记录，另一个数据源包含多达720000条记录。我试图使用druid join查询从两个数据源获取记录，但它显示以下错误： Resource limit exceeded / Subquery generated results beyond maximum[100000] /
or
浏览 116提问于2020-10-06得票数 0
我想知道如何将德鲁伊连接到超集，这样我就可以探索和查询我在德鲁伊中拥有的数据。我感觉你只能连接一个druid集群，而不是独立的，或者当我试图在超集UI上添加一个druid集群时，我只是不理解所有的配置，比如broker主机和端口。有什么想法吗？
浏览 19提问于2019-06-18得票数 1
Druid现在支持joins。但是当我们连接一个大的事实表和一个中等大小的维度表时，我发现它的lil仍然很慢。我们是否可以连接并创建新的dataSource，并将生成的dataSource存储在druid中以供进一步查询？如果是这样，我们如何做到这一点。 我遵循了Druid文档，但找不到与此相关的参考。
浏览 26提问于2020-12-22得票数 0
inputFormat": { }, } 每次我调用API来摄取时，它都会创建新的分区有没有办法防止在每次摄取时都创建新的分区？
浏览 12提问于2020-11-04得票数 0
回答已采纳
1回答
我正在使用index_parallel原生批处理方法从s3向Druid摄取数据。我已经使用druid UI中的Tasks选项卡完成了初始摄取。我想每天安排另一个任务来进行增量摄取。我已经看了很多文档，但我没有找到任何与在druid上调度任务相关的东西。 有人能帮我吗?我们可以通过哪些方法来安排一个本地批处理摄取任务？
浏览 13提问于2020-09-03得票数 1
有没有人可以通过docker-compose文件使用MySql来存储德鲁伊的元数据？我已经花了几个小时，但我仍然在德鲁伊代理组件中得到错误。我想使用mysql而不是postgres的原因是因为一个供应商的docker容器错误地连接到了Druid的postgres服务器，而不是它自己的服务器，并且更改postgres的端口也没有帮助。下面是我在'broker‘中看到的错误。2021-02-23T15:15:2
浏览 10提问于2021-03-05得票数 0
我将apache 0.22.1安装为集群(主节点、数据和查询节点)，并将其添加到common.runtime.properties中的数组common.runtime.properties中，从而启用了最后，我将GOOGLE_APPLICATION_CREDENTIALS (它的值为中定义的服务帐户json )定义为运行德鲁伊服务的用户的环境变量。然而，当我尝试从GCR桶中摄取数据
浏览 13提问于2022-01-11得票数 0
回答已采纳
目标： 我正在测试Apache Druid的不同发行版。我的目标是最终在docker-compose设置中使用Druid。实际结果： 在本地安装和运行的Druid有一个数据摄取页面，如下所示： ? 来自Druid存储库的docker-compose.yml没有按原样运行，因为当0.21.1是最新可用的镜像时，它引用了一个druid:0.22.0镜像。当对0.22.0的</
浏览 28提问于2021-08-30得票数 0
回答已采纳
1回答
下面是我的公共配置文件的片段 at org.apache.druid.java.util.common.RetryUtils.retr
浏览 5提问于2020-10-05得票数 0
org.eclipse.jetty.server.HttpChannel - /druid/v2/sql org.apache.druid.java.util.common.ISE:找不到默认服务器！-0.17.1.jar:0.17.1 这是我正在使用的cmd vm:~$ sudo docker-compose -f发行版/docker/docker-compose.yml up 我已经从https://github.com/apach
浏览 159提问于2020-04-11得票数 5
我正在尝试使用火龙带从PostgreSQL到Druid的数据。我在conf文件中添加了druid.extensions.loadList=["postgresql-metadata-storage"]，但是任务失败
堆栈跟踪：
2019-07-10T09:44:10,476 INFO [firehose_fetch_0] org.apache.druid.data.in
浏览 0提问于2019-07-10得票数 0
回答已采纳
1回答
从蜂巢到德鲁伊交互时出错
、、、
我正在尝试从Hive创建一个Druid数据源，并为此使用了表Hive。STORED BY 'org.apache.hadoop.hive.druid.DruidStorageHan
浏览 6提问于2019-10-14得票数 0
回答已采纳
我正在尝试从PostgreSQL到Druid摄取数据。创建索引任务并抛出NullPointerExcpetion失败。"SELECT * FROM public.testtable" } }在这里我的堆叠痕迹：
2019-07-10T12:59:22,853 INFO [task-runner-0-priority-0] org.apache.druid.data.input.impl.pre
浏览 0提问于2019-07-10得票数 2
回答已采纳
我在/apache-druid-0.16.0-incubating/conf/druid/single-server/micro-quickstart/_common/common.runtime.properties:8020/druid/indexing-logs
我也尝试过druid.storage.storageDirectory=hdfs://mycluster:9000/<e
浏览 9提问于2019-12-03得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
