我正在EMR集群上设置Druid，并使用批处理摄取成功地从gcs存储桶中摄取了拼图文件。 现在，我想自动化这个摄取过程，以便每天为具有相同配置的不同文件(在相同的s3存储桶中)运行。这个是可能的吗？
浏览 16提问于2021-10-21得票数 0
我知道德鲁伊有本地批处理入口，，如index_parallel。Druid运行Map-在同一个集群中减少作业。但我只想用Druid作为数据存储。德鲁伊有Tranquility的实时摄取。我可以使用宁静发送批处理数据，但这并不有效。如何有效地将批处理结果发送到德鲁伊？
浏览 4提问于2019-11-11得票数 0
1回答
非时间序列数据的Druid
、、、、
这意味着，当她恢复她的互联网时，发送给德鲁伊(例如通过宁静服务器)的数据将被德鲁伊拒绝(因为德鲁伊实时不接受过去的数据)。问题:那我会有重复的事件吗？
或者..。
浏览 6提问于2016-10-12得票数 3
回答已采纳
1回答
我需要从RDBMS系统中sqoop 600TB的数据，并且我必须在从午夜12点到早上7点的特定时间范围内完成这项工作由于无法在一天内摄取全部数据，因此需要批量执行。oozie有没有可能在早上7点之前终止作业，并在第二天重新启动失败的作业。
浏览 0提问于2015-07-08得票数 1
我试着用气流来自动完成德鲁伊的批次摄入。我的数据管道按需创建EMR集群，并在德鲁伊索引完成后关闭它。但是对于德鲁伊，我们需要在德鲁伊服务器文件夹中配置Hadoop。这阻碍了我的动态电子病历集群。我们是否可以在作业配置中覆盖Hadoop连接细节，或者是否有一种方法可以支持多个索引作业使用不同的EMR集群？
浏览 7提问于2022-01-15得票数 1
回答已采纳
2回答
实时的蜂窝数据转换？
、、、、
我有以下数据管道：
A进程将消息写入 Spark结构化流应用程序正在侦听新的消息，并将它们写入HDFS ，批处理Hive作业每小时运行一次，并通过某些中介复杂插入语句读取来自HDFS的最新消息，填充一些表
浏览 1提问于2020-02-13得票数 1
回答已采纳
我的产品有一个使用Java编写的摄取服务，它运行Apache路由。有多个摄取服务实例运行在不同的VM上。摄取服务使用server 2016数据库服务器。在执行每个路由时，它在数据库中创建一个作业，然后每个作业步骤管理作业状态，直到达到完成状态为止。
要求确保骆驼路线一条接一条地执行，没有路线并行运行(即同时)。如何才能做到这一点？一种选择是使用自主开发的解决方案，其中每条路径都查看是否存在运行状态中的作业，只有在没有
浏览 4提问于2022-04-20得票数 0
MarkLogic版本9.0-6.1
我们已经实现了两种批量摄取模式。我们的MLCP作业在默认线程数为4的情况下运行得很好，最多有3个MLCP作业并行运行，确保在任何时间点至少有60个内核可用于实时(或接近实时)处理。但是，我不确定Informatica/NiFi批处理作业如何使用内核。像MLCP一样，有没有办法限制Informatica/NiFi作业使用的内核，以确保有足够的内核/线程可用于实时处理？有没有一种方法可以控制/限制
浏览 21提问于2019-10-24得票数 0
回答已采纳
我已经安装了德鲁伊，并且能够在：上运行教程。我还能够执行本机json查询并获得结果，如：，德鲁伊设置运行良好。我在：上试用了示例程序wikipedia-index.json "type&
浏览 1提问于2018-10-31得票数 0
1回答
是否可能有一个持久的函数，允许我在每个设备ID上运行一个线程，然后聚合和操作数据，
到目前为止，我能在网上找到的所有东西都是基于实体触发的，但是，我不明白如何才能真正触发它。
浏览 6提问于2022-05-13得票数 0
我目前正在运行一个10节点的ElasticSearch2.4集群，并使用Apache通过PutElasticsearch处理器大量摄取数据。当涉及到将负载分配给所有节点时，我很好奇Elasticsearch如何处理摄取(批量摄取)。如果我只在我的Elasticsearch集群中的主节点上执行一个大容量的摄取命令，那么这个主节点会知道如何将摄入的负载分配给集群中的所有其他节点，比如一个循环类型的策略吗？
浏览 3提问于2017-11-21得票数 0
回答已采纳
1回答
Laravel 8引入了Job Batching，它允许批量执行作业，并在批量完成时执行操作。但是，Laravel文档中没有关于作业批处理表和数据库连接配置的部分。如何为job_batching表指定不同的数据库，是否可以重命名job_batching表名称？
浏览 27提问于2021-01-26得票数 1
回答已采纳
1回答
是否支持使用这样的数据结构，并在服务器端通过用户定义的函数或类似函数自动对其执行操作？或者有什么方法可以让我添加这样的功能扩展？(我可以通过另一个系统摄取数据并批量更新，以减少争用，但如果所有这些都可以在数据库服务器中处理，则会简单得多。)
浏览 0提问于2015-04-29得票数 0
3回答
与德鲁伊相比，hadoop有什么优势？我读过德鲁伊和hadoop一起使用。那么，是否可以避免使用Hadoop呢？
浏览 3提问于2014-06-09得票数 10
回答已采纳
1回答
我有一个500MB的聚合XML文件，mlcp摄取需要30秒(大约80,000个文档)，协调大约需要6分钟(在加载到最终DB之前将每个XML文档转换为JSON )。1)有没有一种方法可以启动mlcp加载并并行协调多个文件(在同一个作业中)？2)在harmonize作业中，我尝试使用-PbatchSize和-PthreadCount参数，但它们对批量大小和6个线程计数没有任何影响。如何通过增加这两个值来提高性能？
浏览 17提问于2019-02-21得票数 1
回答已采纳
0回答
我们的系统中有一个正在批量处理数据的作业，因此一些用户抱怨应用程序在作业运行时速度很慢，从AWR报告中我们观察到，即使在启用自动扩展的情况下，临时表空间也会等待32 so，有没有办法检查作业执行时的临时表空间使用情况
浏览 7提问于2017-12-04得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
