我找到了可以做同步部分的。我还发现了Elasticsearch ，它可以在索引到Elasticsearch之前修改文档。我是否可以使用Monstache通过摄取节点对文档进行索引，以便在存储到Elasticsearch之前转换和丰富文档？
浏览 24提问于2019-11-16得票数 0
我有一个可以使用docker进行elasticsearch和mongodb同步的monstache部署。
浏览 9提问于2021-10-02得票数 0
我目前正在运行一个10节点的ElasticSearch2.4集群，并使用Apache通过PutElasticsearch处理器大量摄取数据。当涉及到将负载分配给所有节点时，我很好奇Elasticsearch如何处理摄取(批量摄取)。如果我只在我的Elasticsearch集群中的主节点上执行一个大容量的摄取命令，那么这个主节点会知道如何将摄入的负载分配给集群中的所有其他节点，比如一
浏览 3提问于2017-11-21得票数 0
回答已采纳
我有10台摄食机，它们使用akka流来摄取数据。我有一个由50个节点组成的Hadoop集群，并使用Spark流运行管道。Hadoop集群使用10台机器生成的数据生成报表。我可以利用这10台机器的机架感知功能而不将它们作为Hadoop集群的一部分添加吗？当我说到机架感知时，我的意思是，如果这些机器与Hadoop数据节点位于同一个机架上，那么在使用齿条感知时，我希望每台摄取机器将数据上
浏览 2提问于2020-08-25得票数 0
回答已采纳
我正在尝试找到一种简单的方法来同步mongoDB 4.x中的数据到elasticsearch 6.x。我的用例是elasticsearch支持但mongodb不支持的部分文本搜索。MongoDB是我的应用程序的主要数据库。要将mongoDB中数据的任何更改(CRUD)自动同步到elasticsearch，最好的工具是什么？
浏览 0提问于2019-06-19得票数 4
我是Azure的新手，我想知道我们是否可以发送一些json数据，处理它，并在数据资源管理器中摄取它。，我的要求是在数据资源管理器摄取数据之前，先在蔚蓝端处理数据。我可以使用以下步骤来完成此过程吗？
这是可能的吗?还是我必须使用事件集线器或blob存储设置一些映射，并将它们的映射属性
浏览 5提问于2021-12-13得票数 1
boost::variant通过boost::variant<>::types公开了它的变体类型列表，可以方便地与boost::mpl::for_each一起使用。这可以用来生成boost::mpl::for_each可以摄取的类型列表吗？或者它启用了不同的迭代策略？
浏览 18提问于2019-09-20得票数 0
回答已采纳
默认情况下，我想使用无痛脚本插入摄取节点IP。或者有没有其他方法可以自动将弹性搜索机IP插入到文档中？
浏览 3提问于2021-02-05得票数 0
Google BigQuery的数据传输服务可以使用多个云存储位置作为数据摄取到BigQuery的源目的地吗？
BQ对来自GCS的数据摄取的收费方式与任何其他云源有什么不同吗？数据传输服务的文档中提到，从2017年6月1日起，BQ将收取数据传输服务的月费？我们有关于成本模型的细节吗？
浏览 1提问于2017-05-16得票数 0
我有一个多文档，其中有嵌套的对象。我需要移动文档中嵌套对象的位置。{ "abc": "Ok", "entityId": "29e7d555-1959-4b9b-b663-ce0d04f3e5a7",
"type": "GroupEntity"
浏览 0提问于2020-03-16得票数 0
我试图将这两个主题连接在一起，我的印象是leftJoin窗口是根据处理时间而不是摄取时间计算的，导致较小的流太快“耗尽”。 是否可以指定流-流连接到摄取时间(或事件时间)的时间语义？我可以理解为什么使用摄取时间不是一件容易的事情，但在处理历史流时，它似乎是必要的。
浏览 6提问于2020-04-03得票数 1
回答已采纳
我实际上在法国的一家大公司工作，我们的目标是通过NIFI摄取我们在卡夫卡的所有服务器(近1400台服务器)的系统日志(格式为rfc5424)。我们选择NIFI是因为我们希望根据找到的appname将日志路由到与其相关的主题。
所以我们会有很多小的流文件。实际上，我们遇到了性能限制:我们不能摄取超过5k msg/s，我们希望摄取超过50k msg/s。当然，如果可能，我们希望尽可能多地处理。你能给我一些建议吗？
浏览 3提问于2019-01-18得票数 2
1回答
我正在尝试将MongoDB集合摄取到HDFS中，并且可以选择使用mongoDB java + hdfs，而不是使用MongoDB连接器。
这两种方法有何不同？我检查了星火mongoDB连接器的源代码，它还使用MongoDB java来写mongoDB，但是使用sparkSession从mongoDB读取。由于MongoDB和HDFS集群在我们的例子中是不同的，那么边缘节点是否充当了MongoDB和HDFS集群之间的分阶段区域？如果是这样，如果mon
浏览 0提问于2019-04-23得票数 1
如果我需要一个3节点集群，我需要有3个实例吗？或者它们是在同一个实例中创建的？
浏览 3提问于2021-03-05得票数 0
1回答
内联到Kusto
、、
我们可以使用摄取映射引用将记录内联到Kusto中吗？假设我有一些要测试的记录，并希望使用Kusto控制台中的摄取映射引用来摄取它。有没有办法做到这一点？
浏览 20提问于2021-06-23得票数 0
我实际上知道如何从任何数据源捕获数据，例如特定的API (例如HTTP GET请求)，并在特定的kafka连接器中摄取它们。"file": "test.txt", }我需要类似的东西(FileStreamSourceConnector)，可以与API源代码一起使用。
浏览 2提问于2017-10-04得票数 4
1回答
使用Spark流的红移
、、、
我有一个Kafka - Spark流应用程序，可以每分钟摄取和处理60K个事件。我需要一个数据库来存储我转换后的数据帧，以供可视化层访问。Redshift可以与Spark Streaming一起使用吗?还是应该使用Cassandra？我将在每30秒的spark窗口中处理和存储数据帧。另外，我需要从每个窗口的数据存储中读取数据。有什么想法吗？
浏览 0提问于2017-09-28得票数 0
目前，我正在尝试构建一个python进程，它使用server-send-events (SSE/EventSource)不断侦听来自Rest API的新事件，然后自动将这些事件摄取到Azure事件中心。将Azure函数与某种触发器一起使用？或者只是在脚本中运行无限循环，API侦听器在其中获取数据并将其放到事件中心？
浏览 3提问于2021-04-12得票数 0
Apache Mesos“主”节点是否可以与Mesos“从”节点位于同一台机器上？同样(对于高可用性(HA)部署)，在Mesos“主”选举中使用的Apache Zookeeper节点可以部署在与Mesos“从”节点相同的机器上吗？Mesos建议将3个“master”用于HA部署，Zookeeper建议将5个节点用于其法定选举系统。让这些服务与Me
浏览 33提问于2014-10-28得票数 16
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
