我使用Apache Nifi将DB2加载数据连接到Cassandra。我的Db2表有超过200+k的记录，但是只有400no被插入到cassandra target中。为剩余的cassandra批处理语句获取错误，不能插入超过65535条记录。尝试在yaml文件中进行一些更改，但没有帮助，得到相同的错误。我可以在Nifi中将批次更改为批量吗？或者
浏览 16提问于2019-04-02得票数 0
我有一个表格的10_000记录，我READ从申请在50个RPS。对READs的查询是：SELECT * from table where id = X system_distrib
浏览 4提问于2022-06-06得票数 0
1回答
我想使用气流在卡桑德拉表格中插入数据。
就像MySqlOperator在SQL表中安装数据一样，也没有任何操作符或方法将记录插入到Cassandra表中。我只找到这两个操作符:从airflow.providers.apache.cassandra.sensors.record导入CassandraRecordSensor，从airflow.providers.apache.
浏览 1提问于2021-07-26得票数 0
回答已采纳
1回答
我想把大量的数据从星火插入卡桑德拉。数据有一个时间戳列，它决定了ttl。但是，这对于每一行来说是不同的。我的问题是，在从Spark大量插入数据时，如何处理ttl。我现在的计划- .mode(SaveMode.Overwrite).options(Map("table" -> offerTable ,
&
浏览 0提问于2018-06-14得票数 3
回答已采纳
我正在使用链接服务器和开放查询将数据从DB2迁移到SQL Server，如下所示： -- Number of records are: 18176484[DBO].Table1 'Select * From OPERATIONS.Table1')
插入此查询需要9小时17分钟(记录数为18176484)有没有其他方法可以更快地插入
浏览 0提问于2017-03-28得票数 0
我有一个java程序作为服务运行，这个程序必须插入50k行/秒(1行有25列)到cassandra集群。任何人都为此提出了另一种解决方案。cassandra是否支持内部批量插入(不使用Thrift)。
浏览 8提问于2012-06-06得票数 5
我能够通过使用由ExecutorService执行池的25个线程池将50k记录插入到tibco活动空间中。
BoundStateme
浏览 2提问于2015-09-11得票数 0
我让我的java应用程序将批量记录写入cassandra cluster.My应用程序在两个WAS节点上运行，并且这两个应用程序都连接到相同的cluster.The批量插入(异步)过程同时在这两个was第一个WAS节点插入要插入的整个记录集的前50%，第二个WAS节点插入其余50%的记录。 我们观察到这两个服务器节点中的一个节点几乎花费了两倍的时间来完成其插入过程
浏览 9提问于2019-03-11得票数 0
回答已采纳
2回答
我现在使用SqlBulkCopy将数据从一个客户端数据库DB2复制到主数据库DB1。sqlDB1Connection)bulkcopy.WriteToServer(dtTable);
通过创建，当我将批量数据插入到db时，将不会插入所有重复的值。问题是我想要报告所有重复记录被忽略的CSV文件。
浏览 0提问于2012-12-14得票数 1
回答已采纳
1回答
我有一个运行在EC2实例上的Janusgraph，对于它的后端存储，EC2上也有Cassandra集群。我希望将聚合和过滤数据从运行在Amazon上的python代码Apache (Pyspark)推到Janusgraph。我搜索的内容：
我使用gremlin 阅读了插入，但定义为对单个顶点和边进行插入。我想要它一次插入，可能就像把所有的数据推送到Janusgraph。是否有任何有效的方法直接从星火中批量插入
浏览 1提问于2019-08-09得票数 1
回答已采纳
在生成这些SSTable文件之后，我使用SSTableLoader程序将这些文件流式传输到cassandra集群。我编写的程序使用了以下maven依赖项：<artifactId>cassandra-all</artifactId>我一直在<e
浏览 0提问于2016-03-10得票数 1
2回答
我在C++驱动程序中使用Cassandra，在插入数千行时，我观察到性能非常慢。我正在使用一个VMUbuntu12.04LTS与8 8Go和4 and。我有一个包含15800条记录的ascii文件，我试图读取每条记录，并用我的cassandra表填充。“复制”命令花费了大约1分30秒。在阅读完每条记录之后，一个接一个地查询大约6到7分钟，然后进行一次批量查询(持续30分钟，然后我放弃了！)
我想知道
浏览 0提问于2014-04-11得票数 1
回答已采纳
1回答
在我们公司，我们将两个系统合并在一起。需要将数据从2016源数据库移到Db2 v11.5目标数据库。在生产环境中，这将是一次操作，“移动”数据相当大，很少TB加在一起。我们将分两个阶段移动数据：从“阶段”表到生产表的复杂数据转换。在Db2数据库中，将LOGARCHMETH1参数设置为磁盘以启用联机备份。当批量数
浏览 0提问于2022-06-02得票数 0
在db2中，可以通过提供insert_update模式的'import‘导入文件中的数据，如果记录不存在则执行插入，如果存在则执行更新。是否有一种方法可以将数据从文件导入/加载到表中，这样，如果文件中的记录不存在，则插入这些记录；如果存在，则更新这些记录。我能想到的唯一方法是通过中间/临时表使用批量装载和合并，然后使用该表将inser
浏览 1提问于2015-02-06得票数 0
我们目前正在使用ab工具进行一些压力测试。单个插件在cassandra中做得很好。但是，当涉及到批量插入时，我目前正在处理java内存不足错误: Java Heap Space。我有一台装有Ubuntu服务器13.04和2G内存的虚拟机器我正在做一个大小为100的批量插入(在BATCH中插入100)。注意:这不会发生在带有HTTP POST请求的单次插入上。然而，当涉及<e
浏览 6提问于2013-06-27得票数 1
回答已采纳
>, PRIMARY KEY (A,B,C)我正在尝试使用Astyanax将大量数据插入其中。我正在使用的Cassandra版本是1.2，所以我不能使用批处理插入。
我知道我可以使用准备好的语句在for循环中运行CQL3命令。我想知道是否可以使用Astyanax突变批处理将数据插入到上面的列家族中？我意识到，这将利用AstyanAXTh裂缝接口
浏览 1提问于2014-02-11得票数 1
回答已采纳
我们有两个数据库--一个在Server中，一个在DB2中，我们有一个场景，在Server中执行一些数据插入&数据更新和删除&同时在Db2中执行数据插入、更新和删除。我们使用某些进程来回同步数据，每当从Server中将数据同步到db2以进行插入、更新和删除时，如果我们对db2中的数据进行了更改，我们将数据同步到Server，则使用IBM消息对消息进行
浏览 6提问于2020-01-15得票数 5
回答已采纳
2回答
我正在找到更好的方法来浏览CICS中的VSAM记录和DB2表。我正在练习的当前方法是使用readnext/prev浏览VSAM文件，并使用游标浏览DB2表。当我浏览文件/表格时，如何利用TSQ？我的示例应用程序都具有写入VSAM文件/插入到DB2表以及浏览它们的功能。
浏览 2提问于2021-10-19得票数 0
回答已采纳
1回答
我有一个需求，需要在成功的数据转储到cassandra表的末尾调用API。我在我的nifi流中使用了下面的处理器。SplitLines --> ExecuteScript -> PutCassandraQL --> InvokeHTTP -> Invoke HTTP --> PutS3
Usecase:需要将数据从DB2转储到DB2，在成功转储之后，它应该首先调用API InvokeHTTP (该API必须将大约100 k的记录</
浏览 1提问于2019-11-26得票数 0
在我的研究过程中，我遇到了这个Spring-Data-Cassandra的JIRA：
现在，根据上面的帖子，由于Cassandra的结构，目前SDC不支持Spring App中的分页。但是，我在想，如果我可以将整个行列表拉到一个Java列表中，我可以对该列表进行分页吗？我对Spring没有太多的经验，但是当我假设这是可以做到的时候，我是不是遗漏了什么？
浏览 2提问于2016-12-30得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
