如何在nifi中插入批量记录

文章/答案/技术大牛

发布

2回答

使用Apache将批量记录从Db2插入到Cassandra

cassandra、apache-nifi

我使用Apache Nifi将DB2加载数据连接到Cassandra。我的Db2表有超过200+k的记录，但是只有400no被插入到cassandra target中。为剩余的cassandra批处理语句获取错误，不能插入超过65535条记录。尝试在yaml文件中进行一些更改，但没有帮助，得到相同的错误。我可以在Nifi中将批次更改为批量吗？或者，如果我需要从Db2加载所有记录，那么在Nifi或Cassandra<e

浏览 16提问于2019-04-02得票数 0

1回答

mysql、bulkinsert、apache-nifi

我是nifi的新手，我正在尝试使用nifi在mysql中进行批量插入，下面是我的示例流程结构。MergeContent (merge all flowfiles) -> ExecuteSql 在这里，executeSql只插入一条记录，而不是所有记录 mergeContent包含以下JSON结构 {"batch_id":"123&quo

浏览 133提问于2019-03-12得票数 1

1回答

如何在Apache PostgreSQL中进行批量插入而不指定物理csv文件

postgresql、csv、apache-nifi、bulkinsert

我需要在Apache命令中不指定物理PostgreSQL文件的情况下对NiFi表进行批量插入。我只是不能将CSV文件存储在磁盘上，并且希望使用来自以前处理器并已经采用CSV格式的流文件进行批量插入(或者我可以将它更改为json，这不是问题)。请注意，在Apache NiFi中，最好的方法是什么？

浏览 1提问于2021-03-01得票数 1

回答已采纳

1回答

NiFi GetMongo永远提取数据

apache-nifi

我在MongoDB中有几百万条记录，我想使用NiFi来移动数据。下面是我想要运行的场景：2) NiFi会自动拉取100条记录的批量记录。我试着用一个小的MongoDB集合来应用这个场景(从mongo中获取并存储为一个文件)，我看到NiFi永远在重复这个过程，并且它正在复制记录。下面是我在NiFi上创建的流程：有什么建议可以解决这个问题吗？

浏览 1提问于2018-10-04得票数 0

1回答

Nifi处理器递归运行。

apache-nifi

我正在探索nifi，到目前为止，我已经创建了一个处理器组，它的处理器数基本上是从Oracle中选择数据并插入到mongoDB中。流程如预期的那样工作。流程是QueryDatabaseTable -> SplitAvro -> ConvertAvorToJson -> PutMongoRecord 在QueryDatabaseTable中，我有自定义查询select * from employee，它为我提供100个记录，并将这100个记录插入<

浏览 2提问于2019-10-09得票数 1

2回答

如何在SQLServer中执行从一台机器到另一台机器的批量插入？

sql、sql-server、sql-server-2008、bulkinsert、apache-nifi

我在一台机器上运行了nifi实例，在另一台机器上运行了Server。如果我在同一台机器上运行nifi和Server，那么我可以轻松地执行大容量插入操作。我已经在单机上尝试过nifi和sql server，然后批量插入可

浏览 2提问于2017-06-08得票数 0

回答已采纳

2回答

在数据库中插入数据集记录

c#、ms-access、dataset

我需要将数据集记录(C#)插入MS Accessdatabase表中。我需要批量插入记录。如何在C#中执行此操作

浏览 1提问于2009-08-11得票数 6

2回答

在SQL Server中，如何在批量更新时获取最后插入的记录ID？

sql-server、mssql-jdbc

在SQL Server中，我使用批量更新将多条记录插入到表中。如何取回批量更新后正在创建的ID(唯一主键)？例如，我有一个学生表，其中有角色NO和NAME。角色编号自动递增1，只要我使用java程序将名称插入数据库。我将使用我的java代码中</

浏览 9提问于2014-05-29得票数 2

2回答

Apache Nifi* : Oracle到Mongodb的数据传输*

mongodb、oracle、apache-nifi

我想使用apache nifi将数据从oracle传输到MongoDB。Oracle总共有900万条记录。我已经使用QueryDatabaseTable和PutMongoRecord处理器创建了nifi flow。此流程运行良好，但存在一些性能问题。在启动nifi流之后，SplitJson -> PutMongoRecord队列中的记录不断增加。有没有办法降低SplitJson处理器放入队列中的记录的速度？或提高PutMongoRecord<e

浏览 8提问于2020-06-29得票数 0

1回答

在“大容量日志恢复模型”中，“散装”的技术含义是什么?为什么是这个名称？

sql-server、terminology、recovery-model

在该模型中，存在某些批量操作，如批量插入、创建索引、选择INTO等。在事务日志中没有完全记录，因此在事务日志中占用的空间不多。据我所知，大容量日志恢复模型并不能完全记录大量事务。那为什么它是这样命名的？

浏览 0提问于2018-10-10得票数 0

1回答

Nifi QueryDatabaseRecord中的Postgres侦听命令

postgresql、apache-nifi

我正在尝试使用Nifi来检索插入Postgres表中的新记录。然而，当我使用Nifi QueryDatabaseRecord (1.13.2)和一个自定义查询：'Listen test‘时，Nifi抛出以下错误： Nifi Configuration Error

浏览 93提问于2021-04-16得票数 0

1回答

列的类型是时间戳，没有时区，但表达式的类型是变化的：

csv、timestamp、apache-nifi、timescaledb

我正在尝试使用nifi将CSV记录插入Postgres数据库。如果我使用普通的insert into conditions (timenow,location) values ('2019-10-21 15:13:11','colombo');

浏览 2提问于2019-10-21得票数 4

回答已采纳

1回答

将csv文件插入mssql，如果存在，则使用apache nifi进行更新

sql-server、etl、apache-nifi

嗨，我有一个csv文件，它将每180分钟生成一次，应该插入到ms sql中，这里是示例csv文件：- 5,rahul,vedu,0949,thr 7,verm,redr,0464,thr 上述csv文件在任何情况下都必须插入到mssql数据库中如果id已经存在，那么我需要使用apachenifi更新，我使用putdatabaserecord，而我只能插入或更新，如果我选择更新

浏览 0提问于2020-11-19得票数 0

0回答

RabbitMQ和NiFi

rabbitmq、apache-nifi

我是NiFi的新手，欢迎您的建议。如何在NiFi中最好地实现这一点？还有其他建议吗？谢谢，加里

浏览 19提问于2017-12-05得票数 1

2回答

多行大容量插入触发不触发？

c#、asp.net、sql-server、triggers

我有一个后插入触发器，当我在表中插入一条记录时，该触发器工作正常。ON [dbo].User_Userid from Inserted问题当我试图使用BulkCopy从我的C#代码中插入多条记录时

浏览 1提问于2012-09-11得票数 1

回答已采纳

2回答

如何在Oracle Merge语句中指定批提交？

batch-file、oracle10g、commit、merge-statement

我正在使用oracle中的merge语句对数百万条记录进行批量插入/更新。好的，其他选项可以是使用FORALL，利用BULKCOLLECT，然后提交，但这个操作将再次降低性能，因为我需要保持循环。在完成整个合并操作后提交将会影响性能，我想知道如何在merge语句中为每10000行插入/更新操作(比如批量提交)设置提交频率。

浏览 19提问于2010-02-16得票数 1

1回答

ActiveRecord:：StatementInvalid: Mysql2:：Error:关闭MySQL连接

mysql、ruby-on-rails、delayed-job

我试图在MySQL中批量插入500万条记录，但得到了ActiveRecord::StatementInvalid: Mysql2::Error: closed MySQL connection错误。我正在使用延迟的作业来批量插入500万条记录到数据库中。出于测试目的，我点击了5个HTTP请求，每个请求都包含将100万条记录批量插入数据库的请求，因此总共有500万条记录将被插

浏览 1提问于2015-12-07得票数 0

2回答

使用ArangoDB功能良好的ETL工具--它们是什么？

etl、apache-nifi、arangodb

在自由选择中，他们似乎对ArangoDB没有任何了解或支持。如果有人已经处理过将其数据迁移到ArangoDB并自动完成此过程的问题，我很想知道您是如何做到这一点的。下面我列出了几种ETL工具的选择。这些选择实际上是我从2016年星火欧洲演讲中得到的。Open Studio* Microsoft SSIS* CloverETL* Pentaho * NiFi

浏览 0提问于2018-03-22得票数 1

回答已采纳

2回答

需要使用实体框架将大量记录插入到数据库中

c#、entity-framework

我有一个应用程序，它利用get服务来获取数据的基础上，并需要将记录插入到Sql Server数据库。它需要检查表中是否存在唯一键，如果存在，则更新记录，如果不存在，则插入记录。我需要一个解决方案，如合并在oracle数据库中，以消除对重复记录的思考，并像批量插入，在EF中一次插入所有数据。我使用了AddRange和SaveChanges，但它在DB中使用了几次插入

浏览 15提问于2019-06-19得票数 2

回答已采纳

1回答

复制时大容量插入到MySQL中

python、mysql、sql、mysql-python

我在MySQL和Python MySQLdb库中有一个问题：假设我想在DB中插入一个块。当我插入时，批量中的记录之间可能存在重复，或者批量中的记录可能与表中的记录重复。在重复的情况下，我想忽略重复，只插入块的其余部分。在批量中出现重复的情况下，我希望只插入其中一条记录(它们中的任何一条)，并插入</e

浏览 1提问于2014-05-13得票数 1

点击加载更多

使用Apache将批量记录从Db2插入到Cassandra