如何使用Apache Nifi将数据从HDFS传输到Oracle？
Apache Nifi是一个开源的数据集成工具，它提供了一种可视化的方式来构建数据流管道，从而实现数据的收集、传输、转换和处理。下面是使用Apache Nifi将数据从HDFS传输到Oracle的步骤：
- 安装和配置Apache Nifi：首先，你需要下载并安装Apache Nifi。安装完成后，你需要配置Nifi的运行环境，包括设置端口号、访问权限等。
- 创建数据流程：打开Nifi的Web界面，你可以看到一个空白的工作区。在工作区中，你可以创建一个数据流程来定义数据的传输和处理逻辑。
- 添加HDFS输入源：在数据流程中，你需要添加一个HDFS输入源来读取数据。选择合适的HDFS输入处理器，并配置相关参数，如HDFS路径、文件格式等。
- 添加Oracle输出目标：在数据流程中，你需要添加一个Oracle输出目标来写入数据。选择合适的Oracle输出处理器，并配置相关参数，如数据库连接信息、表名等。
- 连接处理器：将HDFS输入处理器和Oracle输出处理器连接起来，形成数据流的传输路径。你可以使用Nifi提供的拖拽功能来连接处理器。
- 配置数据转换和处理：如果需要对数据进行转换和处理，你可以在数据流程中添加相应的处理器，并配置相关参数。例如，你可以使用Nifi提供的数据转换处理器来进行数据格式转换、字段映射等操作。
- 启动数据流程：完成数据流程的配置后，你可以启动数据流程，Nifi将开始从HDFS读取数据，并将数据写入Oracle数据库。
总结： Apache Nifi是一个强大的数据集成工具，可以帮助你实现数据从HDFS到Oracle的传输。通过可视化的方式构建数据流程，你可以方便地配置和管理数据的传输和处理逻辑。同时，Nifi还提供了丰富的处理器和功能，可以满足各种数据集成和处理的需求。
推荐的腾讯云相关产品：腾讯云数据集成服务（Data Integration），它提供了一站式的数据集成解决方案，包括数据同步、数据传输、数据转换等功能。你可以通过腾讯云数据集成服务来实现数据从HDFS到Oracle的传输。了解更多信息，请访问腾讯云数据集成服务官方网站：https://cloud.tencent.com/product/di
相关·内容
我想使用apache nifi将数据从oracle传输到MongoDB。Oracle总共有900万条记录。我已经使用QueryDatabaseTable和PutMongoRecord处理器创建了nifi flow。此流程运行良好，但存在一些性能问题。
在启动nifi流之后，SplitJson -> PutMongoRecord队列中的记录不断增加。有没有办法降低SplitJson处理器放入队列中的记录的速度？
或
提高PutMongoRecord中的插入率？
现在，在30分钟内插入了100k条记录，如何加快这个过程？
浏览 8提问于2020-06-29得票数 0
对于源为HDFS、目标为Oracle DB的ETL进程，使用Apache NIFI的效率如何。与其他ETL工具相比，Apache NIFI的局限性是什么？
浏览 2提问于2017-08-20得票数 5
1回答
我正在寻找一个可靠的数据传输方法之间的不同的Nifi集群。我有两个Nifi集群-一个从源获取数据，另一个用于将数据推送到Hive/HDFS中。
我需要将数据从第一个nifi集群传输到另一个nifi集群。nifi中是否有任何组件可用于此操作？
Nifi集群1 GetFile ->发布到端口
从端口读取的Nifi集群2->发布到HDFS
谢谢
浏览 4提问于2017-10-12得票数 0
回答已采纳
我们使用Nifi在HDFS中摄取数据。是否可以同时在Oracle或任何其他使用NIFI的数据库中摄取相同的数据？ 我需要在两个地方发布相同的数据(HDFS和Oracle数据库)，而不想写两个订阅程序。
浏览 18提问于2019-02-26得票数 0
回答已采纳
我们正在探索Apache NiFi，将其作为满足企业需求的通用数据摄取工具。 一个典型的数据摄取需求是将数据从RDBMS系统移动到HDFS。 我能够使用NiFi提供的GenerateTableFetch和ExecuteSQL处理器在NiFi中构建从关系型数据库到HDFS的数据移动流，对于较小的表，一切工作正常。 ? 但是，我无法测试更大的表的流，因为我使用的是独立的发行版。 有没有人针对类似的需求做过NiFi和SQOOP的性能比较？
浏览 25提问于2019-05-14得票数 3
我知道我可以使用spark从nifi读取数据，并以parquet格式写入hdfs，但是有没有办法直接从apache-nifi以?.Please格式写入HDFS？
感谢普拉迪普
浏览 3提问于2016-05-11得票数 1
嗨，我正在参加HADOOP的培训。我有一个任务，其中我必须使用sqoop将表数据从oracle(windows，11g xe)导入到hdfs。我正在读下面这篇文章。我的问题是，如何准确地将数据从windows导入到hdfs。正常情况下，我使用Winscp将文件从Windows传输到hdfs机器。我已经从安装在hdfs(cdh3)机器上的MySql导入了数据。但我不知道如何将数据从windows中的Oracle导入到hdfs。请帮帮忙。
浏览 3提问于2016-04-11得票数 1
是否有人使用Apache将数据从HDFS移动到RDBMS系统，类似于NiFi？ 如果是，表现如何？
浏览 17提问于2019-05-14得票数 0
我想使用getFileSytem()来拉入任何比我们拥有的时间戳更新的文件，但我不能导入它(我的意思是getFileSytem())我有以下代码：
final FileSystem hdfs = getFileSystem();
final boolean recursive = context.getProperty(RECURSE_SUBDIRS).asBoolean();
final Set<FileStatus> statuses;
try {
final Path rootPath = new Path(directory);
statuses = ge
浏览 2提问于2017-11-01得票数 1
1回答
他们有没有apache Nifi的API，在那里我可以像API一样重用数据流...
例如:从本地到HDFS (数据流)的数据融合，我需要使用它作为标准API吗？它们在Apache nifi中有任何可能性吗)
浏览 0提问于2017-04-10得票数 0
我的本地windows机器上有一个文件中的数据。本地机器上运行着Apache NiFi。我想使用NiFi通过网络将这个文件发送到HDFS。如何在本地计算机上在中配置putHDFS处理器，以便通过网络将数据发送给HDFS
谢谢!
浏览 3提问于2016-08-11得票数 3
回答已采纳
1回答
我是Apache工具的新手。我正在尝试从mongo导入数据并将这些数据放入HDFS中。我已经创建了两个处理器，一个用于MongoDB，另一个用于HDFS，我正确地配置了它们。作业正在成功运行，并将数据存储到HDFS中，但作业在成功时应自动终止。但事实并非如此，而且在HDFS中创建了太多的文件。我想知道如何使按需工作在NIFI和如何确定一个工作是成功的。
浏览 0提问于2018-03-16得票数 0
回答已采纳
2回答
我使用NiFi从Oracle数据库中获取数据，并将其中的一些数据放入Kafka (使用PutKafka处理器)。示例:如果属性"id“包含"aaabb”
这在Apache NiFi中是可能的吗？我该怎么做呢？
浏览 2提问于2016-05-04得票数 5
回答已采纳
2回答
我正在尝试使用Nifi从Oracle插入一个表到HDFS。Oracle中的源表有一个名为timestamp(6)的sd_timestamp数据类型字段。Nifi有以下处理器：
QueryDatabase:这是对OracleDatabase的查询。
CovertAVROSchema:这个有输入和输出模式。输入和输出模式都将sd_timestamp数据类型作为字符串。
ConvertAvroToOrc
PutHDFS:在Hive中创建的表也有sd_timestamp的数据类型为string。当摄入完成并从目标单元表中执行select *时，我将oracle.sql.timestam
浏览 0提问于2018-05-09得票数 0
查找有关如何使用Apache从hdfs集群读取拼板文件的建议。在集群中，有多个文件存在于单个目录下，想要在一个流程中全部读取。Nifi是否提供了一个内置组件来读取HDFS目录中的文件(本例中为parquet)？
示例-目录中的3个文件-
hdfs://app/data/customer/file1.parquet
hdfs://app/data/customer/file2.parquet
hdfs://app/data/customer/file3.parquet
谢谢!
浏览 0提问于2018-11-09得票数 0
回答已采纳
2回答
我的进程时不时地创建大量的文件，我想将文件从我的本地目录传输到HDFS中的某个位置，而不是使用NiFi，有没有可能在java中开发这个流。如果是，请用Java提供一些参考代码来引导我。
请帮帮我!
浏览 0提问于2017-11-06得票数 1
1回答
在尝试使用storm HDFS spout时，我让Apache Nifi将文件移动到HDFS目录，风暴正在监听该目录，但一旦apache nifi开始移动该文件，storm就会感知到该文件并开始处理，注意到该文件尚未完全移动。
我尝试使用conf.put(Configs.IGNORE_SUFFIX, ignoreSuffix)和apache nifi updateAttribute将文件重命名为.ignore我需要在完全移动之后再重命名该文件，如何实现？还是有别的办法？
浏览 0提问于2018-09-17得票数 0
回答已采纳
我们正在尝试从Apache NiFi连接到Oracle12c数据库。但它根本不起作用:我们得到以下错误：
bdc2314a-669e-1e85-875c-73b035db9ba5
ExecuteSQL[id=bdc2314a-669e-1e85-875c-73b035db9ba5] Unable to execute SQL select query select * from ETSETTRA.APB where rownum < 10 due to java.sql.SQLException: Cannot create JDBC driver of class 'oracl
浏览 63提问于2019-08-15得票数 0
我需要将一堆json文件流式传输到Nifi，然后Nifi再转到HDFS。Nifi需要查看json文件中的创建日期(UNIX格式)，然后将其路由到适当的HDFS文件夹。到目前为止，我的处理器设置如下： 消费Kafka -> RouteOnContent (使用正则表达式^"creationDate"：\"0-9{4}-0-9{2}-0-9{2}$) -> PutHDFS 每天都有一个HDFS文件夹，比如"2019-01-28"，"2019-01-29"，"2019-01-30“等等。然而，"PutHDFS”处理
浏览 15提问于2019-01-29得票数 0
我下载了Talend Open Studio v5.6大数据版本和Hortonworks Sandbox 2.1和Cloudera Quickstart VM 5.2，并且能够通过它们的Hue接口与HDP和CDH交互并将数据上传到CDH。但是，当我试图使用Talend组件从Oracle RDBMS将数据传输到HDFS时，我会陷入下面列出的不同阶段。
我使用VM管理器作为Oracle Virtual，并且只能使用NAT作为网络配置，因为出于安全原因，在我的组织中不允许进行其他配置。
表1:使用tSqoop/tHDFS组件将数据传输到HDFS{Hortonworks Sandbox 2.1}
我正
浏览 2提问于2014-12-13得票数 0
我正在尝试将数据从带有12+的( NiFi )迁移到HDFS。处理器"QueryDatabaseTable“和"ExecuteSQL”似乎无法处理几何数据类型(SDO_GEOMETRY)。
我得到了错误"Unkown SQL Type 2002，无法转换为avro类型“
或者使用"sdo_util.to_wktgeometry()“函数将数据类型转换为长字符串时，似乎不可能重新处理。对于第一个处理器和第二个处理器，给出了错误："SDO_UTIL.TO_WKTGEOMETRY()非法字符“
有没有人知道如何通过12+( NiFi )从Oracle迁移几何学
浏览 0提问于2018-10-04得票数 1
回答已采纳
我一直在阅读关于NiFi的文章，很少有疑问。考虑一个用例，其中我希望将数据从本地迁移到HDFS中。我将使用getFile和putHDFS处理器。
因此，当我将location传递给getFile时，它将获取数据并转移到内容存储库中，而且它将传递给putHDFS处理器进行摄取。
问题：
我见过流文件内容是字节表示，字节转换是由Nifi完成的吗?(如果我的源文件是文本文件)？
如何将数据从内容回购移到HDFS？
浏览 7提问于2016-09-11得票数 0
回答已采纳
2回答
我正在尝试连接到Oracle Cloud上的Oracle数据库，这需要使用SSL wallet + TNS名称。我已经在docker中设置了Nifi，但是我无法连接到数据库。我已经使用SSL钱包测试了与数据库的连接，并且能够从主机连接，但不能从Nifi连接。 我遵循了https://docs.oracle.com/en/cloud/paas/autonomous-database/adbsa/connect-jdbc-thin-wallet.html的指导 Nifi中DB连接池的设置如下所示： Nifi DBCP settings 但是，我得到的错误是它无法解析TNS名称。Error Mes
浏览 49提问于2021-01-14得票数 1
回答已采纳
1回答
场景
来自windows的名为test_csv.csv的CSV数据。摄取CSV数据到hdfs。节拍> (ListenBeats) NiFi (PutHDFS) > HDFS
数据样本：
a,b,c,d,e
a1,b1,c1,d1,e1
a2,b2,c2,d2,e2
a3,b3,c3,d3,e3
a4,b4,c4,d4,e4
a5,b5,c5,d5,e5
a6,b6,c6,d6,e6
a7,b7,c7,d7,e7
a8,b8,c8,d8,e8
根据Nifi的Flow UI，它工作得很好，并成功地写入了hdfs。问题是
hadoop@ambari:~$ hdfs dfs -ls /us
浏览 2提问于2020-07-06得票数 0
回答已采纳
我计划使用Apache作为数据摄取用例。源可以是平面文件和Teradata数据库，输出接收器可以是Oracle数据库。我创建了几个流，使用GetFile和Teradata使用ExecuteSQL从平面文件中读取数据，并使用PutSQL将数据加载到Oracle数据库。一切似乎都很顺利。我们预测源系统将来可能会发生变化，我注意到Nifi中的处理器可以用来支持这些源。
现在，我的问题是，是否可以在一个Nifi流中从Teradata读取多个表并将数据加载到oracle数据库中的多个表中？我已经为每一张表建立了单独的流程，它似乎运行得很好。
浏览 4提问于2017-03-02得票数 2
回答已采纳
我想通过使用ConvertJSONtoSQL处理器将JSON字符串转换为SQL语句。示例: JSON字符串-
{"cpuwait":"0.0","servernamee":"mywindows","cpusys":"5.3","cpuidle":"77.6","datee":"29-SEP-2016","timee":"00:01:33","cpucpuno":"CPU01"
浏览 3提问于2016-10-27得票数 7
我尝试使用一个非常简单的SQL查询来检索Oracle数据库中两个表的连接内容：
SELECT OWNER.CONTENT.ID, OWNER.CONTENT.TITLE, OWNER.BODYCONTENT.BODY
FROM OWNER.CONTENT, OWNER.BODYCONTENT
WHERE OWNER.CONTENT.ID = OWNER.BODYCONTENT.ID
AND OWNER.CONTENT.ID < 7
查询使用Oracle SQL Developer运行。
我在NiFi中使用ojdbc7.jar驱动程序。不包含联接的更简单的SQL查询使用"Exec
浏览 5提问于2016-05-03得票数 2
回答已采纳
我正在使用ExecuteSQL在NiFi上运行一个对Oracle12c的简单查询：
从DUAL；中选择1
配置- DBCPConnectionPool 1.11.4：
并得到以下错误：
org.apache.nifi.processor.exception.ProcessException: java.sql.SQLException: Cannot create PoolableConnectionFactory (ORA-00933: SQL command not properly ended
)
at org.apache.nifi.dbcp.DBCPConnectionP
浏览 7提问于2020-11-27得票数 2
回答已采纳
是否可以使用flume将Oracle 11g数据库数据传输到HDFS？我知道flume是为日志而做的，Sqoop应该用来从数据库传输数据。但是有没有办法用flume代替Sqoop呢？如果我想使用这种架构，我应该怎么做？
浏览 1提问于2016-04-25得票数 2
我有一个将数据从oracle传输到hdfs的任务。我需要一种有效的方法来验证此传输，以确保所有行都被正确传输。
浏览 0提问于2018-06-11得票数 0
我使用像下面这样的流文件给putSQL处理器喂食：
insert into test_nifi values ( '1476781027812');
我也尝试使用没有最终结果的版本；结果是一样的。
2016-10-18 10:49:58,858 ERROR [Timer-Driven Process Thread-4] o.apache.nifi.processors.standard.PutSQL PutSQL[id=d3103678-0157-1000-0000-000036cdfdbc] Failed to update database for [StandardFlo
浏览 1提问于2016-10-18得票数 1
回答已采纳
我遇到了一个NiFi写HDFS的问题。我收到一个错误：
ERROR [Timer-Driven Process Thread-10] o.apache.nifi.processors.hadoop.PutHDFS PutHDFS[id=4af43efa-a8ff-18ac-0000-00002377fba5] Failed to properly initialize Processor. If still scheduled to run, NiFi will attempt to initialize and run the Processor again after the &
浏览 0提问于2020-03-01得票数 1
我正在尝试创建一个概念证明，表明公司可以将其数据从其oracle 12c DB迁移到hadoop系统。
为此，我在AWS上启动了一个Oracle Linux 7实例。我计划在上面安装Oracle12c。在此之后，我必须创建虚拟表并将它们发送到Hadoop。
这可以做到吗？从我最初的研究中，我可以看到Sqoop和Oracle GoldenGate可以做到这一点。此外，如果它上线，我将不得不将数十亿条记录从oracle 12c传输到HDFS。
任何帮助或建议都非常感谢..
浏览 22提问于2017-02-28得票数 0
回答已采纳
1回答
我正在寻找一种将整个日志文件从边缘节点流到Hadoop的方法。总结用例：
我们的应用程序生成日志文件，每个文件从几MB到数百MB不等。
我们不希望在所有日志事件发生时对它们进行流。
在日志文件完全写入后将其全部推送是我们正在寻找的内容(例如，编写完=被移动到另一个文件夹.这对我们来说不是问题。
这应该由边缘节点上的某种轻量级代理直接处理到HDFS，或者--如果必要的话--一个中间的“接收器”，然后将数据推送给HDFS。
集中式管道管理(=以集中式方式配置所有边缘节点)将是很棒的
I给出了以下评估：
弹性对数与FileBeats
边缘节点的集中式管道管理是可用
浏览 0提问于2018-06-14得票数 5
我想要将数据从tweeter流式传输到/usr/lib/apache-flume-1.4.0-bin/conf/flume.conf，我使用了以下命令：./bin/flume-ng -n TwitterAgent -c conf -f tweeter
我不能得到我想要的结果。未流式传输任何数据。
谁有一个linus命令，可以将数据从tweeter传输到hdfs？
浏览 1提问于2017-02-03得票数 0
1回答
使用和上的博客文章，当两者位于同一台机器上时，我可以从NiFi流传输到Spark。现在，我试图从一个EC2实例上的NiFi流到同一子网和安全组中的一个EMR集群，但遇到了问题。EMR Core机器报告的特定错误是
Failed to receive data from NiFi
java.net.ConnectException: Connection refused
at sun.nio.ch.Net.connect0(Native Method)
at sun.nio.ch.Net.connect(Net.java:454)
at sun.nio.ch.Net.co
浏览 1提问于2017-01-13得票数 3
回答已采纳
我已经将一个镜像文件作为BLOB存储在oracle数据库中，并使用以下Sqoop命令将该文件传输到HDFS -
sqoop import --connect jdbc:oracle:thin:@hostname --username -password --m 5 --table table_name --target-dir '' --split-by id;
现在，我想在本地系统中查看图像文件。但是将文件从HDFS传输到我的本地系统后，我只能查看一些十六进制代码，而不能查看图像。
我曾尝试使用Java Code将十六进制代码转换为Base64字符串。但没有成功。
文件的示
浏览 1提问于2016-06-07得票数 0
我正在尝试从'Teradata‘读取数据，并将其填充到'Oracle’数据库中。请在我的流程下面找到，
'ExecuteSQL‘-> 'SplitAvro’-> 'ConvertAvroToJSON‘-> 'ConvertJSONToSQL’-> 'PutSQL‘
错误消息:由于org.apache.nifi.processor.exception.ProcessException：，无法为sql.args.7.value更新数据库sql.args.7.value为'2999-12'，无法转换为时间
浏览 8提问于2017-02-21得票数 1
回答已采纳
我有一个用例，我必须将数据从内部CDH集群移动到AWS EMR集群。我正在考虑在AWS NiFi实例上设置EC2，以便将数据从内部集群移动到AWS s3存储。
我在CDH集群上的所有表都以拼花格式存储。
Question#1:我们是否支持NiFi，允许以拼花格式读取表格？？
或
我唯一的选择是直接从hdfs目录读取数据并将其放在s3上，然后在EMR中创建hive表？
Question#2: Nifi如何确定插入到表中的新数据并读取新数据。在我的示例中，所有表都由yyyymm分区。
浏览 0提问于2018-10-24得票数 0
回答已采纳
我正在尝试将一台服务器上的Nifi 1.11.3连接到另一台远程服务器上的Oracle Express Edition 18c。
我正在使用处理器ExecuteSQL。
到目前为止，我已经尝试了以下步骤来解决错误：
services.under 在/lib下添加了ojdbc8.jar文件并重新启动了nifi数据库驱动程序位置设置，我添加了确切的驱动程序名，但错误相同。使用用户名/password@/:1521/servicename检查来自sqlplus到DB的连接，并连接到DB.。
DBCPConnectionPool设置如下：
nifi-app.log如下：
2020-03-12
浏览 4提问于2020-03-12得票数 1
我希望从Oracle数据库中提取一些数据，并将其传输到远程HDFS文件系统。实现这一目标似乎有几种可能的方法：
使用Sqoop。此工具将提取数据，通过网络复制数据并将其直接存储到HDFS中。
使用SQL读取数据并存储在本地文件系统中。完成后，复制(ftp?)Hadoop系统的数据。
我的问题是，第一种方法(对我来说工作较少)会导致Oracle锁定表的时间超过所需时间吗？
我担心的是，当Sqoop开始查询数据时，Sqoop可能会取出数据库上的锁，并且在将所有数据复制到HDFS之前不会释放这个锁。由于我将提取大量数据并将其复制到一个远程位置(因此会有很大的网络延迟)，所以锁将比所需
浏览 7提问于2016-02-16得票数 2
1回答
我需要知道如何实现通过Hadoop实时分析流量流的解决方案。
输入文件类型为.txt
我建议采取这样的步骤：
使用talend将平面文件传输到HDFS ( flume比talend更好吗？)
将数据从HDFS传输到Hive (但如何传输)
分析通径R
平面文件--> HDFS --> Hive --> R
非常感谢
苏菲安
浏览 2提问于2014-01-27得票数 0
回答已采纳
我创建了一个简单的NiFi管道，它从一个卡夫卡主题(使用ConsumeKafka)读取数据流，并将其写入HDFS (使用PutHDFS)。目前，我看到很多在HDFS上创建的小文件。新文件大约每秒钟创建一次，有些只有一两条记录。
我希望更少、更大的文件被写入HDFS。
我在ConsumeKafka中有以下设置
Message Demarcator = <new line>
Max Poll Records = 10000
Max Uncommitted Time = 20s
在过去，我使用的是Flume，而不是Nifi，它有batchSize和batchDurationMillis，
浏览 3提问于2017-10-16得票数 0
回答已采纳
我测试了Apache Flume将文件从本地传输到HDFS。但是，如果源文件来自多个服务器(从不同服务器的本地文件传输到HDFS)，我是否可以只运行一个Flume实例并将更多代理添加到flume-conf.properties中？
如果可以，如何在flume-conf.properties中编辑以下参数：
agent1.sources.spooldirSource1.spoolDir = ?(server1/path)
agent2.sources.spooldirSource2.spoolDir = ?(server2/path)
还有，我怎样才能运行flume？
./flume-ng ag
浏览 2提问于2013-10-08得票数 1
我正在尝试从nifi创建一个DbcpController服务。我也得到了适当的响应，但是当我进入UI时，控制器服务是不可见的。
curl -i -X POST -H 'Content-Type:application/json'
-d '{"revision":{"clientId":"a09f2359-0165-1000-bf28-1dca98f6e259","version":0},
"permissions":{"canRead":true,"canWrite
浏览 0提问于2018-09-03得票数 2
回答已采纳
在使用Avro数据/模式创建Hive外部表时，我遇到了问题：
采取的步骤如下：
从MySQL - HDFS导入数据作为AVRO。
将.avsc文件从本地传输到HDFS，打开该文件，模式就像预期的那样良好。
作为SQOOP导入的结果，HDFS中已经验证了数据。
现在创建了一个外部表，将模式指向步骤2，数据位置指向步骤# 3。
Hive命令行声明创建的OK表。ShotTables显示表，并验证从色调标注的文件位置是正确的。
当从HIVE命令行查询表时，会得到一个错误：
java.io.IOException:java.io.IOException:不是数据文件。
h
浏览 0提问于2016-09-11得票数 1
我使用NiFi将Oracle11g数据库表转换为HDFS (Avro )。
AVRO列的键入出现了问题:它们都被定义为String，即使Oracle tablecolumn是另一种类型，如数值，日期时间戳。显然，这是令人讨厌的：)
在进行了一些googling搜索之后，我发现在某些Oracle JDBC驱动程序和转换到Avro的组合中存在问题。但是，我找不到合适的解决方案；有人知道什么JDBC (或其他JDBC)吗？要使用驱动程序才能在Avro输出中进行正确的输入？
浏览 6提问于2017-01-23得票数 2
回答已采纳
我在Nifi中收到了一个工作流，它将日志从IBM-MQ转换为JSON格式，并将信息放入Oracle数据库。每个日志行都是使用ExtractGrok解析的，在给我提供工作流的人执行的原始解析中，获得的格式如下：‘yyyy-MM-ddh.mm.ss’，而实际上解析忽略了其他字符(可能是时间戳格式)。PutSQL处理器得到了标题中的错误(APACHE NIFI error message:'dd/MM/yyyy hh:mm:ss'，它不能转换成时间戳)，不管我如何解析时间部分，我已经用JOLT以各种方式做到了这一点(图片包含3个例子)。我如何让Nifi放入Oracle中的时间字段?
浏览 69提问于2020-08-06得票数 1
回答已采纳
我正在尝试使用Confluent InfluxDB Sink Connector将来自kafka主题的数据放入我的InfluxDB中。 首先，我使用nifi将日志文件中的数据传输到kafka topic，效果良好。kafka主题获取数据，如下所示： {
"topic": "testDB5",
"key": null,
"value": {
"timestamp": "2019-03-20 01:24:29,461",
"measureme
浏览 37提问于2019-03-19得票数 0
回答已采纳
数据需要定期加载(比如一天一次)，并且应该以SQL格式存储，以便API可以运行SQL查询。我们正在考虑从HDFS加载它。目前，我们正在考虑通过PutIgniteCache来使用Apache Nifi。
我在想，也许我可以启动一个远程Ignite客户端节点，然后使用IgniteDataStreamer来流式传输数据，但我找不到合适的文档来这样做。有没有更好的方法呢？
浏览 2提问于2019-02-28得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
