我是Nifi的新手，想要一些指导。我们想要将一个大的Json文件分成多个具有指定记录数量的文件。我可以使用SplitJson将一个文件拆分为单独的记录，并将Json路径表达式设置为$..*。我还添加了一个UpdateAttribute处理器，将文件名设置为$
浏览 17提问于2019-11-28得票数 0
回答已采纳
我需要使用apache nifi将基于表名的多个csv文件摄取到它们各自的配置单元表中。源json文件中的table_address数据应该转到配置单元中的table_address，其他表也是如此。简而言之，需要将源json文件中的记录分离到多个tablename.csv格式的csv
浏览 6提问于2019-04-10得票数 0
任何人都可以帮助我消耗连续数据中的数据，这些数据正在被流式传输。在snowflake连接器中应该为主题提供什么？
因为我能够使用所需的主题名称通过单个表数据填充数据。但我有捕获连续数据流到表中的要求。
浏览 0提问于2021-10-07得票数 5
2回答
我有一个包含数百万条记录的大型数据表。我需要将其导出为多个特定大小的CSV文件。例如，我选择5MB的文件大小，当我说导出时，Datatable将导出为4个CSV文件，每个文件的大小为5MB，最后一个文件的大小可能会因其余记录而异。我在这里通过了许多解决方案，也查看了csvhelper库，但所有处理大文件
浏览 12提问于2017-01-15得票数 0
回答已采纳
在输入时，我有一个CSV文件，其中包含一个格式为yyyy-MM-dd HH:mm:ss.SSS的时间戳列。当有像2016-10-08 07:51:00.000这样的字段值的记录通过时，我在NiFi日志中得到一个异常：
浏览 143提问于2018-10-19得票数 1
回答已采纳
在Hadoop中，是否有一个输入类可以根据树形结构处理多个大型XML文件？我有一组具有相同模式的XML文件，但我需要将它们拆分成数据部分，而不是将这些部分拆分。例如，XML文件将为： <parent> data </parent> <parent> even mo
浏览 0提问于2010-03-04得票数 5
回答已采纳
1回答
微服务体系结构
、、、
我们有用Java、C#、nodeJS和python编写的多个单独的应用程序。所有这些应用程序都有一个共同的属性--它们使用REST根据每个客户的计划从某个源提取数据，并将其存储在CSV文件中，然后使用存储的过程将数据从CSV文件导入到不同的SQL数据库。我正在考虑通过编写一个多租户、单个应用程序来替换这些多个单独的应用程序，该应用程序可以处理来自不同来源的数据。所
浏览 4提问于2017-07-20得票数 0
回答已采纳
Marklogic版本:9.0-6.2mlcp版本: 9.0.6#!output_collections testcol \-transform_module /ext/ingesttransform.sjs
该代码使用一个小文件成功运行，但在使用大文件(450 MB)运行时出现'java堆空间‘错误。
浏览 0提问于2019-02-13得票数 1
回答已采纳
我使用以下代码将日志添加到ValidateRecord处理器的conf/logback.xml中： </encoder>
<logger name="or
浏览 1提问于2020-02-02得票数 1
我使用了下面的脚本来创建多个流文件，它运行得很好。但是相同的代码不适用于传输一个流文件。在下面的代码中，基于我想要的if代码，脚本要么将流传输到下一个处理器，要么直接记录信息并删除该流文件。GroovyScriptEngineImpl.eval(GroovyScriptEngineImpl.java:321)与我用于生成一个具有多个输出的</
浏览 0提问于2019-10-06得票数 0
我在一个项目中工作，我们需要解析一个大小大于2 2GB的文件，并将数据加载到DB中。我计划使用Camel拆分器将文件拆分成50个不同的文件，然后使用Apache camel处理每个文件。我的问题是：
如果在处理其中一个文件时，camel路由失败，那么我如何停止camel路由并使用文件名在DB中对其进行审计。可能会发生这样的情况:一些记录被处理并上
浏览 4提问于2014-12-05得票数 0
我曾见过许多类似的问题，但诺伊肯回答了我的特别问题：
我希望有自己的基于JSON的数据库，类似于MongoDB和firebase拥有BSON数据库的方式，我认为最简单的方法就是:将一些JSON数据存储在一个文件中，在node.js应用程序启动时加载文件(在node.js服务器的内存中)，每当我搜索某种类型的JSON对象时，只需使用.find (如果它在大数组中sa
浏览 1提问于2019-04-01得票数 4
1回答
我知道单个文件程序集由Manifest + IL + Resources组成。还有一种程序集类型，它将其元素分组在多个文件中，称为多文件程序集。Visual .NET IDE只能用于创建单个文件程序集，但多文件程序集可以使用命令行编译器创建。
什么是多<
浏览 0提问于2012-09-03得票数 1
回答已采纳
我正在创建由FlowFiles处理器发出的下游操作和拆分的ExecuteSql。我已经用数据填充了FlowFiles的属性，我想将这些数据放入每个FlowFile内容中包含的Avro元数据中。我尝试使用配置了UpdateRecord处理器的AvroReader和AvroRecordSetWriter，以及一个带有/canary键的属性，该属性应该在Avro文档中的某个地方为该键写入FlowFile不过，它在输出的任何地方都不会出现。
浏览 1提问于2018-01-29得票数 1
回答已采纳
我在PHP中使用了以下内容：$output返回一个'0‘成功的代码。谢谢。
浏览 0提问于2011-02-25得票数 4
回答已采纳
我有一个SQL数据库，我提取了一些行，将它们转换成Json来提供一个MongoDB。我被转换步骤卡住了。我尝试过这个流程： ? 进程在MergeRecord处理器上停止了，我不知道为什么。其目的是转换这种(简化的) SQL查询结果： ID ROUTE_CODE STATUS SITE_ID SITE_CODE 379620 1801300002 10 219454 014075
379620 1801300002 10 220429
浏览 67提问于2019-03-21得票数 0
回答已采纳
我正在获取一个文件，其中包含具有不同列数的多个输出表的数据。tab2|one|two|threetab3|one|two|three|fourtab1指定表1，它有5列。因此，所有以tab1开头的<
浏览 0提问于2012-01-10得票数 0
回答已采纳
我是hadoop的初学者，阅读hadoop中的小文件问题，现在我有一个问题要解决，帮我开始。问题:结果分组:源结果被分组为1000个文件。需要任务：
组中的文件将以一对一的方式进行比较，文件是遵循特定标准结构(头、content...etc)的二进制细节文件
浏览 4提问于2014-12-26得票数 0
1回答
我目前正在使用Python开发一个更大的Apache管道，该管道从BigQuery读取数据，并最终将其写回另一个BigQuery任务。其中一个转换需要使用二进制程序来转换数据，为此，它需要加载一个具有二进制查找数据的23 it文件。二进制文件的工作流程是：
读取二进制<em
浏览 3提问于2017-07-06得票数 0
回答已采纳
1回答
我有一个csv文件，其字符串字段包含由空格(千分隔符)分隔的数字，例如"1025000“而不是”1025000“。我想删除那些空格，只为数字字段，以便我可以做一个转换为双jolt转换，以获得一个json文件的输出，我正在使用replaceText处理器的apache nifi上使用正则表达式。这是我的csv的一个示例：
Client1;Client2;Client3;price1;price2;price3
浏览 1提问于2018-06-11得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
