如何在Apache nifi中配置convertrecord processor，以便将JSON转换为AVRO格式

文章/答案/技术大牛

发布

1回答

apache-nifi、dataflow

我不知道如何将这个处理器配置为将传入的JSON twitter数据转换为Avro，以便将该数据放入配置单元表中提前谢谢你。

浏览 9提问于2020-05-31得票数 0

回答已采纳

1回答

Nifi ConvertAvroToORC处理器不能转换包含浮点数和浮点数数组的avro文件。

avro、apache-nifi、orc

GetFile --只要得到上面可以看到的json。ConvertRecord --只需将JsonTreeReader收到的json转换为AvroRecordSetWriter的avro即可。在将avro转换为orc的步骤中，抛出异常： 2018-10-17 13:51:56,809 ERROR [Timer-Driven Process Thread-8] o.a.n.processors.hive.ConvertAvroToORC

浏览 2提问于2018-12-01得票数 1

回答已采纳

1回答

基于NiFi的数据库提取

apache-nifi、data-extraction

我想从我的SQL数据库中名为customers的表“nifitest”中提取所有记录。我正在为你的帮手附加模板。我面临以下问题:一旦我运行了'QueryDatabaseTable‘处理器，我就会得到队列中的流文件，但是当我清空队列并尝试重新运行'QueryDatabaseTable’处理器时，我无法获取队列中的记录我已使用以下网站的模板来实现这一目标，并根据我的要求更改了我的表名和数据库连接池服务：此外，在合并之后，我将文件作为文件类型。为了将合并的文件存储为CSV文件类型(所有将

浏览 1提问于2018-09-26得票数 1

回答已采纳

1回答

在NiFi中使用ConvertRecord将同名子元素不同类型的JSON转换为XML时，会丢失一些行

json、apache-nifi

我想使用NiFi中的ConvertRecord处理器将下面的扁平json转换为xml。具有组件"Stream“的架构，其中包含具有3个项目的部分。我的问题是，在结果中，最后一个"A"："Description"："TYPE Q"，"Amount"："12“中丢失了2行。流文件只包含一个GenerateFlowFile和一个ConvertRecor

浏览 84提问于2021-04-26得票数 0

回答已采纳

1回答

在NIFI中检索xml文件中的值

xml、apache-nifi

我正在尝试从xml文件中获取Ids。然后使用每个Id进行另一次搜索。

浏览 46提问于2021-01-07得票数 0

1回答

如何在NiFi* ValidateRecord processor / JsonRecordSetWriter中将时间戳序列化为Json字段*

jackson、avro、apache-nifi

如何在NiFi ValidateRecord processor / JsonRecordSetWriter中将时间戳序列化为Json字段。(WriteJsonResult.java:267) at org.apache.nifi.json</em

浏览 143提问于2018-10-19得票数 1

回答已采纳

1回答

JSON到AVRO在KSQL中的反序列化错误:由于反序列化错误而跳过记录

avro、apache-kafka-connect、ksqldb

来自源的数据格式为JSON。现在在KSQL中，我已经创建了一个派生主题，并将JSON主题转换为AVRO，以便可以使用JDBC连接器将数据转换到MYSQL。', VALUE_FORMAT='JSON');create TABLE avro_stream WITH (VALUE_FORMAT='AVRO') AS select * from

浏览 26提问于2019-07-10得票数 0

1回答

如何根据SQL查询的结果过滤流文件？

apache-nifi

将ExecuteSQL连接到处理器，以便使用路由属性值${executesql.row.count:replaceNull(0):gt(0)}的下列值筛选出不匹配的流文件注意到，在应用ExecuteSQL之后，流文件的原始内容将丢失。在我的例子中，这不是一个问题，因为我在处理流文件内容之前进行了过滤，我的SQL查询完全基于流文件属性，而不是它的内容。虽然在更一般的场景中，当流文件内容被流的传入部分修改时，应该将文件内容保存在某个地方(例如文件系统)，并在筛选部分应用之后恢复它。

浏览 1提问于2018-09-25得票数 3

1回答

如何从nifi中的s3存储桶中读取镶木面板文件？

apache-nifi

我正在尝试从nifi中的s3存储桶中读取镶木面板文件。为了读取文件，我使用了处理器listS3和fetchS3Object，然后使用了ExtractAttribute处理器。这些文件在parquet.gz文件中，我根本无法从它们生成flowfile，我的最终目的是将文件加载到noSql(SnowFlake)中。 FetchParquet与我们不使用的HDFS一起工作。

浏览 32提问于2019-01-31得票数 0

1回答

ksqldb流是否要求两个模式具有相同数量的字段？

apache-kafka、ksqldb

TL/DR:我在Kafka中有一个Protobuf格式的主题中的数据，我想创建一个流，将protobuf转换为Avro格式的新主题，一旦它转换为avro格式，我将有一个连接器来使用它并将其转储到s3存储桶中现在假设我有一个格式为protobuf的Kafka主题SearchRequest_proto，然后我想创建一个格式为avro的名为SearchRequ

浏览 22提问于2020-09-19得票数 0

2回答

使用ArangoDB功能良好的ETL工具--它们是什么？

etl、apache-nifi、arangodb

在自由选择中，他们似乎对ArangoDB没有任何了解或支持。如果有人已经处理过将其数据迁移到ArangoDB并自动完成此过程的问题，我很想知道您是如何做到这一点的。下面我列出了几种ETL工具的选择。这些选择实际上是我从2016年星火欧洲演讲中得到的。Open Studio* Microsoft SSIS* CloverETL* Pentaho * NiFi

浏览 0提问于2018-03-22得票数 1

回答已采纳

2回答

Confluent Kafka SMT:时间戳转换问题

apache-kafka、apache-kafka-connect、confluent-platform

将数据从Oracle中的表加载到Kafka主题中。(使用基于查询的CDC)date列的数据将作为纪元传入。我在连接器配置中包含了时间戳转换步骤，以便将其转换为dd-MM-yyyy hh:mm:ss格式，但无法使其正常工作。下面是我在连接器配置中的配置。我尝试了几种格式的组合，将目标类型更改为字符串，但我仍然看

浏览 1提问于2020-06-08得票数 1

1回答

如何使用avro模式从kafka主题向apache注入数据？

apache-kafka、apache-pinot、pinot

我已经开始研究apache，很少有关于apache的模式的查询。我想了解apache如何处理具有AVRO模式的Kafka主题(模式包括嵌套对象、对象数组等)因为我没有找到任何资源或例子，说明我们如何使用带有avro模式的Kafka注入数据。根据我的理解，apache必须为嵌套的Json对象提供平面模式或其他选项，我们可以使用transform函数。有什么卡夫卡连接的皮诺做数据注入吗？Avro模式 "namespace" :

浏览 1提问于2021-05-21得票数 0

2回答

如何将移动队列和数据从Nifi发送到prometheus？

docker、apache-nifi、prometheus

2)警报:我想把数据发送到普罗米修斯，在那里我将阅读和显示在阿尔塔。我不确定选择ReportingTask、创建自定义ReportingTask或要监视的普通NIfi工作流的方法，如本文所示。

浏览 0提问于2019-01-08得票数 1

1回答

用于分布式印象数据收集的架构

node.js、amazon-web-services、apache-spark、avro、amazon-kinesis

我正在试图弄清楚如何最好地收集和分发广告印象的日志数据，以便我以后可以分析这些数据。我们决定以Apache Avro格式存储数据，我们将使用Apache Spark来处理数据。目前我有一个Kinesis Firehose流设置，我使用AWS-SDK for Node.js发送每个印象的Avro数据，然后最终存储在S3中。这个问题Kinesis会将我发送给它的每个批处理的所有文件连接起来--因此，如果我将它配置为每300秒写入一次，那么它会将所有S3文

浏览 0提问于2015-11-27得票数 1

3回答

PutSQL日期格式错误不能将日期值转换为时间戳

apache-nifi

我使用apache使用自定义SQL脚本查询，并将结果存储在Oracle数据库中。我在nifi中使用的数据流如下： ConvertJsonToSQL (这里没有什么特别的，只是为了将J

浏览 6提问于2019-12-12得票数 0

1回答

如何正确使用NiFi* ExtractGrok*

logstash、apache-nifi、logstash-grok

我使用的是: NiFi v1.8.0和Logstash v7.1.1这是我能找到的唯一示例：

浏览 0提问于2019-12-12得票数 0

2回答

Flink DataStream[String] kafkaconsumer转换为Avro* for Sink*

apache-flink、flink-streaming

forBulkFormat(outputBasePath, AvroWriters.forGenericRecord(schema))input.addSink(sink) 问题：如何在下沉前将DataStreamString转换成DataStreamGenericRecord以便我可以编写DataStreamString文件？将字符串流转换为一般数据流时出现异常。org.apache.avro.file.DataFileWriter$Ap

浏览 16提问于2020-07-24得票数 0

7回答

配置单元查询结果的JSON输出格式

hadoop、hive

有没有办法将Hive查询结果转换成JSON格式？

浏览 2提问于2012-04-03得票数 22

回答已采纳

10回答

将Spark结构化流与合流模式注册表集成

apache-spark、apache-kafka、avro、confluent-schema-registry、spark-structured-streaming

我正在使用一个卡夫卡源在星火结构化流接收汇合编码的阿夫罗记录。我打算使用，但与火花结构化流的集成似乎是不可能的。

浏览 0提问于2018-02-20得票数 28

回答已采纳

点击加载更多