在nifi中解析传入的url有什么好方法？
在Nifi中解析传入的URL有多种方法，以下是其中几种常用的方法：
- 使用EvaluateJsonPath处理器：EvaluateJsonPath处理器可以用于解析JSON格式的URL。首先，将传入的URL转换为JSON格式，然后使用EvaluateJsonPath处理器提取所需的字段或参数。该处理器支持使用JsonPath表达式来定位和提取JSON中的数据。
- 使用SplitText和ExtractText处理器：如果传入的URL是文本格式，可以使用SplitText处理器将URL拆分为不同的字段，然后使用ExtractText处理器提取所需的字段或参数。可以使用正则表达式来匹配和提取URL中的特定信息。
- 使用SplitText和UpdateAttribute处理器：类似于方法2，可以使用SplitText处理器将URL拆分为不同的字段，然后使用UpdateAttribute处理器设置属性值。在UpdateAttribute处理器中，可以使用NiFi表达式语言来提取URL中的特定信息，并将其设置为属性值。
- 使用ScriptedRecordReader和ScriptedRecordSetWriter：如果传入的URL是结构化数据（如CSV、XML等），可以使用ScriptedRecordReader和ScriptedRecordSetWriter来自定义解析逻辑。通过编写脚本，可以解析URL并将其转换为NiFi记录（Record），然后可以在后续处理器中对记录进行处理。
这些方法可以根据具体的需求和URL的格式选择使用。在Nifi中，还有其他处理器和技术可以用于解析URL，具体选择取决于数据的格式和处理的需求。
腾讯云相关产品和产品介绍链接地址：
- EvaluateJsonPath处理器：https://cloud.tencent.com/document/product/1270/48334
- SplitText处理器：https://cloud.tencent.com/document/product/1270/48335
- ExtractText处理器：https://cloud.tencent.com/document/product/1270/48336
- UpdateAttribute处理器：https://cloud.tencent.com/document/product/1270/48337
- ScriptedRecordReader和ScriptedRecordSetWriter：https://cloud.tencent.com/document/product/1270/48338
相关·内容
2回答
无法在Apache-NiFi中提取Json数据。
apache-nifi
我编写了下面的POST命令，并使用"HandleHttpRequest“处理器在Apache NiFi中接收POST请求
curl -v -H "Accept: application/json" -H "Content-type: application/json" -X POST -d '{"employeeDetails":{"empid":"124","empname": "praveen"}}' http://localhost:7002
我能够在&
浏览 0提问于2019-11-08得票数 0
2回答
Apache NiFi求值JSONPath处理器:用于连接2个属性的JSONPath表达式
apache-nifi、json-path-expression
我在NiFi中使用EvaluateJsonPath处理器来指定一个组合主键，以便将我的JSON数据写入到elasticsearch中。我必须通过连接两个属性来创建一个名为'key‘的属性，比如'attr1’和'attr2‘。在EvaluateJsonPath配置中，我添加了一个属性' key‘，值为'${attr1}${attr2}’(我使用这个键是为了避免elasticsearch中的冗余)。但我收到如下错误:由于指定的表达式${attr1}${attr2}无效，'key‘无效。
使用EvaluateJsonPath处理器在json记录中连接两
浏览 0提问于2018-08-13得票数 2
回答已采纳
2回答
如何提高CSV数据在SQL Server中的处理速度？
json、csv、apache-nifi
我使用了Nifi-0.6.1与GetFile+SplitText+ReplaceText处理器的组合来拆分具有30 to (30万行)的csv数据。
GetFile能够非常快地将30 is传递给SplitText。
在SpliText +替换文本中，将数据拆分为Json需要花费25分钟。
只有30 mb的数据需要25分钟才能将csv存储到Server中。它逐字节执行转换。
我在处理器中尝试过并发任务选项。它可以加速，但也需要更多的时间。当时它的cpu使用率达到了100%。
如何更快地在Server中执行csv数据？
浏览 9提问于2016-10-14得票数 1
回答已采纳
1回答
NiFi:为ExecuteScript处理器编写代码以组合多个条目
groovy、apache-nifi
我有一个NiFi流(可以工作)，它根据公司名称将一个庞大的电子表格分割成单独的csv。
例如。
GetFile -> SplitText -> PartitionRecord -> MergeContent ->
UpdateAttribute -> PutFile
举个例子，
csv的问题是这样的，同一家公司的输入略有不同：
我知道我需要在这里安装一个ExecuteScript处理器。我需要将所有这样的复制合并到一个文件中，而不需要梳理几千行就可以挑选出以多种方式输入的每一家公司。
我认为使用Groovy可以很容易地做到这一点：
flowFi
浏览 1提问于2018-10-09得票数 0
回答已采纳
1回答
Nifi HandleHttpResponse八进制流到JSON内容类型
apache-nifi
我使用的是nifi 1.11.4，我使用HandleHttpRequest、ReplaceText和HandleHttpResponse来模拟API请求和响应。但是，在v1.9.2和1.11.4之间，它们已经从HandleHttpResponse中删除了HandleHttpResponse属性，因此响应在media type=application/octet-stream中。将其转换为JSON的最简单方法是什么，因为我希望我的应用程序从这个API中使用JSON？Nifi流附：
浏览 5提问于2020-06-12得票数 1
回答已采纳
1回答
NIFI:将每月从SQL查询转储到SFTP服务器的转储作为CSV文件
apache-nifi
在这种情况下，我希望使用SQL查询将数据作为每月的CSV存储到SFTP服务器中。
例如，我的查询是：
select fooId, bar from FooBar
where query_date>=20180101 and query_date<20180201 --(for the month of January 2018)
我想把它作为20180101_FooBar.csv存储到我的SFTP服务器上。类似地，其他月份的其他文件遵循相同的进程，具有不同的query_date间隔。
要做的重要考虑：I have to store the *fooId* as MD5 H
浏览 1提问于2018-10-12得票数 0
回答已采纳
1回答
Apache NiFi只从GetFile提取文件名
apache-nifi
下面是一个简单的NiFi流，它监视文件的文件夹并复制到另一个文件夹。它工作正常，但我正在寻找一个处理器，它只提取文件名并将文件名写入文本文件中。
我尝试过ExtractText处理器，但不知道如何将它配置为只读取文件名。任何建议都是非常感谢的。
浏览 0提问于2018-08-01得票数 3
回答已采纳
1回答
将FetchHBaseRow的输出输入/追加到流文件中
apache-nifi
我有一个csv文件，有10个字段。我需要查找hbase以获得对应于csv字段之一的值。生成的hbase字段应该附加到csv文件中。使用Nifi，我构建了以下流程。
GenerateFlowFile (创建CSV记录)->UpdateRecord(配置avro模式名称以读取传入csv文件)-> ConvertRecord (配置csv阅读器和JSON编写器)-> SplitJSON ->EvaluateJSONPath(获取用于hbase查找的行键)-> FetchHBaseRow (将输出作为流文件属性)
现在的挑战是读取属性'hbase.row‘
浏览 0提问于2018-10-10得票数 0
3回答
将流文件属性/内容读入处理器属性
apache-nifi、flowfile
我想根据上一个流文件的内容来设置处理器的属性。
示例:我使用处理器GenerateFlowFile实例化流文件，并在创建flowFile期间使用自定义文本${now()}作为当前时间戳。
我希望有一个处理器(与我无关)将流文件(时间戳)的内容读取到处理器的自定义属性property_name。之后，我希望能够通过REST查询处理器，并从处理器中读取该属性。
最初，我认为我可以使用ExtractText处理器来完成这个任务，但它基于regex提取文本并将其写回流文件，而我希望将这些信息保存在处理器中，直到下一个流文件到达。
浏览 4提问于2021-04-14得票数 0
回答已采纳
1回答
nifi Json数据使用routeonattributeto筛选属性值或属性值
apache-nifi、cloudera、hortonworks-data-platform、data-ingestion、hortonworks-sam
我目前正在使用Nifi来读取tealium事件流并加载到HDFS中。需要帮助过滤数据时，源错过发送数据的属性。
{“帐户”：“NewTV”，“twitter:description”：“发现您最喜欢的NewTV显示和主机何时显示。"，“"og:url":"www.newtv.com/show/program-guide"}}，：post_time”：“2019-10-09 11:27:46"，”用户代理“：”Mozilla/5.0“(Windows 10.0；Win64；( x64) AppleWebKit/537.36 (event_id，类似
浏览 1提问于2019-10-15得票数 1
回答已采纳
1回答
Apache : JoltJSONTransform更新JSON列表？，真正的问题:处理器过多
json、apache-nifi
首先，感谢您的帮助。
我正在使用Apache，将一个FlowFile中的FlowFiles列表转换为多个JSON，每个JSON都有一个JSON。
然后，我使用JoltJSONTransform来更新属性(filename)上的键(在json中缺失)。
我的问题是这花了我很多时间，因为我正在处理大文件。我的下一个任务是尝试修改JSON列表中的每个元素中的键，然后将其拆分为几个流文件。
我的数据是这样的：
[
{ "number": "1",
"pokemon":"Bulbasaur",
"type":"
浏览 1提问于2020-01-17得票数 0
3回答
NiFi PutFile设置文件名不起作用
apache-nifi
通过Kafka broker获取JSON数据。
数据采用以下格式，图像数据被编码为Base64。(例如){"filename":"test.jpg","filedata":"/9j/4AAQSkZJRgABAQEAYABgA....."}
我想保存我通过卡夫卡收到的图像数据作为一个文件。
然而，它并没有正常运作。
下面是我编写流程的顺序，并且只描述了关键设置。
ConsumeKafka_2_0处理器
EvaluateJsonPath处理器
目标流文件-内容
rawbytes $.filedata
浏览 1提问于2019-01-17得票数 1
1回答
Apache 1.4.0问题和问题
apache-nifi
我试图将数据从S3复制到HDFS，观察到了几个问题，几乎没有问题。
问题
处理器ConvertJSONToAvro --如果流文件不是有效的JSON，则处理器将陷入无限循环，出现以下错误。
ConvertJSONToAvroid=c09f4c27-0160-1000-6c29-1a31afc5a8d4 ConvertJSONToAvroid=c09f4c27-0160-1000-6c29-1a31afc5a8d4未能处理会话，原因是java.lang.RuntimeException:意外字符(‘“(代码34))：期望逗号在Source: org.apache.nifi.controlle
浏览 2提问于2018-01-08得票数 0
1回答
如何最好地构建复杂的NiFi路由
json、apache-kafka、routes、apache-nifi
当涉及到NiFi时，我完全是一个菜鸟-所以请随时强调任何愚蠢/无知。
我正在使用NiFi阅读卡夫卡主题中的消息。
每条消息都包含JSON，该JSON包含一个名为Function的字段，然后是一大堆基于函数的不同字段。例如，如果Function ="Login"，您可以期待用户名和密码字段，但如果Function = "Pay"，您可以期待"From“、"To”和"Amount“字段。
我需要以不同的方式处理每种类型的函数。因此，基本上，我希望从Kafka读取消息，确定函数，然后根据函数将消息路由到适当的规则集。
这听起来应该很简单--但有
浏览 0提问于2020-06-03得票数 0
2回答
具有多个输入的Apache
apache-nifi、json-path-expression
我有JSON对象通过MQTT从两个不同的输入进入Nifi --例如，假设一个来自顶部传感器，另一个来自底层传感器。每个传感器都有自己的MQTT主题，因此我使用两个不同的ConsumeMQTT处理器将这些数据摄取到我的Nifi流中。
用于顶部传感器的JSON对象是{"Top_Data": "value"}
用于底层传感器的JSON对象是{"Bottom_Data": "value"}
目前，我正在使用两个单独的EvaluateJsonPath处理器将Top_Data或Bottom_Data的值存储在一个名为sensorData的属性
浏览 3提问于2019-03-08得票数 0
回答已采纳
2回答
如何在Nifi中从json中提取多个字段？
apache-nifi
我有这样的JSON有效负载； {
"id": "",
"name": "",
"A": {...},
"B": {...},
"C": {...}
} 我想要提取A, B and C字段与id and name字段作为不同的记录。像这样； {
"id": "",
"name": "",
"A": {...}
}
{
浏览 62提问于2019-03-15得票数 2
1回答
Nifi加密json
json、encryption、apache-nifi
我想使用nifi加密json中的属性，而不是密钥，因为我想将数据上传到mongodb服务器。有办法这样做吗？对于这个项目，我用twitter数据作为概念的证明.到目前为止，我只使用EvaluateJsonPath处理器提取tweet的文本，并且可以加密这个文本，但是得到的json不再有密钥。Nifi能否重新创建一个json，将键附加到我提取的这个属性上？有更好的方法吗？
浏览 1提问于2016-10-27得票数 2
回答已采纳
2回答
如何创建动态日期循环apache nifi
apache-nifi
我是nifi的新手，我正在尝试从中获取数据。我需要从2021/01/01 /01调出数据直到今天。我有一个这样做的工作流程，但问题是，我使用替换文本处理器作为发送json的方法，以便为gg api发送json。
我想要创建一个循环，在相同的文本中更改相同的日期。
例如：
这是我要发的短信
{
"query": "SELECT search_term_view.ad_group, search_term_view.resource_name, search_term_view.search_term, search_term_view.status, segmen
浏览 12提问于2022-02-16得票数 0
1回答
Apache NiFi支持批处理吗？
apache-nifi
我需要知道Apache NiFi是否支持在完成之前运行处理器。
“进程组中的一系列处理器的执行等待一个进程组的结果执行完成”.
例如，：
假设NiFi UI中有三个处理器。
P1-->P2-->P3
P-->Processor
现在我需要运行P1，如果它完全运行，那么运行P2，最后它将像序列一样运行，但是一个等待另一个完成。
编辑-1：
例如，我在web URL中有数据。我可以使用GetHTTP处理器下载这些数据。现在，我将其存储在putFile内容中。如果文件保存在putFile目录中，那么运行FetchFile将该文件处理到我的数据库中，如下所示。
Get
浏览 2提问于2017-01-12得票数 1
1回答
如何将一个CSV中的一行与另一个CSV文件中的所有行进行比较？
sql-server、csv、apache-nifi
我有两个CSV文件：
有10行的Identity(no,name,Age)
Location(Address,no,City)，它有100行
我需要提取行并使用no文件检查Identity中的Location列。
从Identity CSV文件中获取单行，并使用Location.no检查Location CSV文件中的100行行。
如果它是匹配的，那么将name, Age, Address, City合并到Identity, Location中。
注意:我需要从Identity获得第1行，将其与Location CSV文件中的100行进行比较，然后获得第2行，将其与100行进行
浏览 4提问于2016-11-18得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频活动推荐
腾讯云开发者
