腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
NiFi
中
的
Kafka
oauth
2.0
、
、
我发现了如何在
OAuth
2.0
to
Kafka
上运行。 我可以配置
kafka
并创建安全主题。在考虑控制台消费者和生产者
的
教程
中
: ./bin/
kafka
-console-producer.sh --broker-list localhost:9093 --topic
oauth
2-demo-topic --producer.config
OAUTH
_LOGIN_SCOPE=
kafka
OA
浏览 13
提问于2020-10-13
得票数 1
回答已采纳
1
回答
REST API与APACHE
NIFI
的
集成(从
kafka
-transform ->generate token ( post )-> post API获取数据)
、
我正在尝试在Apache
Nifi
中
创建一个流-情况如下: 1-使用来自
kafka
的
消息(完成) 2-转换为有效
的
请求正文(完成) 3-保留转换后
的
消息4-生成
oauth
2令牌(它是post api) 5-调用post api,将转换后
的
json作为请求正文并在标头中发送令牌 我尝试了几种方法,比如将转换后
的
json放入缓存
中
,并在令牌生成后获取它,但问题是我无法将令牌传递给fetchdistributedcache
浏览 21
提问于2021-03-22
得票数 0
1
回答
使用
nifi
创建新
的
kafka
主题
、
我正在尝试使用
Nifi
中
的
PublishKafka_
2.0
处理器将一些数据放入一个未创建
的
Kafka
主题中。谢谢!
浏览 19
提问于2020-11-18
得票数 0
回答已采纳
1
回答
Nifi
,如何通过
Kafka
avro文件生成每个文件
的
多个记录
、
、
、
我创建了一个处理单个json文件
的
管道(一个由5890个元素组成
的
向量,每个元素都是一个记录),并以avro格式通过
Kafka
发送。生产者工作正常,然后当我与消费者一起阅读它时,我会得到每个记录
的
流文件(一个avro文件)。5890阿夫罗档案如何在一个avro文件
中
设置或合并更多记录?
浏览 4
提问于2022-02-11
得票数 0
回答已采纳
1
回答
kafka
接收器连接器
中
无效JSON
的
错误处理
、
、
、
我有一个mongodb
的
接收器连接器,它从主题中提取json并将其放入mongoDB集合
中
。但是,当我从生产者向该主题发送无效
的
JSON (例如,带有无效
的
特殊字符") => {"id":1,"name":"\"}时,连接器停止。我尝试使用errors.tolerance ==>,但同样
的
事情发生了。应该发生
的
是连接器应该跳过并记录无效
的
JSON,并保持连接器运行。我
的
分
浏览 0
提问于2020-02-11
得票数 0
1
回答
Apache
NIFI
安装失败,因为Ambari服务-在配置字典
中
找不到配置参数‘
kafka
_broker_hosts
、
、
、
我
的
系统环境如下:我已经在/usr/hdp/2.5.0.0-1245/
nifi
/conf/
nifi
.properties下进行了检查,并按照下面的建议将
nifi
的
web端口从默认
的
8080更改为9090 然后,我重新启动了ambari服务器,并停止并启动了
nifi
服务,但仍然存在相同
的
问题。in
浏览 0
提问于2016-12-08
得票数 0
1
回答
码头集装箱
中
的
NiFi
无法与
kafka
交谈: TimoutException,kafkacat是工作正常
的
、
、
、
、
我已经通过docker设置了
NiFi
(1.11.4)和
Kafka
(2.5) (下面是坞-组合文件,实际
的
NiFi
流定义)。当试图跟进基本入门教程(如)时,这些教程结合了处理器,例如:
nifi
since batch creation plus linger time
nifi
_1 | org.
浏览 6
提问于2020-06-10
得票数 0
回答已采纳
1
回答
来自
NiFi
KafkaConsumer
的
from文件属性
、
、
、
、
我一直试图访问
NiFi
流量文件属性从卡夫卡消息在星火流。我使用Java作为语言。场景是,
NiFI
使用GetSFTP处理器从FTP位置读取二进制文件,并使用publishKafka处理器将byte[]消息发布到
Kafka
。这些byte[]属性使用火花流作业转换为ASCII数据,这些解码后
的
ASCII被写入
Kafka
进行进一步处理,并使用
NiFi
处理器保存到HDFS。我
的
问题是我无法跟踪二进制文件名和解码
的
ASCII文件。我必须在已解码
的
浏览 9
提问于2017-06-09
得票数 1
回答已采纳
1
回答
在hdfs
中
存储小文件并在
Nifi
Flow
中
对其进行归档
、
、
、
、
我有一个小文件和HDFS
的
问题。 场景:我正在使用
NiFi
来阅读卡夫卡主题中
的
消息,这些都是非常小
的
。要求:将这些原始数据消息存储在HDFS
中
(用于重放功能),...before对其进行进一步处理。 我一直在考虑定期对它们使用Hadoop Archive (HAR)。这是我可以通过
Nifi
做
的
事情吗?“har命令看起来像是命令行
的
东西,而不是我可以通过
Nifi
执行
的
东西?我很想知道一个解决方案,可以满足我
的<
浏览 11
提问于2020-08-19
得票数 0
回答已采纳
1
回答
NiFi
消费卡夫卡sasl_plaintext问题
、
、
、
我正在尝试配置甲骨文云流
kafka
从主题与sasl_plaintext安全使用在
nifi
。当我遇到下面提到
的
问题和堆栈跟踪时,也请看一看和jass配置。请大家帮帮我解决这个问题,我也已经在bootstrap.conf文件中进行了配置; 我也尝试过
nifi
处理器本身;这里是配置img; ?
kafka
版本
2.0
和
kafka
nifi
kakfa consumer_processor也是consume_
kafka
_record_
浏览 202
提问于2020-10-29
得票数 0
1
回答
Apache与
kafka
SASL_PLAINTEXT
的
连接问题
、
、
、
我使用
的
是
Kafka
版本2.0.0。我已经在
Kafka
中
启用了SASL_PLAINTEXT,并从控制台生产者和控制台消费者那里进行了测试,它对我来说很有效。现在,我正在尝试使用消费
Kafka
和发布
Kafka
处理器来发布和使用来自
Nifi
的
数据,但我无法进行连接。我
的
错误越来越小。: unable to find LoginModule class: org.apache.
kafka
.common.security.p
浏览 173
提问于2020-02-24
得票数 0
1
回答
Apache :使用
OAuth
2.0
访问
、
、
、
、
我尝试使用
OAuth
2.0
访问Apache
中
的
Google ( v4)。我使用基于以下文档
的
服务帐户: 从GoogleWeb
2.0
授权服务器请
浏览 1
提问于2017-03-15
得票数 4
1
回答
nifi
- consumekafka处理器不会在没有订单
的
情况下保存获取订单
的
记录。
、
我有简单
的
测试设置,在性能测试期间,我注意到
nifi
以笨拙
的
方式读取
kafka
的
记录,它不保留顺序。我让consumekafka_20进程连接到日志消息,就像在下面的屏幕上一样 这两个处理器都被配置为只使用一个相同
的
任务,但是日志消息显示消息。2021-12-30 17:10:44,612 INFO
nifi
-0 [Timer-Driven Process Thread-4] o.a.
nifi
.processors.standard.LogMes
浏览 7
提问于2021-12-30
得票数 0
1
回答
Kafka
队列
中
是否存在重复记录?
、
、
、
、
然后,我再次将数据从Spark发送到
Nifi
,以将其插入到DB
中
。它是从哪里来
的
?我尝试查看
Kafka
-Queue-I (从
Nifi
到Spark)或
Kafka
-Queue-II (从Spark到
Ni
浏览 15
提问于2020-02-14
得票数 0
1
回答
Flink不使用
Kafka
publisher
的
数据
、
我所拥有的:然后,我检查它是否被创建,只是为了确保并得到以下内容: 接下来,我想打开机器,用"SELECT * FROM RawData“检查我
的
数据,原因: org.apache.flink.
kafka
.shaded.org.apache.
kafka
.common.confi
浏览 0
提问于2020-06-14
得票数 1
2
回答
org.apache.
kafka
.clients.NetworkClient引导代理(id:-3齿条: null)在通过
NiFi
连接到卡夫卡消费者时断开连接
、
、
我试图使用"org.apache.
kafka
.clients.NetworkClient ConsumeKafka_2_6处理器(
NiFi
版本1.12.1).In ConsumeKafka处理器使用
NiFi
ConsumeKafka_2_6 processor (
nifi
版本1.12.1)使用来自Amazon上
的
kafka
主题(
Kafka
version 2.2.1)
中
的
消息。我收到
的
警告是:
nifi
浏览 4
提问于2021-01-05
得票数 1
回答已采纳
1
回答
是否使用
NiFi
中
的
Kafka
Consumer将同一分区
中
的
事件转到同一FlowFile
post将最大轮询记录设置为1,以保证一个流文件
中
的
事件来自同一分区。https://community.hortonworks.com/articles/223849/simple-backup-and-restore-of-
kafka
-messages-via-ni.html这是否意味着如果使用消息分隔符,同一FlowFile
中
的
事件可以来自不同
的
分区?https://github.com/apache&
浏览 11
提问于2019-01-19
得票数 0
回答已采纳
1
回答
如何在
Nifi
中
恢复关于
kafka
的
消息?
、
场景: 当ConsumeKafka_2_0在卡夫卡
中
消费消息时,在卡夫卡
中
的
偏移量会变成100.When
Nifi
被破坏,使得
Nifi
恢复到过去
的
状态,在卡夫卡
中
的
偏移量是50.However,实际上在卡夫卡
中
的
偏移量是当
Nifi
重启时,我猜是从偏移量"100“开始消费消息,而不是从偏移量"50”开始,因为在time.So
中
,偏移量在
Kafka
浏览 11
提问于2020-04-28
得票数 0
1
回答
从hadoop到kafak
的
NiFi
保证只有一次
、
、
NiFi
是否有可能从hdfs (或hive)读取数据,并将数据行发布到
kafka
,并保证只交付一次?
浏览 12
提问于2020-11-17
得票数 0
1
回答
Apache没有阅读主题
、
我将从Apache
中
的
某个主题中获取消息,并将它们记录在Oracle数据库
中
。问题是ConsumeKafka_1_0 1.17.0处理器没有读取卡夫卡主题中
的
消息。我尝试使用ConsumeKafka_1_0、ConsumeKafka_2_0和ConsumeKafka_2_6
的
版本;我在每次请求时修改了组ID;我
的
Kafka
服务器在同一个网络上,不使用Kerberos或TSL票
的
任何凭据。我
浏览 6
提问于2022-10-04
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
OAuth 2.0协议在SAP产品中的应用
OAuth 2.0与OpenID Connect协议的完整指南
基于OAuth2.0的统一认证登录方案
“Kafka技术”Apache Kafka中的事务
在SpringBoot中优雅的使用Spring Security OAuth 2
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券