腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
3
回答
如何从Python向
kafka
发送
Json
文件
python
、
json
、
python-3.x
、
pandas
、
apache-kafka
我有一个像下面这样
的
json
文件
,我想从python发送给
kafka
。
Json
文件
d =df.to_
json
(filename, orient='records')from
kafka
import
浏览 4
提问于2019-11-22
得票数 1
回答已采纳
1
回答
如何将
JSON
数据
从Azure blob存储加
载到
Kafka
apache-kafka
、
azure-blob-storage
、
connector
我想将
JSON
数据
从Azure blob存储加
载到
apache
Kafka
中
,然后再加
载到
另一个
数据
库
中
。我试着使用没有编写任何python代码
的
,但我认为在读取源连接器之前,必须使用接收器连接器写入blob,如果我没有弄错的话。将
json
数据
加
载到
kafka
的
最好方法是什么?我
的
要求是,
kafka
将持续侦听上
浏览 6
提问于2021-11-24
得票数 0
2
回答
如何将
json
数据
导入google云
数据
存储。如何从
数据
存储从代码导入
数据
到BigQuery
google-bigquery
、
google-cloud-datastore
、
google-cloud-platform
我希望实现一个管道,其中我将
数据
存储在Cloud
中
,然后在BigQuery
中
增量地读取它,将Bigquery
数据
转换为Tf记录,然后运行ML算法。我没有一种将
json
文件
导入
数据
存储并从Python代码将
数据
再次导出到Bigquery
的
清晰方法。
浏览 1
提问于2017-12-12
得票数 1
1
回答
如何将
json
文件
中
的
数据
加
载到
kafka
apache-kafka
、
kafkacat
我有一个mydata.
json
文件
,如下所示: { "grades": [ "english": "A",我正在尝试将其加
载到
kafka
主题student_data
中
,以便每个学生(即Student 01和Student 02)成为单独
的
消息。我尝试使用下面的kafkacat命令,但它将整个
文件
浏览 84
提问于2021-11-07
得票数 0
1
回答
如何使用apache nifi将多个
json
文件
加
载到
具有正确映射
的
多个hive表
中
?
hadoop
、
hive
、
bigdata
、
apache-nifi
我需要使用apache nifi将基于表名
的
多个csv
文件
摄取到它们各自
的
配置单元表
中
。源
json
文件
中
的
table_address
数据
应该转到配置单元
中
的
table_address,其他表也是如此。简而言之,需要将源
json
文件
中
的
记录分离到多个tablename.csv格式
的
csv
文件
<e
浏览 6
提问于2019-04-10
得票数 0
2
回答
如何在Snowflake connector for
KAFKA
中使用连续流
数据
snowflake-cloud-data-platform
任何人都可以帮助我消耗连续
数据
中
的
数据
,这些
数据
正在被流式传输。在snowflake连接器
中
应该为主题提供什么? 因为我能够使用所需
的
主题名称通过单个表
数据
填充
数据
。但我有捕获连续
数据
流到表
中
的
要求。
浏览 0
提问于2021-10-07
得票数 5
1
回答
如何将
csv
数据
从对象存储(只能使用url访问)加
载到
kafka
主题中,是否有时间间隔来加载每一行?
apache-kafka
、
apache-kafka-connect
、
oracle-cloud-functions
我必须将csv
数据
从对象存储(只能使用url访问)加
载到
kafka
主题。
如何将
该csv
数据
加
载到
kafka
中
的
topic
中
?请讲解具体步骤。后台
文件
配置: {"connector.class":"com.github.jcustenborder.
kafka
.connect.spooldir.SpoolDirCsvSourceConnector2)如何提
浏览 6
提问于2021-06-09
得票数 0
1
回答
在ExtJs4
中
未使用搜索到
的
json
数据
加载网格
grid
、
extjs4
我
的
网格加载了120行
的
JSON
数据
和带有5个组合字段
的
表单,用于搜索所需
的
行。 现在,当我单击搜索按钮时,PHP脚本返回了正确
的
JSON
数据
,但是这些
数据
没有加
载到
网格
中
。
浏览 1
提问于2012-05-22
得票数 1
1
回答
在Scala
中
连续读取
文件
中
的
附加
数据
scala
、
apache-kafka
我一直在使用
Kafka
监控
文件
,只想从
文件
中
读取附加
的
数据
,并将其推送到
Kafka
生产者。以下是我试图实现
的
目标: try { valproducer.close() case e: Exception => e.p
浏览 0
提问于2018-03-17
得票数 1
1
回答
合流InfluxDB接收器连接器
apache-kafka-connect
、
confluent-platform
我正在尝试使用Confluent InfluxDB sink connector将主题中
的
数据
放入我
的
InfluxDB
中
。Connect UI创建新
的
连接器时,我得到
的
是以下异常: org.apache.
kafka
.connect.errors.ConnectException: Exiting WorkerSinkTask(WorkerSinkTask.java:565) ... 10 more 主题中
的
值是
json
字符串,
浏览 22
提问于2019-03-18
得票数 0
1
回答
如何在
Kafka
JDBC接收器连接器上使用表名转换?
jdbc
、
apache-kafka
、
apache-kafka-connect
我使用
kafka
源连接器创建了几个主题。他们
的
名字如下:server1.public.table2我使用JDBC接收器连接器将这些
数据
加
载到
不同位置
的
我在sink.
json
文件
中使用了下面的属性"transforms": "ro
浏览 3
提问于2020-07-31
得票数 2
1
回答
在HDFS
中
存储用于MongoDB
的
普通
JSON
json
、
mongodb
、
hadoop
、
hdfs
我从不同
的
API
中
获取
JSON
数据
,我想将它们存储在HDFS
中
,然后在MongoDB中使用它们。我是否需要将它们转换为avro、序列
文件
、拼板等,或者可以将它们作为普通
的
JSON
存储起来,然后加
载到
数据
库
中
呢?我知道,如果我将它们转换成另一种格式,它们将得到更好
的
分发和压缩,但是我如何才能将avro
文件
上传到MongoDB呢?MongoDB只接受
JSON<
浏览 1
提问于2022-04-02
得票数 0
回答已采纳
1
回答
如何将
Azure事件中心(
kafka
界面)
的
事件集成到google云发布/订阅
azure
、
apache-kafka
、
google-cloud-pubsub
我有一个需求,我需要在Azure事件中心使用
kafka
主题。需要创建将使用作为参数提供
的
主题
的
POST端点。消息必须以
kafka
主题为属性,以消息内容为主体,在公共子主题上发送。 这是一个很高
的
要求。但是,如果有人实时地实现了这一功能,即从Azure事件中心到google
的
事件,或者曾经进行过类似的实现,请提供帮助。
浏览 1
提问于2021-06-03
得票数 1
回答已采纳
1
回答
如何使用Apache Flink按datetime分区在HDFS上写入parquet
文件
?
apache-flink
、
flink-streaming
在从
kafka
获取
json
数据
并将其保存为要加
载到
hive
中
的
拼图
文件
的
过程
中
,我遇到了中提到
的
相同问题。有谁知道如何解决这个问题吗?谢谢。我使用
的
是Apache Flink 1.4.0 + HDFS 2.7.3
浏览 50
提问于2018-01-04
得票数 1
2
回答
Kafka
Connect HDFS Sink for
JSON
格式使用JsonConverter
apache-kafka
、
confluent-platform
、
apache-kafka-connect
在
JSON
中
从
Kafka
生产/消费。使用以下属性保存到
JSON
中
的
HDFS:value.converter=org.apache.
kafka
.connect.
json
.JsonConverterkey.converter.schemas.enable=false value.converte
浏览 0
提问于2016-11-21
得票数 1
2
回答
将来自
kafka
的
消息存储到hdfs
python
、
apache-kafka
、
hdfs
、
apache-kafka-connect
、
confluent-platform
我使用
的
是confluent-
Kafka
和python。我想将
Kafka
连接到Hdfs,并将一些特定
的
数据
直接存储在Hdfs
中
。我找到了confluent HDFS连接器,但我不知道
如何将
它与我
的
python脚本连接起来。有什么想法吗?或者有什么替代方法可以将消息直接从
Kafka
存储到Hdfs?
浏览 1
提问于2020-06-08
得票数 0
2
回答
Confluent
Kafka
SMT:时间戳转换问题
apache-kafka
、
apache-kafka-connect
、
confluent-platform
我对
Kafka
完全陌生,并且一直在尝试使用一些基本
的
用例。目标:当我从主题中读取
数据
时,获得正确
的
日期格式。下面是我在连
浏览 1
提问于2020-06-08
得票数 1
2
回答
KSQL -确定何时加载表
apache-kafka
、
ksqldb
如何确定何时KSQL将
数据
从
Kafka
主题完全加
载到
我
的
表
中
?示例:CR
浏览 1
提问于2018-11-14
得票数 4
回答已采纳
1
回答
kafka
连接
文件
脉冲将
JSON
文件
读入
kafka
apache-kafka
、
apache-kafka-connect
我正在尝试将
json
文件
加
载到
kafka
,并希望使用file-pulse connector。我
的
json
文件
如下所示: "field1": "string1", "field3": 9.8, "lastField":"2020-09-03T18:00:00&quo
浏览 11
提问于2020-09-17
得票数 0
1
回答
如何上传
文件
给卡夫卡消费者?
file
、
apache-kafka
、
flume
我试图加载一个
文件
给卡夫卡消费者,要么用水槽,要么直接到卡夫卡。我使用以下链接启动
Kafka
服务器:有什么建议吗?谢谢。
浏览 1
提问于2015-10-18
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
如何将kafka中的数据快速导入Hadoop?
如何用python代码将json文件中的数据格式化
如何将文本文件或Excel中的数据导入数据库?
如何将文本文件中的数据导入到Word并生成表格?
深入理解Kafka Connect:转换器和序列化
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券