腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
多个
FlinkKinesisProducer
作为
数据流
的
接收器
apache-flink
、
flink-streaming
、
amazon-kinesis
我有
多个
级别的KDA与Flink应用程序在不同
的
帐户。我有一个用例,我需要查看记录内容来确定将数据推送到哪个AWS帐户(该帐户中
的
kinesis流)。link展示了基于记录内容选择流名称
的
可能性,我需要支持
多个
kinesis生产者来推动不同
的
亚马逊网络服务账户。 有什么帮助吗?
浏览 25
提问于2020-11-06
得票数 0
2
回答
ADF
数据流
中
的
Azure表存储
接收器
azure-data-factory
、
azure-table-storage
、
azure-data-factory-2
下面是我
的
ADF管道
的
样子。在
数据流
中,我从源读取一些数据,执行筛选和连接,并将数据存储到
接收器
。我
的
计划是使用Azure Table Storage
作为
接收器
。然而,根据
的
说法,ADF
数据流
不支持Azure Table Storage
作为
接收器
。是否有其他方法可以使用Azure表存储
作为
数据流
中
的
接收器
?
浏览 1
提问于2020-05-14
得票数 1
1
回答
如何在单个
数据流
中使用
多个
缓存
接收器
并使用管道中两个
接收器
的
输出?
azure
、
azure-data-factory
、
azure-data-flow
我在
数据流
中有两个缓存
接收器
,当为两个
接收器
选择写活动输出时会抛出验证错误:找到
多个
缓存
接收器
,并将输出设置为“true”。只支持一个
接收器
的
输出。是否有任何解决办法/解决方案可以在一个管道中使用两个
接收器
的
输出?
浏览 2
提问于2022-10-11
得票数 1
回答已采纳
1
回答
数据流
中
的
活动是否计算到管道活动极限为40?
azure-data-factory
看起来我得复制我
的
管道,把水槽换到另一个水槽
的
位置。所以,我有一个有30个拷贝活动
的
管道。朴素而简单,源源不断地下沉。如果我将这些更改为
数据流
,将Sink分为两个不同
的
源(使用新
的
分支功能),这会增加活动
的
数量还是将
数据流
计算为1个活动?
浏览 1
提问于2021-05-12
得票数 0
回答已采纳
1
回答
Azure数据工厂:在ADLS gen2
数据流
中使用ORC文件
作为
源还是
接收器
?
azure-data-factory
、
orc
、
azure-data-lake-gen2
我试图通过一些转换从Avro文件源创建Azure dataflow
数据流
,在ADLS gen2中
作为
ORC文件登陆。然而,ORC似乎并不是
数据流
接收器
的
一个选项。我也尝试过
作为
数据流
源,它是灰色
的
(见下图,ORC选项是灰色
的
)我已经成功地将它
作为
一个水槽在复制活动中使用。但是,除了ORC是与ADF兼容
的
文件类型之外,还没有找到文档。是否有人能够在
数据流
中使用ORC<em
浏览 4
提问于2020-01-09
得票数 0
回答已采纳
1
回答
Azure数据工厂中
的
缓存查找属性
azure
、
etl
、
azure-data-factory
、
azure-data-factory-2
、
azure-data-factory-pipeline
我有一个需求,在其中我有一个源文件,其中包含映射
数据流
中
的
表名。基于文件中
的
表名-需要一个动态查询,其中列元数据以及其他一些属性从数据字典表中检索并插入到不同
的
接收器
表中。由于输入文件中可以列出
多个
表(假设它是一个csv,其中只有一个列包含表名),如果我们决定为该文件使用缓存
接收器
: 是否可以在同一个映射
数据流
中使用源转换查询中缓存
的
接收器
的
结果
作为
查找(从何处检索列元数据)以及如
浏览 0
提问于2021-03-05
得票数 0
1
回答
将行设置为标头Azure [映射
数据流
]
azure-data-factory
、
azure-data-factory-2
、
azure-data-flow
目前,我有一个Excel文件,我正在使用映射
数据流
来处理该文件,以删除一些空值。这是我
的
输入文件: 在删除空值之后:我正在将数据放入一个Cosmos DB中,但我需要更改列
的
名称,并将第一行设置为标题.在Sink和y不能使用映射选项(手动设置列
的
名称)之前,我需要在上一步中执行此操作(第一行
作为
标题),因为这些列
的
某些位置可能会更改。谢谢
浏览 2
提问于2020-09-30
得票数 0
1
回答
Apache :执行环境和
多个
接收器
java
、
apache-flink
我
的
问题可能会引起一些混乱,所以请先看描述。找出我
的
问题可能会有帮助。我将在问题
的
末尾添加我
的
代码(关于我
的
代码结构/实现
的
任何建议也是受欢迎
的
)。,谢谢您
的
帮助!我
的
问题: 如何在Flink批处理中定义
多个
接收器
,而不让它从一个源重复获取数据?env.execute()
的
用途是什么?我
的
代码将输出没有这个句子
的
结果。我
的<
浏览 1
提问于2018-06-28
得票数 2
1
回答
我们是否可以使用单个Google Cloud Dataflow将数据从
多个
Pubsub (源)写入
多个
GCS (宿)?
google-cloud-storage
、
google-cloud-dataflow
、
pipeline
、
google-cloud-pubsub
、
apache-beam
我有3个不同
的
Pubsubs (源)和3个相应
的
GCS bucket(
接收器
),用于它们处理相似的数据。dataflow_def ---> gcs_bucket_def 有没有一种方法可以使管道使用单个
数据流
,可以从
多个
源读取数据,并将它们写入
多个
相应
的
接收器
?| | pubsub_topic
浏览 0
提问于2020-09-09
得票数 0
1
回答
在
数据流
中接收之后创建
的
额外Blob
azure-data-factory
、
azure-data-factory-2
、
azure-data-flow
我正在使用Azure数据工厂中
的
数据流
活动从Snowflake导入到Azure blob。我注意到,无论何时通过
接收器
创建blob (放在provider/ Inbound / folder内),我都会在Inbound之外得到一个额外
的
空blob文件。所有
数据流
宿到blob时都会发生这种情况吗?
浏览 4
提问于2021-08-05
得票数 0
1
回答
无法使用将流数据写入
接收器
文件
spring
、
hadoop
、
spring-cloud
、
spring-cloud-dataflow
我试图使用使用shell(而不是UI)
的
spring云
数据流
来创建
数据流
管道。源是twitterstream和
接收器
作为
文件。下面是我为配置文件
接收器
所做
的
工作: dataflow:>stream create demo --definition "twitterstream --credentials | file --dir=/opt/datastream --mode=APPEND --filename=tweets.txt&q
浏览 1
提问于2016-07-15
得票数 0
回答已采纳
1
回答
Flink:理解我
的
程序
的
数据流
apache-flink
我已经开发了一个Flink程序,可以读取Twitter上
的
推文,并将它们推送到Kafka上。然后,它从Kafka获取tweet并对其进行处理。"Tweets“转换从tweet
的
文本中提取标签和用户,并在默认输出中发出它们,并在副输出中发出它们
的
每一对。 附加
的
图像是从Flink Web UI中拾取
的
。我不明白为什么Kafka源和Tweets处理操作符合并到一个任务中,主要是我希望Tweets
接收器
接收所有来自Kafka源
的
原始Tweet,而不是tweets处理
浏览 1
提问于2018-06-30
得票数 1
1
回答
ADF -根据条件从
数据流
活动列表中执行一个活动
的
最佳方法是什么?
azure-data-factory
、
azure-data-factory-2
、
azure-data-flow
我有20种文件格式和一个
数据流
活动,映射到其中
的
每一个。根据文件名,我知道要执行哪些
数据流
活动。是通过“切换”活动来处理这个问题
的
唯一方法吗?还有别的办法吗?例如,我可以用变量名来参数化
数据流
来执行吗?:
浏览 5
提问于2022-07-23
得票数 1
1
回答
Azure映射
数据流
-按顺序将行插入两个
接收器
azure-sql-database
、
etl
、
azure-data-factory
、
auto-increment
、
azure-mapping-data-flow
我正在实现一个
数据流
,在其中我需要将行插入到两个不同
的
接收器
中,两个
接收器
都是Azure SQL数据库表。现在
的
问题是,在第一个
接收器
中生成
的
标识列值也需要插入到第二个
接收器
中。如何将这些自动递增
的
id列值插入到审核表中。
浏览 14
提问于2022-07-06
得票数 0
回答已采纳
1
回答
在DataFlow Azure数据工厂中执行活动后执行参数化存储过程
azure
、
stored-procedures
、
azure-data-factory
、
azure-data-flow
下面是在DataFlow Azure DataFlow中
的
一个活动之后
的
数据表结果,在这个步骤之后,应该有一个存储过程调用,其中它将以Description
作为
输入,这是逗号分隔
的
,输出将是其中之一:
浏览 3
提问于2022-04-30
得票数 -1
1
回答
Flink KPL似乎没有交付到第二个碎片
scala
、
apache-flink
、
amazon-kinesis
所以我有下面的代码,在这里我试图让KPL设置分区键,这样我就可以开始分割我
的
流了。def createSinkFromStaticConfig(stream: Option[String], region: Option[String]):
FlinkKinesisProducer
[ZoneOffset.UTC) } sink setQueueLimit 500} 因此,当调用
接收器
时,它会工作并发送到流中
的
数据。我可
浏览 1
提问于2022-08-01
得票数 0
回答已采纳
1
回答
如何在天蓝色
数据流
中拥有动态水槽
azure
、
azure-data-factory-2
、
azure-data-flow
我正在尝试创建一个动态
数据流
,它使用
作为
参数传递
的
动态查询来获取数据,然后我想在动态定义
的
接收器
表中插入和删除数据。我在设置水槽动力方面遇到了麻烦。有可能吗?我该怎么做呢?我看不到有一个动态目标表
的
选项。我想
的
是添加另一个带有
接收器
表名
的
参数并使用它。
数据流
的
高级视图
浏览 7
提问于2021-04-08
得票数 0
回答已采纳
1
回答
Azure数据工厂-读取JSON数组并写入各个CSV文件
azure
、
csv
、
azure-blob-storage
、
azure-data-factory
我有许多JSON文件位于我
的
数据湖中,它们
的
格式都相同,如下所示: { "AzureFolderName":,使用这些项中
的
信息以格式附加到数据湖中
的
CSV文件(如果它们不存在,则创建它们):[Timestamp],[ItemName],[Value到目前为止,我所做
的
是创建一个查找,读取我
浏览 0
提问于2021-08-26
得票数 0
1
回答
如何将Redis配置为Spring Cloud
数据流
源?
redis
、
spring-cloud-dataflow
我
的
意图是使用Redis Stream
作为
Spring Cloud
数据流
的
源,并将消息路由到AWS Kinesis或S3数据
接收器
Redis没有被列为Spring Cloud Dataflow源。Redis似乎只能
作为
PubSub
的
接收器
使用
浏览 12
提问于2020-10-06
得票数 0
回答已采纳
1
回答
ADF
数据流
正在创建零字节文件
azure
、
azure-data-factory
、
azure-data-factory-2
、
azure-data-flow
我
的
ADF
数据流
中有一个条件拆分。成功将行放到SQL数据库中,失败条件收集所有不正确
的
记录,并将它们放入CSV (分隔文本)类型
的
接收器
中。我怎么才能阻止它呢?
浏览 5
提问于2021-07-16
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Spark Streaming 2.2.0 Input DStreams和Receivers
大数据流处理:Flume、Kafka和NiFi对比
flink handbook-flink数据流编程模型
微软新专利为AR改进高速高带宽链路的数据传输
官宣:Apache Flink 1.14.0 发布
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券