腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
有没有
一种
方法
可以
在
没有
sideInput
的
情况下
将
配置
注入
ParDo
?
google-cloud-dataflow
、
apache-beam
我有一个
ParDo
,它使用状态和计时器,并定期
将
PcollectionView更新为该
parDo
的
sideInput
;google dataflow
将
抛出一个异常,在这种
情况下
不允许计时器。
有没有
其他
方法
可以
在
不使用
sideInput
的
情况下
将
配置
数据馈送到
parDo
?本质上,
side
浏览 11
提问于2019-06-05
得票数 1
1
回答
SideInput
I/O会降低性能
python
、
apache-beam
、
dataflow
在这个管道中,我需要在管道
的
几个阶段
将
额外
的
数据连接到每个元素。数据流执行图清楚地显示了导致性能不佳
的
原因:我
的
ParDo
步骤花费了大约90%
的
时间来读取端输入。虽然我只使用了四个工作节点,但是从
sideinput
读取
的
数据量超过了它
的
实际大小几个数量级。我需要以某种方式
配置
工作缓存大小吗?
在
我
的
DoFn
的
setup
方法
中准备额
浏览 0
提问于2019-09-24
得票数 1
2
回答
使用
SideInput
加入集合
google-cloud-dataflow
、
apache-beam
正在尝试使用
SideInput
转换联接两个集合。
在
ParDo
函数中,当映射值时,我们
可以
从
sideinput
集合中获得多个映射记录作为一个集合。在这种
情况下
,如何处理集合以及如何
将
这些值
的
集合返回给PCollection。PCollection<Row> pc1Rows = pc1.apply(
ParDo
.of(new fn
浏览 0
提问于2019-07-24
得票数 0
2
回答
非匿名DoFn中
的
访问端输入
google-cloud-dataflow
、
apache-beam
如果我
的
类扩展了DoFn,如何访问侧输入
的
元素?例如:PCollection<String> data = myData.apply("Get data",static class MyClass extends DoFn<String,String> //How to access side input herec.
side
浏览 3
提问于2017-08-02
得票数 5
回答已采纳
2
回答
将
PCollection<T>与PCollection<Iterable<T>>相结合
的
简单
方法
google-cloud-dataflow
我正在使用,它有一个
ParDo
函数,它需要访问PCollection中
的
所有元素。为了实现这一点,我希望
将
一个PCollection转换为一个包含所有元素
的
单一Iterable
的
PCollection<Iterable>。我想知道是否有一个更干净/更简单/更快
的
解决方案来解决我想出
的
问题。 第
一种
方法
是创建一个虚拟键,执行一个GroupByKey,然后获取值。<Iterable<MyType
浏览 1
提问于2017-03-08
得票数 2
回答已采纳
3
回答
跨多个工人
的
sideInput
一致性
google-cloud-dataflow
我正在处理管道,需要将控制数据广播到DoFn转换
的
每个实例。理想
情况下
,我希望获得所有这些控制数据,而不仅仅是最后一个状态。我
将
示例简化为非常简单
的
一个--有两个CountingInput作为侧输入和主输入,过滤第一个输入
的
30个第一个滴答,并查找
sideInput
。有人能提出最好
的
方法
来保证PubSub数据
的
广播到
sideInput
的
每一个转换吗?,侧输入
没有
用BlockingD
浏览 11
提问于2017-01-07
得票数 0
1
回答
侧输入
在
Apache梁BigQueryIO.read操作中
的
应用
google-cloud-dataflow
、
apache-beam
是否有
一种
方法
将
侧输入应用于Apache中
的
BigQueryIO.read()操作。我
在
类似的
情况下
使用了NestedValueProvider,但我想只有当某个值依赖于我
的
运行时值时,我们才能使用它。或者我能用同样
的
东西吗?bigQueryClient.tab
浏览 1
提问于2017-07-31
得票数 4
回答已采纳
2
回答
apache beam Kafkaio (数据流)
的
主题聚合
apache-kafka
、
google-cloud-dataflow
、
avro
、
apache-beam
我
在
一个压缩
的
kafka主题中有缓慢移动
的
数据,
在
另一个主题中也有快速移动
的
数据。2)慢动数据是元数据,用于丰富快速移动数据。这是一个压缩
的
主题,数据很少更新(天/月)。 3)每个快速移动
的
数据有效载荷都应该有一个具有相同customerId
的
元数据有效载荷,这些元数据有效载荷
可以
用它们进行聚合。我想将快速/缓慢移动
的</
浏览 1
提问于2019-03-11
得票数 0
回答已采纳
1
回答
Apache :使用MongoDB ()刷新从MongoDbIO.read()读取
的
侧输入
google-cloud-dataflow
、
apache-beam
、
apache-beam-io
我正在从MongoDB中读取一个MongoDB蒙古数据,并将这个PCollection用作到my
ParDo
(DoFN).withSideInputs( PCollection )
的
sideInput
。从后端开始,我
的
MongoDB收藏
将
每天或每月更新,或者每年更新一次。我需要新增加
的
价值。 我们
可以
认为这是在运行
的
管道中刷新mongo集合值。例如,mongo集合总共有20K个文档,
在
一天之后,又有三个记录添加到mongo集合中,那么
浏览 1
提问于2020-06-09
得票数 1
回答已采纳
1
回答
将对象
注入
使用component-scan - No自动加载
的
@Repository
spring
、
dependency-injection
、
repository
void setDataSource(DataSource dataSource) { } 我
在
定义MyDao
的
包上使用组件扫描,所以
在
我
的
Spring
配置
文件中
没有
MyDao
的
bean定义。
有没有
一种
方法
可以
在
不使用自动装配
的
情况下
<
浏览 1
提问于2012-10-25
得票数 0
2
回答
将
javascript
注入
HtmlDocument中
的
C#中
javascript
、
c#
、
html
有没有
一种
简单
的
方法
可以
在
不使用HtmlDocument
的
情况下
将
javascript
注入
到PhantomJS对象中?
在
HtmlAgilityPack.HtmlDocument类中有这样
的
方法
吗?任何建议都
可以
接受,谢谢!
浏览 6
提问于2015-03-05
得票数 2
回答已采纳
1
回答
将
CDI
注入
到由生产者
方法
创建
的
bean中
methods
、
cdi
、
code-injection
、
producer
、
weld
生产者
方法
对于以编程方式创建实例并在上下文中发布它们非常有用。问题是由new创建并由生产者
方法
返回
的
实例
的
所有属性都不是由CDI
注入
的
。
在
Weld文档中,我读到这是
一种
有意为之
的
行为,但在许多
情况下
,在这些bean中
注入
会非常有用。
有没有
一种
解决办法
可以
将
注入
到这些bean中?
浏览 3
提问于2013-01-24
得票数 0
1
回答
如何解决创建PCollectionView<Map<String,String>>时出现重复值异常
google-cloud-dataflow
、
apache-beam
、
dataflow
、
apache-beam-io
我正在我
的
Apache-Beam管道中设置一个缓慢变化
的
查找映射。它会不断更新查找映射。对于查找映射中
的
每个键,我使用累加模式检索全局窗口中
的
最新值。.apply(View.asMap()); 输入触发器示例: t1 : KV<k1,v1> KV< k2,v2> t2 : KV<k1,v1> accumulatingFiredPanes =>
在
t2=> KV(k1,v1),KV(k2,v2)
的
预期结果,但由于重复
的
异常而失
浏览 25
提问于2019-01-29
得票数 6
回答已采纳
2
回答
在
Beam管道中以编程方式生成BigQuery模式
python
、
google-bigquery
、
apache-beam
、
apache-beam-io
我有一个同构字典
的
集合,我如何在不知道模式
的
情况下
将它们写到BigQuery?# "field1:STRING, field2:INTEGER"
浏览 8
提问于2017-06-30
得票数 3
1
回答
数据流/波束中流数据与大历史数据集
的
结合
java
、
apache-flink
、
google-cloud-dataflow
、
apache-beam
我看过以下
方法
: 使用侧输入检索给定element
在
processElement(ProcessContext processContext)中
的
用户会话历史记录我知道我
可以
<em
浏览 1
提问于2016-04-29
得票数 13
回答已采纳
2
回答
将其他输入传递给
ParDo
google-cloud-dataflow
、
apache-beam
、
apache-beam-io
向
ParDo
转换传递额外输入
的
选项有哪些。
在
我
的
例子中,我需要向我
的
ParDo
传递大约5000个string对象。据我所知,以下是我
的
选择:b)将其作为参数传递给我
的
ParDo
类
的
构造函数,并将其保留为类成员:能否有人告诉我,在内部
有没有
其他
方法
可以</e
浏览 2
提问于2018-03-22
得票数 0
1
回答
如何并行
配置
Guice模块?
java
、
guice
背景:我
的
代码库有很多模块,根据一些分析,创建Guice
注入
器需要花费大量
的
时间。这几乎肯定是由于大量
的
模块和少数模块
的
存在,这些模块需要很长时间才能
配置
。理论上,我
可以
生成
可以
单独
配置
的
模块
的
2+列表。例如,如果有
一种
方法
可以
组合或合并
浏览 1
提问于2018-01-17
得票数 0
1
回答
在运行时读取多个文件(数据流模板)
google-cloud-dataflow
、
apache-beam
、
dataflow
、
apache-beam-io
我试过这样做: .apply(
ParDo
.of(StringScheduleBatchToFileReceivedFn.of())) @ProcessElement.apply(TextIO.read().from(f
浏览 1
提问于2018-11-05
得票数 0
回答已采纳
1
回答
如何使用Scaldi
注入
一个Akka路由器?
scala
、
akka
、
scaldi
我正在使用Akka
配置
创建路由器。val router = context.actorOf(FromConfig.props(MyActor.props), "router")但是我似乎找不到
一种
浏览 4
提问于2017-04-12
得票数 2
1
回答
使用自定义ID
的
InstallShield安装程序,不会使签名无效
c#
、
.net
、
windows
、
installshield
我正在寻找
一种
方法
来提供一个签名
的
,自定义
的
InstallShield安装程序,
可以
在
不破坏签名或重新签署安装程序
的
情况下
向其中
注入
一小段信息?用户将从我
的
网站下载它,但它需要一个专门为该用户
注入
的
自定义ID。我看过对sidecar文件
的
引用,但我找不到任何文档。 那么,
有没有
办法
在
不使签名无效
的
情况下
浏览 1
提问于2016-12-16
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Spring常用注解-JAVA成长之路
eBay如何提高通知平台的可靠性
和喜欢Spring的软件工程师谈谈Spring基于注解的配置
Spring IOC概念
Shiro资源权限动态配置
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券