腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Apache
Beam
:
在
实例
内
的
所有
线程
之间
共享资源
google-cloud-dataflow
、
apache-beam
在
FoDn中,我们有@Setup,它非常适合初始化跨包资源。这是否也
在
CPU
之间
共享?换句话说,我们是否需要静态地执行资源管理,以便在
所有
CPU
之间
共享这些资源?
浏览 13
提问于2019-10-09
得票数 1
回答已采纳
1
回答
Apache
梁中DoFn
的
线程
同步
java
、
apache-beam
、
thread-synchronization
我正在编写一个DoFn,其中它
的
实例
变量elements (即
共享资源
)可以
在
@ProcessElement方法中进行变异:import java.util.List
Apache
说:“除非您显式地创建自己
的
线程
,否则函数(DoFn)对象
的
每个
实例
都由一个工作
实例
上
的
单个
线程
每次访问。但是请注意,
Beam
并
浏览 1
提问于2019-07-21
得票数 3
回答已采纳
1
回答
数据流如何自动调整和分配工作负载?
google-cloud-platform
、
google-cloud-dataflow
、
apache-beam
在
阅读了之后,我仍然有一些关于Dataflow/
Apache
如何分配工作负载
的
问题。这使我对以下几个问题感到好奇: Dataflow/<
浏览 0
提问于2018-08-02
得票数 4
1
回答
python -从
apache
_
beam
.io导入文件给出错误:无法导入名称文件
python
、
apache
、
csv
我想要将csv文件读入
apache
beam
应用程序
的
列表中,其中列表中
的
每个元素都是一个元组或列表(实际上并不重要),这样我就有了csv4,5,6[(1,2,3) , (4,5,6)] [ [1,2,3], [4,5,6] ]from
beam
_utils.sources import CsvFileSourcefrom> from
apache
_
beam
浏览 1
提问于2017-10-17
得票数 1
1
回答
Apache
上带有数据流运行程序
的
MinimalWordcount示例
java
、
eclipse
、
google-cloud-dataflow
、
dataflow
、
apache-beam
我试图
在
windows上使用MinimalWordCount运行DataFlowRunner示例,使用MinimalWordCount -->,它与使用gcs
的
示例中
的
股票代码相同,但是我始终得到以下异常我已经证实桶名是正确
的
。 我已经
在
我
的
Windows机器上运行了gcloud init。
线程
"main“中
的
异常:未能从org.
apache
.
beam
.sdk.util.InstanceBuild
浏览 3
提问于2017-03-26
得票数 5
回答已采纳
2
回答
上下文swich开销与同步开销
之间
的
关系?
java
、
multithreading
、
synchronization
、
nonblocking
、
context-switch
我想了解一个简单
的
场景,在这个场景中,有那么多
线程
在
竞争同步
共享资源
。只有一个
线程
肯定会获得资源上
的
锁,
所有
其他
线程
都必须等待,现在根据资源可用性,每个等待
线程
将再次尝试获取锁,如果失败,则再次挂起等待下一次尝试。这种情况不会增加上下文切换开销,因为
线程
一次又一次地挂起并恢复以获取资源。我只想问一问,同步开销和上下文交换开销
之间
是否存在直接成正比
的
关系?2)在任何算法中引入更多<e
浏览 6
提问于2015-01-22
得票数 0
1
回答
Apache
光束抛出不能setCoder(null):java
google-cloud-dataflow
、
apache-beam
、
apache-beam-io
我是新手阿帕奇光束,我正在尝试连接到mysql数据库
的
google云
实例
。当我运行下面的代码片段时,它抛出了下面的异常。"main“中出现异常:无法
在
org.
apache
.
beam
.sdk.values.PCollection.setCoder(PCollection.java:265)处
的
org.
apache
.
beam
.sdk.repackaged.com.google.common.base.Preconditions.checkArgu
浏览 6
提问于2017-06-19
得票数 0
3
回答
C++ windows多
线程
文件锁
c
、
windows
、
multithreading
、
filelock
在
Windows上,有没有什么简单
的
方法可以
在
多
线程
C代码中以独占
的
方式(对我
的
软件进行读写)锁定文件?我尝试过LockFileEx,但它只
在
进程
之间
工作,对于(同一进程
的
)
线程
不起作用。注意:我
的
问题是我做了一个小文件服务器(多
线程
),当一个文件
的
请求到来时,一个
线程
"A“必须以独占
的
方式访问被请求
的</em
浏览 7
提问于2013-03-25
得票数 0
1
回答
无法
在
Google中使用google.cloud.sql.connector模块
google-cloud-sql
、
google-cloud-composer
我正在尝试安排数据流管道作业,以便从CloudSQL SQLServer
实例
读取内容并将其写入BigQuery表。我使用google.cloud.sql.connectorpytds设置连接。另外,我已经
在
py_requirements选项中提到了连接器模块,并且正在安装它(按照气流日志)。Py_requirements=[‘
apache
-beamgcp=2.41.0’,‘connectorpytds=0.6.1’,‘pyodbc=4.0.34’,‘sqlalchemy=1.4.41’,‘INFO -收集云-sql-python-conne
浏览 9
提问于2022-11-03
得票数 0
4
回答
如何确保多
线程
环境中
的
StringBuilder对象是GCed?(考虑到我不能使用using关键字)?
c#
、
multithreading
、
garbage-collection
、
stringbuilder
、
using
编辑:- 如何确保对象
在
多
线程
环境中被GC‘编辑?(考虑到我不能使用using关键字)?我
在
多个
线程
中使用StringBuilder,并为被调用
的
每个
线程
创建一个新
的
StringBuilder
实例
。 我关心
的
是性能,特别是它为创建这么多StringBuilder
实例
所占用
的
内存。编辑:我不想强迫GC.Collect(),因为有多个
线程
同时运行,并且它们
之间
浏览 8
提问于2014-09-16
得票数 1
回答已采纳
1
回答
使用Python
Apache
光束/数据流端输入时出错
google-cloud-dataflow
、
apache-beam
我
在
使用
Apache
Beam
端输入时遇到了一个问题,特别是AsSingleton。代码非常简单。我试图过滤一个订单列表,只保留那些高于平均值
的
订单列表,所以我计算了average_order_amount,并将其用作主' orders‘集合上
的
过滤操作
的
辅助输入。然而,我得到一个错误信息"TypeError:'>‘
在
'float’和‘AsSingleton’
的
实例
之间
不
浏览 3
提问于2020-12-03
得票数 0
回答已采纳
1
回答
ApacheBeamSDK2.20.0
的
数据流错误
python-3.x
、
google-cloud-dataflow
、
dataflow
、
apache-beam
我正试图用
Beam
2.20.0版本
在
Python3.7中构建一个
Apache
管道,该管道成功地部署
在
Dataflow上,但似乎没有做任何事情。
在
worker日志中,我可以看到以下重复报告
的
错误消息 ) 我尝试过使用sdk_locati
浏览 1
提问于2020-05-17
得票数 1
2
回答
无法
实例
化com.faster.jackson.module.scala.DefaultScaleModule
java
、
spring-boot
、
junit
、
apache-flink
、
apache-beam
我已经将我
的
SpringBoot应用程序从2.1.6.REALEASE更新到了2.4.4,现在我
的
单元测试不再工作了。我找了很多,但找不到任何解决这个问题
的
方法。 <artifactId>
beam
-sdks-java-core</artifactId> <version>$
浏览 0
提问于2021-04-19
得票数 0
1
回答
如果独立运行,则MSTest测试成功;如果与其他测试一起运行,则测试失败
c#
、
unit-testing
、
async-await
、
mstest
我遇到了这种非常奇怪
的
情况,如果我一起运行
所有
的测试,某些测试将会失败(大约有7个)。但是如果我只
在
类中运行测试(它们都是同一个类
的
一部分),那么它们就通过了。测试项目是Windows phone8.1 MSTest,我尝试使用Resharper测试运行器和MSTest测试运行器运行它,它们都显示了相同
的
问题。windowsApiService, contactAboutTrackingService,filtersTrackingService, filtersService, messageHelpe
浏览 2
提问于2016-05-28
得票数 0
2
回答
数据流SDK版本
python
、
google-cloud-platform
、
google-cloud-dataflow
、
apache-beam
、
google-cloud-datalab
我遇到了一个问题,通过从Datalab单元中运行这样
的
代码来测试Dataflow。import
apache
_
beam
as
beam
options =
beam
.options.pipeline_options.PipelineOptions:samples.shakespeare] LIMIT 10' PL | 'read' >>
beam
浏览 0
提问于2019-01-15
得票数 2
回答已采纳
3
回答
C# \ Lock \ lock
实例
成员VS lock静态成员
c#
、
multithreading
、
locking
哪个更好?这两个选项在运行时间上有什么不同吗?
浏览 1
提问于2011-07-04
得票数 1
回答已采纳
1
回答
如何干净地
实例
化某个
线程
本身中
的
线程
共享
的
全局互斥体
c
、
multithreading
、
mutex
、
glib
、
gobject
我使用GLib/GObject并面临以下问题: 我有一个类my_class,它将在运行时
在
多个
线程
中包含多个对象
实例
,其中每个对象都将存在于单个
线程
中(因此
线程
和对象
之间
存在着1:1
的
关系)。但是,对象将访问
共享资源
,我需要锁定以保护对该资源
的
访问。现在,我需要一个全局互斥( GLib世界中
的
一个GLib)
实例
,该
实例
可供
所有
要锁定
的
<
浏览 1
提问于2013-10-23
得票数 1
回答已采纳
2
回答
它是否可以作为
共享资源
依赖于单个
实例
?
java
、
spring
在
一个程序中,我计划使用在Spring中生成
的
单例hashmap,作为不同
线程
之间
的
共享资源
,但是我需要确保这个
实例
不会被重新生成,否则,我会丢失缓存
的
数据。我能依赖它吗?
浏览 0
提问于2014-05-13
得票数 1
回答已采纳
1
回答
线程
,QRunnable和QThreadPool,我无法描述细节
multithreading
、
qt
、
thread-safety
、
threadpool
我知道一般
的
理论,
线程
,QRunnable和QThreadPool。它们是如何融合在一起
的
呢?我
的
意思是,当创建QRunnable
实例
并将其分配给ThreadPool时,启动
线程
意味着什么?多
线程
可以访问同一个QRunnable吗?一个QRunnable是否必须与一个工作
线程
一对一地映射?
浏览 5
提问于2011-03-16
得票数 5
回答已采纳
1
回答
如何去除滑动窗口中
的
重复-
Apache
梁
java
、
apache-beam
、
windowing
、
beam-sql
我实现了一个具有多个无界源和侧输入
的
数据管道,用滑动窗口连接数据(30s和10s),并将转换后
的
输出发送到Kafka主题中。我
的
问题是,在窗口
的
前10秒
内
收到
的
数据被发出了3次(即)。
线程
"main“org.
apache
.
beam
.sdk.Pipeline$PipelineExecutionException: java.lang.IllegalArgumentException中
的
异常考虑
在</e
浏览 0
提问于2019-07-17
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Python的多线程threading和多进程multiprocessing
关于Kafka producer管理TCP连接的讨论
java高并发编程系列三:线程安全与数据同步
互斥锁、自旋锁、读写锁……理清它们的区别和应用
Python从0到1:threading多线程编程
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券