腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(550)
视频
沙龙
1
回答
有没有
办法
将
文件
从
本地
机器
复制到
python
+
apache
beam
中
的
Dataflow
线
束
实例
python-3.x
、
apache-beam
、
apache-beam-io
我想根据json模式
文件
验证ParDo函数
中
每个元素
的
数据。 为此,我需要从
本地
计算机复制json模式
文件
,以利用由
Python
Beam
Dataflow
SDK创建
的
Dataflow
实例
。每个单独
的
元素表示单独
的
表
的
数据(这种不同
的
元素
的
变化是26,这意味着可以根据表示表名
的
元素
中
浏览 22
提问于2021-02-11
得票数 0
1
回答
数据流flex模板作业尝试使用相同
的
job_name启动第二个作业(用于管道)
google-cloud-dataflow
我曾尝试过这样做: 当未指定任何packages.Errors:和提供一个requirements.txt
文件
时,将成功启动
Dataflow
flex模板并生成一个图形,但由于缺乏安装私有activityWorkers如果我试图为管道传递第二个job_name,管道成功地在一个单独
的
作业
中
启动,但是原始
的
flex模板作业最终由于轮询超时而失败。由于sdk
线
束
断开,管道在最后一步失败,因为“辅助VM由于缺少memory."Template错误而不得不关闭一个或多
浏览 15
提问于2022-10-18
得票数 1
2
回答
来自数据流
的
BigQuery流以静默方式失败
python
、
google-bigquery
、
google-cloud-dataflow
、
apache-beam
、
google-cloud-pubsub
我有一个成功
的
管道,使用在计算
实例
上运行
的
云
dataflow
将
数据
从
pub/sub传输到bigquery,而不是在实际
的
dataflow
运行器上运行。今天我已经更新了BQ表模式,似乎没有发生新
的
插入。我可以查看
机器
上
的
日志,一切正常-
dataflow
没有报告任何错误。
有没有
办法
从
bigquery访问流日志以检查错误
浏览 22
提问于2019-11-22
得票数 2
回答已采纳
1
回答
触发
从
GAE Cronjob运行
的
Apache
Beam
(
Python
)
python
、
google-app-engine
、
google-cloud-dataflow
、
apache-beam
在替换旧
的
appengine-mapreduce作业时,我需要一种
从
cron触发这个
python
作业
的
方法。 我正在使用GAE灵活
的
VM(没有沙箱)。我可以
将
apache
_
bea
浏览 1
提问于2017-03-26
得票数 1
3
回答
Apache
光束是否需要互联网来运行GCP数据流作业
python
、
google-cloud-platform
、
offline
、
apache-beam
、
dataflow
代码中断是因为正在尝试代表
apache
-
beam
进行http连接。以下是我在运行代码时收到
的
错误消息。(connect timeout=15)')': /simple/
apache
-
beam
/ Could not find a vers
浏览 0
提问于2019-05-18
得票数 0
1
回答
Apache
束
流管道和毒丸
java
、
google-bigquery
、
google-cloud-dataflow
、
apache-beam
、
google-cloud-pubsub
我正在使用管道
将
消息
从
PubSub写到BigQuery。在管道
中
,当
将
PubSub消息转换为TableRow时,我使用
的
是FailsafeElement<PubsubMessage, String>,并且在BigQuery
中
也有死信表,这样我就可以在转换后
的
消息
中
写入失败
的
消息但是,
从
我所读到
的
关于Poison Pills
的
文章来看,问题似乎是在转换PubSub消息之前
浏览 8
提问于2022-09-15
得票数 0
1
回答
在GCP控制台上创建数据流作业期间提供参数时出错
python
、
google-cloud-platform
、
google-cloud-dataflow
、
apache-beam
、
dataflow
从
2021年10月5日起,我
的
GCP
Dataflow
模板
文件
将
获取模板创建期间提供
的
参数值(当我在
本地
计算机上运行.py
文件
以便在GCP存储上创建模板
文件
时),而不获取基于此模板
文件
的
作业创建过程中提供
的
参数如果我在模板创建过程
中
没有提供任何值,它们
将
采用RuntimeValueProvider (当不使用args
的
默认值时)
浏览 15
提问于2021-10-11
得票数 0
回答已采纳
2
回答
apache
beam
2.7.0漏洞在utf-8解码法国字符
python-2.7
、
google-cloud-platform
、
google-cloud-datastore
、
apache-beam
在尝试了
从
“拉丁语-1”到"utf-8“
的
编码和解码,但没有成功(使用unicode、unicodedata和编解码器)之后,我尝试手动更改.,方法是打印一个带有重音
的
字符串到
文件
中
,然后将其写入
文件
中
,这是有效
的
!='ignore'):但是我意识到
apache
_
beam
不使用这个<
浏览 1
提问于2018-10-17
得票数 3
4
回答
GCP数据流与
python
。"AttributeError:无法在模块'
dataflow
_worker.start‘上获得属性'_JsonSink’
python
、
json
、
google-cloud-platform
、
google-cloud-dataflow
我是GCP数据流
的
新手。
apache
_
beam
.runners.
dataflow
.
dataflow
_runner.DataflowRuntime
浏览 6
提问于2019-10-16
得票数 5
1
回答
用
DataFlow
读取计算引擎
的
数据
google-compute-engine
、
google-cloud-dataflow
我想在Google上读取来自MariaDB
的
数据,并通过
DataFlow
将
数据写入BigQuery,但在DataFlowRunner上运行
DataFlow
程序时,我总是会遇到以下异常。address=(host=xxx.xxx.xxx.xxx)(port=3306)(type=master):java.lang.RuntimeException: org.
apache
.
beam
.sdk.util.UserCodeException: java.sql.SQLException:无法创建P
浏览 1
提问于2018-03-14
得票数 0
回答已采纳
1
回答
GCP数据流Kafka和丢失
的
SSL证书
python
、
ssl
、
google-cloud-platform
、
apache-kafka
、
google-cloud-dataflow
我试图使用
从
Kafka获取数据到Bigquery。我
的
数据流模板基于PythonSDK2.42+容器注册表+
apache
_
beam
.io.kafka。IMAGE \ --no_use_public_ips \我添加到Dockerfile
中
的
所有证书kafka \问
浏览 16
提问于2022-11-06
得票数 0
回答已采纳
3
回答
GCP数据流模板
的
分级支持?
maven
、
gradle
、
google-cloud-dataflow
、
archetypes
Dataflow
的
1.x和2.x版本在细节上相去甚远,我有一些特定
的
代码要求将我锁定在2.0.0r3代码基
中
,所以我几乎需要使用
Apache
。然而,现在我们似乎陷入了僵局,因为我们有一个特定
的
目标,试图将我们
的
许多后端会议集中在GCP
的
Dataflow
中
,而GCP
Dataflow
似乎没有对Gradle
的
正式支持。如果是的话,那就不在官方
文件
里了。 是否有足够<e
浏览 5
提问于2017-04-28
得票数 8
回答已采纳
1
回答
Google
Python
云-数据流
实例
在没有新部署
的
情况下中断(失败
的
pubsub导入)
python
、
pip
、
google-cloud-dataflow
、
google-cloud-pubsub
、
requirements.txt
我在Google环境
中
为AppEngine定义了几个不同
的
云数据流作业。我已经在一个requirements.txt
文件
中
定义了我
的
需求,包括了我
的
setup.py
文件
,而且一切都很正常。这是我
的
requirements.txt
文件
apache
-
beam
[gcp]==2.1.1google-cloud-
dataflow</em
浏览 1
提问于2018-06-06
得票数 1
1
回答
数据流写入数据存储:“消息:数据存储事务或写入太大。”
python
、
google-cloud-datastore
、
google-cloud-dataflow
、
apache-beam
我刚开始讲数据流/阿帕奇梁我用
Python
编写了
Dataflow
管道,
将
大量产品目录(存储在JSON
文件
中
的
> 50K产品)导入到Datastore
中
。管道在我
的
本地
机器
(DirectRunner)上运行良好,但在DataflowRunner上失败,错误消息如下: RPCError: datastore call commit [while running我
的
猜测是,Datastor
浏览 0
提问于2017-11-15
得票数 1
2
回答
阿帕奇·梁是什么?
apache-beam
我正在查看
Apache
的
帖子,发现了一个新
的
术语,名为
Beam
。谁能解释阿帕奇·梁到底是什么?我试着搜索出,但无法得到一个明确
的
答案。
浏览 1
提问于2016-02-08
得票数 56
1
回答
谷歌云数据流-来自PubSub消息
的
Pyarrow架构
python
、
google-cloud-dataflow
、
apache-beam
、
google-cloud-pubsub
、
pyarrow
消息以json格式进入PubSub,我必须定义一个模式,以便将它们写入Google Cloud Storage
中
的
parquet格式。 根据其他用户
的
建议,我
从
特别研究和源代码开始着手这项任务。第一个不是我想要做
的
,因为它将更改应用到json
文件
(它通过一个窗口合并它们,
将
原始
的
json放入一个字段"message“
中
,并添加一个表示发布时间
的
时间戳)。具体地说,模式是
从
BigQuery<
浏览 3
提问于2020-07-23
得票数 0
2
回答
返回"No“
docker
、
apache
、
apache-beam
、
python-3.8
我遇到了阿帕奇·梁博士
的
问题。在尝试运行容器时,我得到
的
是"No id provided."消息,仅此而已。下面是代码和
文件
:FROM
apache
/
beam
_
python
3.8_sdk:latestRUN apt install -y wget curl/
beam
/requirements.txt ENV PYTHONPATH=/root/da
浏览 3
提问于2021-09-15
得票数 6
回答已采纳
1
回答
如何
将
大数据
从
GCS
复制到
S3?
amazon-s3
、
google-cloud-storage
、
google-cloud-dataflow
如何
将
几兆字节
的
数据
从
GCS
复制到
S3?问:为什么gsutil不呢?我尝试了
Dataflow
(也就是
Apache
),它可以很好地工作,因为它很容易并行化,比如100个节点,但是没有看到简单
的
‘从这里
复制到
那里’
的
函数。更新:而且,在启
浏览 0
提问于2019-02-17
得票数 1
1
回答
通过
Apache
airflow进行编排时,
将
apache
Beam
版本升级到2.11.0失败
python-2.7
、
google-cloud-dataflow
、
airflow
、
apache-beam
Apache
光束
Python
SDK升级到2.11.0问题。
apache
_
beam
==2.11.0 httplib2==0.11.3 google-cloud-storage==1.3.0为了管理光束管
浏览 8
提问于2019-03-27
得票数 1
1
回答
Apache
梁
本地
Python
依赖项
python
、
google-cloud-dataflow
、
apache-beam
我有
本地
的
package,我想在
Apache
管道中使用它,并使用
DataFlow
运行程序。我试着遵循文档中提供
的
说明: (局部或非PyPI依赖项),但没有成功。
文件
中
包含: return "Hello"ImportError: No module named shared 有趣
的
是,当
浏览 1
提问于2017-10-06
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
大数据平台架构方法论、模型与实践深度观察
linux从入门到实践
谷歌推出Bigtable联邦查询,实现零ETL数据分析
Apache NiFi介绍及使用体验
Air-GappedDGX运维指南
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券