腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
使用
setup.py
在
数据流
中
运行
apache
作业
时
的
ModuleNotFoundError
python
、
google-cloud-dataflow
、
apache-beam
我有一个
apache
beam管道,我用来提交给google dataflow,它
运行
成功。随着时间
的
推移,我
的
代码不断增长,我希望将其构建为多个文件依赖项。这就是为什么我提到了阿帕奇光束部分Multiple File Dependencies 当我按如下方式组织代码
时
: root_dir/ main.py extract/ extract.py 当我
在<
浏览 2
提问于2021-09-24
得票数 1
回答已采纳
1
回答
在
数据流
作业
中
安装Python包
python
、
dataflow
在
我
的
数据流
(beam)工作流
中
,我
使用
来自Python
的
datetime包(
在
gcp上
使用
jupyter notebook )。当我用pip安装缺少
的
包
时
,一切都很好。现在我想在gcp上
运行
我
的
转换为
数据流
作业
。我总是得到错误
的
"NAME ERROR“,因为datetime是未知
的
(当我
使用
浏览 1
提问于2020-11-16
得票数 0
1
回答
附加安装程序2.10.0
时
的
数据流
SDK 2.7.0
python
、
google-cloud-platform
、
sdk
、
google-cloud-dataflow
、
apache-beam
我正在尝试
运行
数据流
作业
,具有以下
setup.py
文件: import setuptools name='Some-Name',version='0.0.1', '
apache
-beam==2.10.0','
浏览 12
提问于2019-03-18
得票数 1
1
回答
Google Dataflow with Python无法安装工作流:退出状态%1
python-2.7
、
google-cloud-dataflow
我
的
Google Dataflow
作业
使用
本地
运行
器
在
本地
运行
,但无法
使用
DataflowRunner构建用于
运行
管道
的
包。我
在
apache
-beam[gcp]==2.6.0上遇到了这个问题,同样
的
流水线也
在
apache
-beam[gcp]==2.4.0上工作 我
的
代码可以
在
本地
使用
Direc
浏览 14
提问于2019-04-17
得票数 1
2
回答
使用
DataFlow runner (
使用
Bazel)
运行
梁
作业
时
出错:未找到模块错误
google-cloud-dataflow
、
apache-beam
、
bazel
、
dataflow
我正在尝试
使用
python sdk在
数据流
上
运行
波束
作业
。我
的
目录结构是:
setup.py
beamjobs/当我
使用
python main.py直接
运行
作业
时
,
作业
可以正确启动我
使用
setup.py
打包代码,并
使用
运行
时选项
浏览 31
提问于2021-06-07
得票数 1
回答已采纳
1
回答
在从CircleCI启动
的
数据流
/
Apache
-beam
作业
上找不到库
python
、
google-cloud-dataflow
、
apache-beam
、
circleci
、
google-api-python-client
我
在
使用
从CircleCI启动
的
GCP Dataflow runner
运行
python
Apache
光束管道
时
遇到了严重
的
问题。基本上,我
运行
的
是在
数据流
中
运行
并
使用
google-api-python-client-1.12.3
的
python
Apache
光束管道。如果我
在
我
的
机器(pytho
浏览 10
提问于2020-10-13
得票数 2
回答已采纳
2
回答
数据流
作业
中
的
ModuleNotFoundError
python
、
google-cloud-platform
、
google-cloud-dataflow
、
pipeline
、
apache-beam
我试图
在
Google平台中作为
数据流
作业
执行
apache
管道。
使用
显示
在
utils文件夹
中
的
自定义日志模块计算从BigQuery获取
的
总记录。我
使用
使用
command - python3 - main.py
的
云shell
运行
作业
虽然
数据流
作业
开始了,但是
在
几分钟后,工作节点在说"<
浏览 1
提问于2021-09-17
得票数 1
回答已采纳
4
回答
Google
数据流
工作人员
的
自定义VM映像
google-cloud-dataflow
浏览了文档之后,我
的
印象是worker
运行
一个特定
的
预定义Python2.7环境,而没有任何选项来更改它。是否可以为工作人员提供自定义VM映像(由特定应用程序需要
的
库、外部命令构建)。
在
Gcloud Dataflow上
运行
Python 3是可能
的
吗?
浏览 0
提问于2018-02-14
得票数 5
回答已采纳
2
回答
Apache
梁DataFlow转轮抛出设置错误
python
、
google-cloud-dataflow
、
apache-beam
我们正在
使用
构建数据管道,并试图
在
Dataflow上
运行
,但是得到以下错误,我们尝试增加内存大小、工作人员数量等,但仍然得到相同
的
错误。这是我们
使用
的
命令,--project=xyz \--staging_location
浏览 0
提问于2018-03-23
得票数 4
回答已采纳
1
回答
PGPy不会在GCP
数据流
管道上
运行
google-cloud-platform
、
google-cloud-dataflow
、
apache-beam
、
python-3.8
我试图
在
使用
Apache
实现
的
自定义GCP
数据流
管道中
使用
PGPy库。我得到
的
是,所有东西都与DirectRunner一起工作,但是当我部署
作业
并在DataflowRunner上执行它
时
,就会得到PGPy
使用
方面的一个错误: 我想我错过了DataflowRunner
的
一些东西。
浏览 1
提问于2021-01-04
得票数 0
回答已采纳
1
回答
python
数据流
作业
在
部署
时
使用
requirements_file参数后不接受来自pubsub订阅
的
消息
python
、
google-cloud-platform
、
google-cloud-dataflow
、
dataflow
在
写入大型查询之前,我想
使用
数据流
作业
对来自pubsub订阅
的
即将到来
的
消息进行加密。我
使用
pycryptodome==3.9.8,cryptography==3.1 python库来做这件事。在
数据流
作业
中
,我
使用
了以下两个导入 从加密导入随机从Crypto.Cipher导入AES 当我尝试
在
没有--requirements_file参数
的
情况下部署
数据
浏览 6
提问于2020-09-25
得票数 1
回答已采纳
1
回答
运行
Python FLEX模板
时
出错:找不到子目录
中
的
模块
python
、
dataflow
我正在尝试
使用
Flex模板
运行
数据流
作业
,但是我遇到了一个‘模块找不到错误’
的
问题,我不知道为什么,所以下面是我
的
目录结构 |____ edgar_quarterly_form4.py|__ main.py|__ __init__.pyfrom modules import}&
浏览 2
提问于2021-06-06
得票数 0
1
回答
无法
在
Google中
使用
google.cloud.sql.connector模块
google-cloud-sql
、
google-cloud-composer
我正在尝试安排
数据流
管道
作业
,以便从CloudSQL SQLServer实例读取内容并将其写入BigQuery表。我
使用
google.cloud.sql.connectorpytds设置连接。当我通过Google
运行
手动
数据流
作业
时
,它成功地
运行
。气流版本(
使用
)失败了,给出了名称错误。“NameError:未定义”名称“连接器” 我启用了保存主会话选项。另外,我已经
在
py_requirements选项中提到了连接器
浏览 9
提问于2022-11-03
得票数 0
2
回答
在
Google Dataflow上安装apt-get dependencies with Beam Java SDK
java
、
opencv
、
google-cloud-platform
、
google-cloud-dataflow
、
apache-beam
我们目前正在尝试让OpenCV
在
谷歌云
数据流
上
的
Java
作业
中
运行
。不幸
的
是,我们不能用安装了OpenCV
的
容器替换
数据流
正在
使用
的
Docker容器。()如果我们
使用
的
是Python SDK,那么有一个选项可以指定一个可用于调用apt-get
的
setup.py
文件。对于
使用
Java SDK创建
的</em
浏览 11
提问于2017-08-23
得票数 3
回答已采纳
1
回答
CloudFunction创建
的
数据流
作业
上
的
ModuleNotFoundError
python
、
google-cloud-platform
、
google-cloud-functions
、
google-cloud-dataflow
我
在
使用
CloudFunctions创建
数据流
作业
时
遇到问题。我
在
main.py上有:from module01import some_things 一切看起来都很好- CloudFunctions端没有错误,<
浏览 0
提问于2020-09-30
得票数 0
2
回答
如何从GCP
中
的
云函数调用用Go编写
的
数据流
作业
python
、
go
、
google-cloud-functions
、
google-cloud-dataflow
、
apache-beam
我
的
目标是创建一种机制,当一个新文件上传到云存储
中
时
,它将触发一个云函数。最终,这个云函数将触发一个云
数据流
作业
。在用Go编写
的
Cloud
中
,问题是
Apache
中
没有定义template-location变量。这就是我不能创建
浏览 0
提问于2019-01-13
得票数 4
回答已采纳
1
回答
数据流
工作进程启动失败
google-cloud-platform
、
google-cloud-dataflow
我有一个
数据流
作业
,它无法启动工作进程,错误如下: from
浏览 8
提问于2018-08-08
得票数 0
1
回答
数据流
作业
访问外部URL
的
问题
google-cloud-platform
、
google-cloud-dataflow
、
dataflow
我有一个
数据流
作业
,它执行以下代码>>> headers={'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64Master Index of EDGAR Dissemination Feed\n', b'Last Data Received: March 31, 2019\n'] 现在,完全相同
的
代码嵌入到
数据流
浏览 3
提问于2021-07-02
得票数 0
2
回答
ModuleNotFoundError
:在
运行
GCP
数据流
作业
时
没有名为“oracledb”
的
模块
python
、
oracle
、
google-cloud-platform
、
google-bigquery
、
google-cloud-dataflow
由于我们
使用
一个没有internet访问权限
的
特殊子网来
运行
数据流
作业
,所以我们
使用
setup.py
从GCS桶安装依赖包。下面是
使用
setup.py
创建
数据流
模板
的
命令行:依赖程序包存
浏览 4
提问于2022-08-17
得票数 0
1
回答
我们可以
使用
FTP
在
apache
-beam中导入数据吗?
ftp
、
google-cloud-dataflow
、
apache-beam
、
ftps
我写了一个
数据流
作业
使用
阿帕奇梁,这需要从ftplib导入FTP_TLS服务器
使用
FTPS导入BigQuery
中
的
数据。但是当我尝试导入FTPS Class ftps = FTP_TLS('ftp.xxxxx.xxx')
时
,我得到
的
错误是"TypeError: can't pickle SSLContext objects我尝试将包放在
setup.py
中
,以导入ftplib包,
浏览 8
提问于2020-06-09
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
如何通过Ansible来管理上千台服务器?
Flink高级应用模式第二辑:应用模式的动态更新
官宣:Apache Flink 1.14.0 发布
Spark Streaming与Kafka 整合的改进
Spark 概述以及与Hadoop的关系
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券