腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Python
套接字缓冲:消息成帧
python
、
sockets
、
tcp-ip
我在TCP/IP套接字上接收从外部硬件(Zigbee接收器)到PC的
数据流
(46字节)。然后通过
Python
编程,从接收到的来自TCP/IP套接字的
数据流
中提取报文。我的
python
源代码并从
数据流
中提取数据,如下面的链接所示 如果我在单个流中接收到完整的数据包,我可以提取数据。但有时,单个数据包在两个
数据流
中接收(损坏),此时我无法从流中提取我的消息。 我不太熟悉
浏览 4
提问于2012-07-10
得票数 0
1
回答
用于
Python
的静态
数据流
图生成器?
python
、
programming-languages
、
static-analysis
、
dataflow
、
graphml
为了找到一个用于
Python
的静态
数据流
图生成器,我已经挣扎了相当一段时间。 这是我的理想:给定一个小型
python
脚本example.py (用
Python
3编写),返回
数据流
图的一些表示。我想知道是否有人知道DFG工具可以为
Python
进行这种静态
数据流
分析?
浏览 5
提问于2020-05-15
得票数 4
1
回答
从
数据流
作业中删除Google存储中的文件
python-3.x
、
google-cloud-platform
、
google-cloud-storage
、
apache-beam
、
google-dataflow
我有一个在
python
3.7中用apache创建的
数据流
,在这里我处理了一个文件,然后我不得不删除它。该文件来自google桶,问题是当我使用DataflowRunner运行程序时,我的工作无法工作,因为Google
python
3.7环境中没有安装Google云存储API。你们知道吗,不使用这个API,我怎么才能删除
数据流
中的文件呢?我见过apache_beam模块,如,但我不知道如何使用它,也没有找到关于如何使用该模块的教程或示例。
浏览 4
提问于2020-07-15
得票数 1
回答已采纳
1
回答
云
数据流
:如何在PubSub to BigQuery中使用谷歌提供的模板
google-bigquery
、
google-cloud-dataflow
、
google-cloud-pubsub
然后使用GCP
数据流
将
数据流
式传输到BigQuery中。我正在使用Java进行
数据流
。目前,我正在将字符串格式的消息发送到PubSub (这里使用
Python
)。但是
数据流
中的模板只接受JSON消息。
python
库不允许我发布JSON消息。有没有人能给我一个建议,把JSON消息发布到PubSub,这样我就可以使用
数据流
模板来完成这项工作。
浏览 18
提问于2018-02-21
得票数 0
2
回答
如何在
python
代码中向
数据流
传递--autoscaling_algorithm=NONE标志?
python
、
google-cloud-platform
、
google-cloud-dataflow
、
apache-beam
、
dataflow
我正在使用
python
dataflow.projects().templates().launch()函数启动
数据流
模板,以启动从jdbc到bigquery模板的
数据流
作业。如何在这个
python
函数中传递"--autoscaling_algorithm=NONE“标志?
浏览 1
提问于2020-11-19
得票数 0
1
回答
气流如何从
python
操作符创建
数据流
作业?
python
、
google-cloud-platform
、
airflow
、
apache-beam
、
dataflow
当我通过命令行运行我的束流管道时,使用直接流道或
数据流
流道,它工作得很好.,我有两个选择,bash操作符或
python
操作符。但是我想要做的是作为
python
操作符运行它。因此,我正在导入气流dg文件中的模块,然后作为
python
操作符运行它。如果我使用本地运行程序,它也可以正常工作,但是当我将它更改为
数据流
运行程序时,在使用此错误在GCP
数据流
上创建作业后,它将失败。ImportError: No module named airflow.bin.cli 让气流从
python<
浏览 3
提问于2019-01-28
得票数 0
1
回答
Bigquery到Bigtable在
python
中使用google
数据流
进行数据传输
python
、
google-bigquery
、
google-cloud-dataflow
、
dataflow
、
bigtable
我们使用用JAVA编写的
数据流
管道将数据从bigquery传输到bigtable。例如 我正在尝试用
python
编写相同的代码。但是我无法获得
python
的bigtable
数据流
连接器。
浏览 1
提问于2018-04-11
得票数 1
回答已采纳
1
回答
在
数据流
作业中安装
Python
包
python
、
dataflow
在我的
数据流
(beam)工作流中,我使用来自
Python
的datetime包(在gcp上使用jupyter notebook )。当我用pip安装缺少的包时,一切都很好。现在我想在gcp上运行我的转换为
数据流
作业。我总是得到错误的"NAME ERROR“,因为datetime是未知的(当我使用Apache beam SDK for
Python
时得到这个错误),有人能给我一个提示如何将
Python
包添加到
数据流
作业吗
浏览 1
提问于2020-11-16
得票数 0
1
回答
哪些运行器支持apache中的kafkaIO?
apache-kafka
、
google-cloud-dataflow
、
apache-beam
、
apache-beam-io
我的任务是从kafka主题中提取数据,并在
数据流
中进行处理。
数据流
是否支持kafkaIO? KafkaIO支持哪些runners?
浏览 0
提问于2020-07-08
得票数 2
2
回答
Google Cloud Dataflow - Java SDK与
Python
java
、
python
、
google-cloud-platform
、
google-cloud-dataflow
、
apache-beam
考虑到这些任务,是否有使用Java 或
Python
编写作业的建议?他们之间在性能和功能方面有什么明显的差异吗?提前谢谢你的时间!
浏览 3
提问于2020-07-07
得票数 0
回答已采纳
1
回答
运行一个n2标准2机器类型的
数据流
作业,该
数据流
作业将在任何时候只使用2 vCPU运行,还是可以自动缩放到配额限制。
google-cloud-platform
、
google-cloud-dataflow
关于机器类型的
数据流
作业,我有一个问题。我理解
数据流
使用默认机器类型n1-standard-1进行批处理,并且我们在亚洲有配额问题-- n1机器类型为South1。我们被要求使用N2机器类型代替。因此,在创建
数据流
模板时,甚至在从云shell运行
数据流
作业时,我将机器类型指定为--project <project> \--zone asia-south1-a \
浏览 3
提问于2021-04-15
得票数 0
回答已采纳
1
回答
XBee传感器、ConnectPort X4H和Digi云的通信
api
、
cloud
、
xbee
、
zigbee
我们知道ConnectPort是在
Python
中构建的,但是只支持2.4.3
Python
版本。 由于每个XBee传感器都有1个温度、1个湿度和1个光传感器,我们希望为每个XBee传感器指定3个
数据流
浏览 2
提问于2015-12-02
得票数 1
回答已采纳
2
回答
谷歌云
数据流
卡住
google-cloud-dataflow
最近,我在运行用
Python
编写的
数据流
作业时遇到了这个错误。问题是,它曾经工作过,而且没有任何代码改变,所以我认为它与env有关。错误同步pod d557f64660a131e09d2acb9478fad42f (""),跳过"StartContainer“以"
python
”表示CrashLoopBackOff:“后退20次,重新启动失败的container=
python
pod=
数据流
-) 有人能帮我吗?
浏览 0
提问于2018-08-31
得票数 1
1
回答
Azure
数据流
通用管理框架
azure-data-factory
、
azure-data-factory-pipeline
、
azure-data-flow
我想用
数据流
创建一个使用通用
数据流
管道的数据管理框架。对于每个原始数据提要,需要为
数据流
脚本提供验证逻辑(某些列不应该为null,有些列应该具有特定的数据类型和值范围,等等)。使用
Python
,使用所提供的参数准备的
数据流
脚本创建Data和映射
数据流
管道(用于模式验证) 触发
python
代码,为每个提要创建管道,进行验证,将问题写入Log工作区,并按特定计划删除资源我的总体目标是减少验证/管理数据提要的时间,因此我希望为每个提要快速准备验证逻辑,并
浏览 4
提问于2021-07-14
得票数 1
回答已采纳
1
回答
使用google-api-php-client-services在google cloud ml引擎中进行预处理
google-cloud-ml-engine
我正在使用google-api- PHP -client-services在google云中训练我的PHP网站的数据。如何使用这个库在中进行预处理?
浏览 2
提问于2017-07-21
得票数 0
1
回答
除了google云
数据流
之外,是否还有任何运行程序支持?
apache-spark
、
google-cloud-dataflow
、
apache-beam
、
hpc
我已经使用google云
数据流
和apache构建了大约一年的
python
管道。我把谷歌的云环境留给了一个,它已经安装了火花。看起来火花运行器只适用于java ()吗?对于如何在云
数据流
之外运行
python
管道,有什么建议吗?
浏览 0
提问于2018-03-13
得票数 0
回答已采纳
1
回答
设置AWS Kinesis cloudformation模板
amazon-web-services
、
amazon-cloudformation
、
amazon-kinesis
我是AWS cloudformation的新手,需要创建一个Kinesis
数据流
,然后使用
python
代码将记录写入此
数据流
。我可以通过cloudformation模板创建
数据流
,但不能设置权限。我将如何附加一个权限,以允许某些用户组使用
python
库写入此kinesis
数据流
?
浏览 25
提问于2019-04-23
得票数 0
回答已采纳
1
回答
以编程方式编辑Dataprep配方
google-cloud-platform
、
google-cloud-dataflow
、
google-cloud-dataprep
我们使用
数据流
模板远程调用此dataprep作业。我们正在使用
python
从
数据流
模板运行作业。 由于我们需要对不同的文件执行此操作,因此需要动态修改配方并在dataprep中执行作业。可以从
Python
代码(远程)编辑dataprep作业的配方吗?如果是,是否可以从
Python
代码触发dataprep作业?
浏览 1
提问于2018-06-15
得票数 1
1
回答
离线螺纹上的酸洗负载
multithreading
、
pickle
调用ObClass的prep()会阻塞主线程,直到泡菜结束。为什么?我如何在后台解锁数据?def PrepFn(ob): try: f = open(ob.filename, "rb") print "end load" print(str(msg)
浏览 4
提问于2015-11-19
得票数 2
回答已采纳
1
回答
为google
数据流
REST API提供输入
google-cloud-dataflow
google data flow REST API - dataflow.projects.jobs.create的必选参数是什么?请提供样本数据。
浏览 10
提问于2016-09-22
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
TCP交互数据流
数据流形的变分推断
net中的数据流模式
数据流的未来前景如何?
初学者数据流图指南
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券