腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
云
数据
融合
与
DataFlow
的
差异
分析
google-cloud-dataflow
、
google-cloud-data-fusion
GCP管道服务之间
的
区别是什么:
云
数据
流和
云
数据
融合
...对你来说是什么时候? 我做了一个高级定价,在
数据
融合
中使用了10个基本实例。
数据
流中
的
10个实例集群(n1-standard-8)。
数据
扩散
的
价格要高出一倍以上。 彼此之间
的
优缺点是什么?
浏览 32
提问于2021-04-08
得票数 0
1
回答
在
数据
流中缓存
数据
集
google-cloud-platform
、
google-cloud-dataflow
我想知道我是否可以在Google
Dataflow
平台上直接缓存
数据
集(就像在Spark中缓存RDDs一样)。如果没有这样
的
功能,
Dataflow
如何在应用程序中挑选热门
数据
集,特别是当您有多个热门
数据
集,并且您希望根据
数据
集
的
重要性来确定缓存
的
优先级时?
浏览 1
提问于2017-09-02
得票数 2
1
回答
BigQuery
数据
仓库设计?
google-bigquery
、
google-cloud-dataflow
、
dataflow
、
bigtable
我正试图在Google
云
平台上设计一个系统,在那里我可以执行所有这些转换。请帮帮忙。HDFS::着陆区->级1区->级2区 着陆区--对于具有原始
数据
级1区域
的
数据
--来自着陆区
的
原始
数据
被转换,然后更改为不同
的
数据
格式和/或非规范化并存储在第1阶段2区域中--第1阶段
的
数据
在交易表上更新如果它只是一个时间段
数据
,那么仍然是基于HDFS
的
HIVE表,那么,报告
浏览 0
提问于2018-08-14
得票数 0
回答已采纳
3
回答
Google Cloud
Dataflow
v/s Google Cloud Data Fusion
google-cloud-platform
、
google-cloud-dataflow
我最近看到GCP中有一个名为Data Fusion
的
新工具,看看它,
与
Dataflow
相比,它似乎是创建ETL管道
的
一种更简单
的
方法。因此,我们可以假设它是
数据
流
的
替代品吗?
浏览 25
提问于2019-07-09
得票数 5
2
回答
数据
流:动态工作重新平衡
与
融合
google-cloud-dataflow
、
apache-beam
动态工作重新平衡将工作最佳地分配给工作人员,其中
融合
将折叠执行图,因此该图将更小,这意味着更少
的
工作人员参与。动态工作重新平衡如何帮助
融合
,以便即使
融合
的
存在,工作
的
分配也是最优
的
?例如,如果
融合
的
worker因为map步骤中发生
的
扇出而苦苦挣扎。从逻辑上讲,应该涉及更多
的
工人,但图是
融合
的
。在这种情况下,动态工作重新平衡还能发挥作用吗?
浏览 22
提问于2019-01-15
得票数 0
回答已采纳
2
回答
如何使BigQuery SQL管道自动化
google-cloud-platform
、
google-bigquery
、
google-cloud-dataflow
我使用BigQuery SQL创建了一个
数据
管道。首先从
云
存储中导入CSV文件,然后进行不同
的
分析
,包括利用BigQueryML地理函数进行预测建模和利用解析函数进行KPI计算。我能够成功地手动运行不同
的
查询,现在我想要自动化
数据
管道。 我
的
第一个选择是
DataFlow
SQL,但事实证明
Dataflow
SQL查询语法不支持地理函数。
DataFlow
python不是一种选择,因为完整
的
分
浏览 3
提问于2020-04-21
得票数 2
回答已采纳
1
回答
谷歌
数据
融合
是否可以
与
DataPrep进行同样
的
数据
清理?
google-cloud-platform
、
google-cloud-dataflow
、
google-cloud-dataprep
、
google-cloud-data-fusion
我想用一些
数据
运行一个机器学习模型。在用这些
数据
训练模型之前,我需要对它进行处理,所以我一直在阅读一些方法。首先创建一个
Dataflow
管道,将其上传到Bigquery或,然后使用创建一个
数据
管道来清理它。另一种方法是使用
数据
融合
,它可以更容易地创建
数据
管道,但我不知道--这是我
的
怀疑,
数据
融合
--它只是创建一个像
Dataflow
这样
的
管道,然后我必须使用DataPrep来清理<e
浏览 1
提问于2019-09-30
得票数 8
回答已采纳
11
回答
物联网技术在智慧城市中应用难点
与
疑点?
大数据
、
物联网
、
连接
、
网络
、
智慧城市
智慧城市是通过互联网无处不在
的
城市智能化传感器连接而形成
的
“物联网”,利用
云
计算,大
数据
技术对感知信息进行智能处理和
分析
,实现网络数字城市
与
物联网
的
融合
,然而存在很多问题,那么物联网技术在智慧城市中应用
的
难点和疑点有哪些
浏览 1451
提问于2018-04-12
2
回答
Google
数据
融合
-从REST端点源构建管道
rest
、
pagination
、
endpoint
、
google-cloud-data-fusion
尝试构建从第三方REST端点
数据
源读取
的
管道。 "email": "example@aol.com" {...}}分页
数据
融合
HTTP插件有许多处理分
浏览 4
提问于2020-01-31
得票数 5
2
回答
无法从
数据
融合
连接Cloud / postgreSQL实例
cloud
、
google-cloud-sql
、
sslsocketfactory
、
google-cloud-data-fusion
目标是使用
云
数据
融合
连接Cloud或postgreSQL实例。用MySQL和postgreSQL创建Cloud实例 在添加连接中使用jdbc url作为jdbc:mysql:/
浏览 2
提问于2019-08-01
得票数 0
2
回答
无法将MySQL
的
云
数据
融合
与
Cloud
与
私有IP连接
google-cloud-platform
、
google-cloud-sql
、
google-cloud-data-fusion
、
cloud-sql-proxy
我知道有许多类似的问题,但我无法找到解决我
的
问题
的
答案。 我还需要做些什么吗?在
数据
融
浏览 6
提问于2021-04-22
得票数 0
回答已采纳
2
回答
用于NRT
数据
应用
的
Google
apache-spark
、
apache-kafka
、
google-cloud-platform
、
google-cloud-dataflow
、
bigdata
同时,
数据
将通过用于
分析
和ML
的
流和批处理(持久)管道提供。 独立
的
TCP客户端从外部TCP服务器读取流
数据
。客户端根据
数据
包(Kafka)发布不同主题
的
数据
,并将其传递给流式
分析
管道(Spark)。我读到了谷歌
云
DataFlow
,
云
存储,BigQuery和Pub。
数据
流提供了实时监测
数据
管道
的
自动缩放
浏览 2
提问于2016-02-16
得票数 0
6
回答
Google Cloud
Dataflow
和Google Cloud Dataproc之间
的
区别是什么?
google-cloud-platform
、
google-cloud-dataflow
、
google-cloud-dataproc
我正在使用Google Data Flow来实现一个ETL
数据
仓库解决方案。而且看起来DataProc比
DataFlow
便宜一点。有没有人知道相对于DataProc,
DataFlow
的
优缺点 为什么谷歌同时提供这两种服务?
浏览 1
提问于2017-09-27
得票数 66
1
回答
体系结构帮助-替代ETL
数据
流和处理
google-cloud-platform
、
google-bigquery
、
google-cloud-storage
、
google-cloud-dataflow
我正在寻找一些关于为一个简单
的
ETL工作构建一个架构
的
指导。我已经构建了一个解决方案,但我正在寻找方法来改进或尝试另一个体系结构。这里是我
的
用例: 为此,我构建了一个解决方案,用户可以将csv格式
的
源
数据
上传到
云
存储。我使用
浏览 2
提问于2018-08-03
得票数 0
1
回答
如何使用
数据
流更新
云
IoT核心中
的
IoT设备配置?
google-cloud-platform
、
google-cloud-dataflow
、
google-cloud-iot
、
gcp-ai-platform-training
我正在使用谷歌
云
平台来收集IoT
数据
。然后进行
分析
,可能是在AI平台上,我想将一些检索到
的
数据
作为配置设置发送到IoT设备。我已经看到了几个流程图(见下文),显示了
数据
如何通过
数据
流从AI平台流动到IoT核心作为设备配置,但我该如何做到这一点?(我之前仅通过Cloud Functions发送设备配置更新。) ? 我是
Dataflow
和AI平台
的
新手,但已经开始考虑向
Dataflow
中
的
Apac
浏览 19
提问于2020-06-11
得票数 0
回答已采纳
4
回答
Google
Dataflow
对Apache Spark
apache-spark
、
google-cloud-dataflow
、
distributed-computing
、
google-cloud-ml
我正在调查、Google、
Dataflow
、和Apache ,以决定哪种解决方案更适合我们
的
大
数据
分析
业务需求。我发现在spark平台中有Spark SQL和MLlib来进行结构化
数据
查询和机器学习。 我想知道谷歌
数据
流平台中是否有相应
的
解决方案?
浏览 2
提问于2015-11-04
得票数 32
回答已采纳
1
回答
从读取KMS加密文件
google-cloud-platform
、
google-cloud-dataflow
、
google-cloud-kms
我浏览过谷歌
云
,其中提到:- Q.1.这是否意味着我们不需要在我们
的
束代码中解密加密
的
源文件?
Dataflow
有此功能内置吗?问
浏览 7
提问于2022-05-19
得票数 0
回答已采纳
2
回答
GCP
DataFlow
对CloudFunctions
的
小规模和更少
的
更新频率
google-cloud-platform
、
google-cloud-functions
、
google-cloud-dataflow
如果我有一个csv,它将更新SQL
数据
库中
的
条目。文件大小最大为50 KB,更新频率为每周两次。另外,如果我需要做一些自动化
的
理智测试 我应该使用什么
数据
流或
云
功能。
浏览 11
提问于2022-05-10
得票数 2
1
回答
我需要创建一个python脚本,它使用ZEEP或请求模块调用SOAP方法。
python
、
web-services
、
soap
、
python-3.5
、
oracle-fusion-apps
我需要从Oracle
融合
云中获取
数据
。我希望使用SOAP调用在Oracle
融合
云
实例上运行报告,并将
数据
输入CSV文件。我需要使用
的
操作来自上述WSDL是“runReport”。当我从SOAP为“runReport”操作运行此请求时,我将得到如下所示
的
预期结果: 我在python (Python3.5)中使用下面的代码来调用这个API。我使用了请求和ZE
浏览 3
提问于2021-10-11
得票数 0
1
回答
云
存储中
的
数据
格式,同时使用
数据
流从PubSub流式传输PubSubmessage(json字符串)?
google-cloud-platform
、
google-cloud-dataflow
、
apache-beam
、
dataflow
我们希望使用
数据
流从Pub-Sub流式传输PubSubmessage(json字符串),然后写入
云
存储。我想知道在将
数据
写入
云
存储时,什么是最好
的
数据
格式?我进一步
的
用例可能还涉及使用
Dataflow
再次从
云
存储读取
数据
,以便根据需要继续操作到
数据
湖。我在想
的
几个选项如下: a)使用
Dataflow
将自身作为json字符串直接写入
云
存储?我假设<
浏览 3
提问于2018-08-02
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
多维数据分析(OLAP)技术选型(2):数据分析与OLAP差异
易购销 数据产品与分析思路的融合
数据科学,大数据和数据分析的差异
python在arcgis中的求交分析与数据融合
专家分析:大数据如何与教育更好融合
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券