腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
数据流
和
Bigtable
依赖
冲突
java
、
google-cloud-dataflow
、
apache-beam
、
bigtable
Launcher.java:335) ... 7 more 我的pom
依赖
: <dependencies> <groupId>com.google.cloud.
bigtable
</groupId><artifactId>
bigtable
-hbase-beam</a
浏览 3
提问于2019-07-03
得票数 0
1
回答
在迁移GCP中的大型数据库时,从另一个大小不同的
BigTable
创建的序列文件创建
BigTable
google-cloud-platform
、
google-cloud-dataflow
、
google-cloud-bigtable
、
bigtable
我有一个巨大的数据库存储在GCP的
Bigtable
中。我正在使用dataflow so将
bigtable
数据从一个帐户迁移到另一个GCP帐户,从一个
bigtable
创建一个序列文件,并使用
数据流
从另一个帐户访问它。但是创建的新表与原始表的大小不同。已经将
bigtable
的序列文件
和
临时文件存储在不同的存储桶位置,以便它(
数据流
)不会将任何不必要的数据上传到新的
bigtable
中。原始
bigtable
大小为321.7 GB,但新表显示为
浏览 24
提问于2021-09-08
得票数 0
回答已采纳
1
回答
将avro文件导入
Bigtable
-没有找到家庭错误
google-cloud-dataflow
、
google-cloud-bigtable
我正在为我们的
Bigtable
.I设置导出/导入例程,它能够使用
数据流
作业模板"Cloud到Cloud上的Avro“成功地将
BigTable
表导出到Avro文件中。但是,当我试图导入带有相应导出文件的
BigTable
表时,它会给出以下错误: 当
BigTable
实例中不存在表时,以及在
BigTable
实例中创建表
浏览 0
提问于2019-05-03
得票数 0
1
回答
使用HBASE客户端API创建一个大表
scala
、
hbase
、
bigtable
createTableConnection.close() 一旦我执行了我的jar,我就会得到以下一组错误: 18/07/25 10:36:20 INFO com.google.cloud.
bigtable
.grpc.BigtableSession:
Bigtable
options: BigtableOptions{dataHost=
bigtable
.googleapis.com, adminHost=bigtableadmin.googleapis.com}, usePlaintex
浏览 2
提问于2018-07-25
得票数 0
1
回答
使用DataFlow将GCP中的大型
Bigtable
数据库从一个帐户迁移到另一个帐户
gcloud
、
google-cloud-bigtable
、
bigtable
、
sequencefile
我有一个巨大的数据库存储在GCP的
Bigtable
中。我正在使用DataFlow将
bigtable
数据从一个帐户迁移到另一个GCP帐户。但是,当我创建一个从
bigtable
创建序列文件的作业时,它已经在目标存储桶上创建了3000个序列文件。因此,无法为每个3000序列文件创建单个
数据流
,因此,是否有办法减少序列文件或在GCP的
数据流
作业模板中一次提供整个3000序列文件 我们有两个序列文件想要依次上传数据(10行
和
1列),但实际上得到的是
浏览 16
提问于2021-09-07
得票数 2
回答已采纳
1
回答
将GCP AssetInventory加载到
BigTable
的最佳方法
google-cloud-platform
、
google-cloud-storage
、
bigtable
我想将这些数据加载到
BigTable
中,但我不确定最好的方法是什么。 我认为这个管道看起来像Cloud > ETL到CSV/sequence文件>使用
BigTable
加载到DataFlow。将数据加载到
BigTable
中有哪些选项?
浏览 0
提问于2019-05-20
得票数 0
回答已采纳
1
回答
读取大表时DataFlow DoFn意外挂起
google-cloud-platform
、
google-cloud-dataflow
、
google-cloud-bigtable
我们的
数据流
管道有一个DoFn,它使用hbase multiget client api从
bigtable
读取数据。这似乎会导致
数据流
随机停止,堆栈如下: 处理在步骤AttachStuff/BigtableAttacher中停滞了至少04h10m00s,而没有输出或完成在java.util.concurrent.locks.LockSupport.park(AbstractFuture.java:523) at com.google.
bigtable
.repackaged.com.google.api.core.
浏览 0
提问于2019-06-14
得票数 0
1
回答
是否有用于
Bigtable
IO连接器的Apache Beam DynamicDestinations?
google-cloud-platform
、
apache-beam
、
dataflow
、
bigtable
Apache Beam有一个DynamicDestinations!为了BigQueryIO。 对于BigtableIO,是否有相同的实现或解决方法? events.apply(BigTableIO.<UserEvent>write()... ...
浏览 11
提问于2019-10-07
得票数 0
1
回答
动态缩放云
数据流
作业
google-cloud-dataflow
、
apache-beam
我有一个云
数据流
管道,如下所示:最初,在不设置任何最大工作人员的情况下,
数据流
自动标度将扩展到最大值(1000个节点),并会给我们的
Bigtable
集群带来很大的压力。然后,我指定了一些maxNumWorkers,比如100,它很好,不会在我们的
Bigtable
集群上添加任何疯狂的负载,第1阶段通常会很快完成(从
Bigtable
读取);但是步骤2
和
步骤3--只有100我的光束工作看起来是这样的: .
浏览 1
提问于2019-10-25
得票数 2
1
回答
从本地Server将数据导入的最佳方法
sql-server
、
google-cloud-platform
、
google-cloud-dataflow
、
google-cloud-bigtable
我需要每天将大量数据从本地Server导入到
Bigtable
。每天有一亿到两亿行。如果有人能给我链接/描述什么应该是最好的在这里,它
浏览 6
提问于2020-04-29
得票数 0
1
回答
上传以制表符分隔的文件到
bigtable
csv
、
hbase
、
bigtable
我正在运行有10个节点的cassandra集群,每天上传巨大的tsvtab分离值文件,现在我想将我的项目转移到google
bigtable
中,以获得更好的性能
和
更低的延迟。我安装了google cloud big table 3节点集群,在云计算服务器1节点上安装了hbase插件,现在不知道如何开始将这些tsv文件上传到
bigtable
中。在这里,col1是主键,col2
和
col3是cassandra表中的集群键。 现在我如何在
bigtable
中创建类似的表,在
bigtable
中可以使
浏览 0
提问于2016-04-12
得票数 0
1
回答
数据流
PubSub到弹性搜索模板代理
elasticsearch
、
google-cloud-platform
、
google-cloud-dataflow
、
dataflow
我们需要创建一个从PubSub到Elasticsearch的
数据流
作业,但是该作业不能使出站互联网连接到Elastic。 是否有一种方法在创建时将代理参数传递给Dataflow vm?
浏览 16
提问于2022-08-04
得票数 1
回答已采纳
1
回答
java.lang.IllegalStateException: Jetty ALPN
和
netty-tc天生的OpenSSL都没有正确配置。
scala
、
sbt
、
google-cloud-dataflow
、
bigtable
、
google-cloud-bigtable
我正在Scala中做一个
Bigtable
+ Dataflow项目。使用sbt程序集来构建一个胖罐子。at com.google.cloud.
bigtable
.grpc.BigtableSession.我正在使用以下工件
和
版本(用于与google云相关的libs):"com.google.cloud.
bigtab
浏览 0
提问于2017-02-14
得票数 1
1
回答
导出挂起,卡住,然后在Dataflow中失败。从未分配过的工人
google-cloud-dataflow
、
google-cloud-bigtable
我试着用这个过程: java -jar
bigtable
-beam-import-1.3.0-shaded.jar export
浏览 0
提问于2018-03-27
得票数 1
回答已采纳
1
回答
使用状态
和
定时器进行处理
google-cloud-dataflow
、
apache-beam
是否有任何准则或限制使用有状态处理
和
定时器与梁
数据流
流道(从v2.1.0)?比如对状态大小或更新频率的限制等?候选流管道将广泛使用状态
和
计时器用于用户会话状态,
Bigtable
作为持久存储。
浏览 1
提问于2017-09-15
得票数 2
1
回答
“
bigtable
-hbase”与BEAMjavaSDK2.5兼容吗?
google-cloud-dataflow
、
google-cloud-bigtable
我遵循这个文档(具体来说,编写到Cloud ): (我正在尝试1.3.0
和
1.4.0两种版本)。如果还没有与2.5兼容,那么
bigtable
-hbase-beam 1.3.0与哪个梁SDK (java)兼容?除其他外,我们使用了以下方法: compile group: 'com.google.cloud.
bigtable
', name: '
bigtable
-hbase-beam', version: '1.3.0更新: Gradle
依赖
树建议连接器sdk需
浏览 0
提问于2018-07-05
得票数 1
回答已采纳
2
回答
Bigtable
‘write-request’不一致
google-cloud-dataflow
、
google-cloud-bigtable
我正在使用
数据流
作业将数据从谷歌存储写入
BigTable
,我使用3个节点的
BigTable
集群,在我的
数据流
作业中有25个工作者并行工作 当我检查Big表的'Write-requests‘图时,我观察到它在
浏览 2
提问于2016-09-14
得票数 0
1
回答
谷歌
BigTable
访问错误
maven
、
google-cloud-platform
、
google-cloud-bigtable
我需要在我的java应用程序中从
BigTable
中读取。我正在使用谷歌云-
bigtable
hbase客户端。我已将
依赖
项添加到pom文件中: <groupId>com.google.cloud.
bigtable
</groupId>at com.google.cloud.
bigtable
.hbase.BigtableConfig
浏览 2
提问于2018-06-13
得票数 0
2
回答
Apache读写错误处理
apache-beam
、
google-cloud-bigtable
、
apache-beam-io
我们有一个基于java的
数据流
管道,它从
Bigtable
读取,经过一些处理后将数据写回
Bigtable
。我们将CloudBigtableIO用于这些目的。我没有找到任何关于如何在CloudBigtableIO内部
和
外部处理错误的引用/文档。google.
bigtable
.grpc.retry.max.scan.timeout.retries -这是扫描操作的重试限制,还是也包括突变操作?如果这只是为了扫描,有多少次是为突变操作做的?google.
bigtable
.grpc.re
浏览 1
提问于2020-03-02
得票数 2
2
回答
将PyPI包添加到Composer环境时出错
python
、
google-cloud-platform
、
pypi
、
google-cloud-composer
requirement grpc-google-iam-v1<0.12dev,>=0.11.4, but you have grpc-google-iam-v1 0.12.3. google-cloud-
bigtable
浏览 35
提问于2020-02-20
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Spark 概述以及与Hadoop的关系
弃用 Lambda,Twitter 启用 Kafka 和数据流新架构
走进大数据 Hbase
Mybatis之PageHelper使用
BIG DATA学习,开发者都在看这些
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券