腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
将avro文件导入
Bigtable
-没有找到家庭错误
google-cloud-dataflow
、
google-cloud-bigtable
我正在为我们
的
Bigtable
.I设置导出/导入例程,它能够使用
数据流
作业
模板"Cloud到Cloud上
的
Avro“成功地将
BigTable
表
导出到Avro文件
中
。但是,当我试图导入带有相应导出文件
的
BigTable
表
时,它会给出以下错误: 更改行'C\035I\370\331\314G\346\204\003;S\333\312Ee0\024K\353\000\3
浏览 0
提问于2019-05-03
得票数 0
1
回答
通过
数据流
扫描(特定
列
族
的
)整个
bigtable
google-cloud-bigtable
我们使用50-100个
bigtable
节点(根据我们处理
的
数据量,这个数字
在
50到100之间变化)。每天我们都有一个
数据流
作业
,它扫描整个
bigtable
(属于一个特定
的
列
族
),并将扫描
的
数据转储到GCS。 我们一直
在
试验工作节点
的
数量与扫描整个
表
的
速度。通常,
作业
扫描约100M行(
表
中
还有
浏览 0
提问于2016-12-21
得票数 0
1
回答
上传以制表符分隔
的
文件到
bigtable
csv
、
hbase
、
bigtable
我正在运行有10个节点
的
cassandra集群,每天上传巨大
的
tsvtab分离值文件,现在我想将我
的
项目转移到google
bigtable
中
,以获得更好
的
性能
和
更低
的
延迟。我安装了google cloud big table 3节点集群,
在
云计算服务器1节点上安装了hbase插件,现在不知道
如何
开始将这些tsv文件上传到
bigtable
中
。下面是我
的
tsv格式,
浏览 0
提问于2016-04-12
得票数 0
2
回答
数据流
中
的
流水线到
Bigtable
Python
python-3.x
、
google-cloud-dataflow
、
google-cloud-bigtable
我想读取pubsub主题,并使用用Python语言编写
的
数据流
代码将数据写入
BigTable
。我可以
在
JAVA中找到示例代码,但在Python
中
找不到。
如何
从pubsub中将一行
中
的
列
分配给不同
的
列
族
,并将数据写入
Bigtable
?
浏览 1
提问于2020-07-22
得票数 2
1
回答
如何
在
数据流
作业
中
创建
不存在
的
Bigtable
表
和
列
族
google-cloud-dataflow
、
apache-beam
、
google-cloud-bigtable
、
apache-beam-io
我有一个Cloud Dataflow job,它将所有内容写入到单个
表
和
单个
列
族
中
。
如何
修改此
作业
以写入可能存在或可能
不存在
的
多个
表
和
列
族
?例如,如果
表
或
列
族
不存在
,则
创建
一个,然后写入。
浏览 12
提问于2019-02-08
得票数 0
回答已采纳
1
回答
如何
使用气流将bigquery导出到
bigtable
?图式问题
google-bigquery
、
dataflow
、
google-cloud-bigtable
、
airflow
我使用气流将BigQuery行提取到
的
Avro格式。我想在
bigtable
中使用row_key列表示行键,对于特定
列
家族
中
的
列
使用rest
列
,比如
bigtable
中
的
my_cf。但是,
在
使用
数据流
将avro文件加载到
bigtable
时,我收到了错误消息。, missing required field key
Big
浏览 9
提问于2021-08-05
得票数 1
回答已采纳
1
回答
Cassandras数据模型
中
列
族
与
Bigtable
的
概念差异?
cassandra
、
nosql
、
google-cloud-bigtable
、
scylla
我目前正试图挖掘Cassandra
的
数据模型及其与
Bigtable
的
关系,但最后却对
列
族
概念感到非常头疼。首先,我阅读了,特别是它
的
数据模型,即
如何
存储数据。据我所知,
Bigtable
中
的
每个
表
基本上依赖于具有维度、行、
列
和
时间
的
多维稀疏映射。地图是按行排序
浏览 2
提问于2017-11-05
得票数 7
回答已采纳
2
回答
大
表
性能影响
列
族
bigdata
、
google-cloud-platform
、
google-cloud-bigtable
我们目前正在研究使用多
列
家族对
bigtable
查询性能
的
影响。我们发现将
列
分成多个
列
族
并不能提高性能。有没有人有过类似的经历? 关于我们
的
基准设置
的
更多细节。此时,我们生产
表
中
的
每一行包含大约5
列
,每
列
包含0、1至1 KB
的
数据。所有
列
都存储
在
一个
列
族
中
。当
浏览 0
提问于2017-09-28
得票数 5
回答已采纳
1
回答
使用DataFlow将GCP
中
的
大型
Bigtable
数据库从一个帐户迁移到另一个帐户
gcloud
、
google-cloud-bigtable
、
bigtable
、
sequencefile
我有一个巨大
的
数据库存储
在
GCP
的
Bigtable
中
。我正在使用DataFlow将
bigtable
数据从一个帐户迁移到另一个GCP帐户。但是,当我
创建
一个从
bigtable
创建
序列文件
的
作业
时,它已经
在
目标存储桶上
创建
了3000个序列文件。因此,无法为每个3000序列文件
创建
单个
数据流
,因此,是否有办法减少序列文件或在GCP<e
浏览 16
提问于2021-09-07
得票数 2
回答已采纳
1
回答
google云
bigtable
列
版本未被删除
google-cloud-platform
、
google-cloud-bigtable
我们
在
云
bigtable
中
创建
了一个包含两个
列
族
的
表
。一个
列
族
有30个版本,另一个
列
族
有1个版本。但是,当我们查询
表
时,我们得到
的
列
的
多个版本,我们已经将最大版本数设置为1。
表
create语句: create 'myTable', {NAME => 'cf1
浏览 4
提问于2017-10-20
得票数 2
回答已采纳
1
回答
几个
表
与一个
列
族
多
的
表
database
、
google-cloud-platform
、
google-cloud-bigtable
我正在设计一个
Bigtable
数据库。我有两个结构要坚持: 问:我应该为数据
和
有效载荷建立两个单独
的
表
吗?或者,最好是
创建
一个
表
(例如,数据)。在此
表
中
,两个
列
族
(已处理<em
浏览 1
提问于2021-05-10
得票数 0
2
回答
HBase
表
结构到MySQL
mysql
、
hadoop
、
hbase
、
sqoop
如何
在MySQL数据库
中
根据基于
列
的
HBase
表
创建
表
结构?
浏览 3
提问于2013-09-19
得票数 0
1
回答
在
将
bigtable
表
导出到谷歌云存储时面对OutOfMemoryException
google-cloud-bigtable
Bigtable
中
的
表
导出到云存储
bigtable
表
大小约为300 in,
数据流
管道导致此错误 An OutOfMemoryException occurred.并且该错误建议增加用于
数据流
作业
的
实例类型
的
内存。我在这里重新检查了运行管道
的
命令(https://github.com/googleapis/cloud-
bigtable
浏览 27
提问于2019-06-06
得票数 0
2
回答
按
列
值查询
Bigtable
google-cloud-bigtable
有没有什么编程方法可以不使用rowkey直接查询
列
值来查询
Bigtable
? 我假设我们可以
在
BigQuery上做为外部
表
,并通过应用程序接口扫描整个
Bigtable
并应用过滤器。但是有没有更好
的
方法呢?
浏览 21
提问于2019-09-27
得票数 2
回答已采纳
1
回答
apache
如何
访问
bigtable
数据?
google-cloud-dataflow
、
apache-beam
、
google-cloud-bigtable
如果在
数据流
中
运行,是通过
bigtable
节点访问数据还是直接访问
bigtable
平板电脑? (需要关注
的
是,如果有一个
数据流
作业
运行在与用户发出
的
浏览 1
提问于2021-01-24
得票数 0
回答已采纳
2
回答
复制
BigTable
表
而不影响读取延迟
的
方法
google-cloud-platform
、
google-cloud-bigtable
我试图将
BigTable
表
从一个实例复制到另一个实例,但似乎没有直接
的
方法。我正在探索导出到GCS然后导出到
BigTable
的
数据流
作业
,但是
在
导出过程
中
,我担心这可能会影响
BigTable
源
表
的
读取延迟。是否有任何方法
在
不影响源
表
性能
的
情况下进行复制?源
表
是获得高流量
的
生产数据。
浏览 11
提问于2022-02-18
得票数 0
回答已采纳
1
回答
设计一个云
BigTable
:数百万行X百万
列
?
bigtable
我想知道
BigTable
的
下表设计是否合法。据我所读,拥有数以百万计
的
稀疏
列
应该可以工作,但它能正常工作吗? 这样做
的
目的是
在
列
中保留基于时间
的
“样本”(每个都是几Kb)。我希望有数以百万计
的
行,在这些行
中
,每个行都会有有限数量
的
条目(~10-50)作为
表
中
的
值。
表
中
的
每一
列
浏览 2
提问于2020-10-24
得票数 0
1
回答
为什么
BigTable
有
列
族
?
bigtable
、
google-cloud-bigtable
为什么
BigTable
被构造成“家庭:限定符”
的
两级层次结构?具体来说,为什么要强制这样做,而不是仅仅使用
列
,例如,建议用户将其限定符命名为“垂直:
列
”?我感兴趣
的
是,执行这一功能是否支持某些工程优化,或者这是否是一种严格
的
设计问题。
浏览 1
提问于2017-10-21
得票数 4
回答已采纳
1
回答
如何
使用HBase shell
在
Bigtable
中
设置
表
压缩模式?
compression
、
hbase
、
google-cloud-bigtable
我使用HBase shell
和
常用
的
create table命令
在
Bigtable
中
创建
表
,您可以在其中指定压缩,这显然忽略了压缩属性。
浏览 4
提问于2017-05-10
得票数 1
回答已采纳
1
回答
在
迁移GCP
中
的
大型数据库时,从另一个大小不同
的
BigTable
创建
的
序列文件
创建
BigTable
google-cloud-platform
、
google-cloud-dataflow
、
google-cloud-bigtable
、
bigtable
我有一个巨大
的
数据库存储
在
GCP
的
Bigtable
中
。我正在使用dataflow so将
bigtable
数据从一个帐户迁移到另一个GCP帐户,从一个
bigtable
创建
一个序列文件,并使用
数据流
从另一个帐户访问它。但是
创建
的
新
表
与原始
表
的
大小不同。已经将
bigtable
的
序列文件
和
临时文件存储
浏览 24
提问于2021-09-08
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
快速理解HBase和BigTable
走进大数据 Hbase
走进Hbase
重温大数据-Hbase部署以及架构分析
诞生于FaceBook的大数据存储
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券