腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
从机上的
Hbase
数据
、
如果我使用
Hbase
集群,是否每个从设备都有相同的数据,或者它可以被
分区
?最佳实践是什么?
浏览 1
提问于2011-11-15
得票数 0
回答已采纳
1
回答
创建在
hbase
列上
分区
的外部表的语法是什么?
、
我在
HBase
中有一个表,我希望将其表示为hive中的EXTERNAL TABLECREATE EXTERNAL TABLE events(key STRING, day("
hbase
.columns.mapping"=":key,c:date#b,c:source,c:ipAddress")然而,我的查询在我的映射器中没有得到适
浏览 2
提问于2013-05-15
得票数 1
2
回答
如何像Hive Table Partitions一样在
Hbase
Table中创建
分区
我们计划从CDH3迁移到CDH4,作为迁移的一部分,我们还计划将
HBASE
引入外部系统,因为它还会更新数据,在CDH3中,我们使用Hive作为仓库。在这里我们遇到了迁移中的主要问题,Hive支持
分区
到表。我们的系统有许多不同模式的表,有些表有基于日期的
分区
,我们有过去5年的数据历史(有些表中存在365*5个
分区
)。我们也想在
HBase
中实现相同的行为,当我浏览的时候,我找不到在
HBase
中创建
分区
的解决方案。有没有人可以帮助我在
HBase
中实现这种<e
浏览 3
提问于2013-09-25
得票数 3
1
回答
UniversalRecommender在训练时不会利用所有可用核心
、
、
我正在使用UR,我想知道,为什么在培训期间大多数时间只使用4个内核,而8个可用有人能解释一下它在这个阶段到底是做什么的吗?它可以使用所有8个内核(不仅仅是4个)吗?
浏览 0
提问于2016-11-12
得票数 0
3
回答
使用KAFKA和非事务性数据库进行
自动
缩放
、
现在,假设我有一个用于KAFKA主题的
分区
和一个消费者。我的应用程序有一个处理数据的使用者线程。 问题是,假设
HBase
宕机了,这时我的应用程序停止处理消息,并且在KAFKA中内置了一个巨大的延迟。即使我有能力增加
分区
的数量和相应的消费者数量,但由于
HBase
中的竞争条件,我不能增加它们中的任何一个。
HBase
不支持行级锁定,所以现在如果我增加
分区
的数量,相同的键可以分配给两个不同的
分区
,并相应地分配给两个不同的消费者,这两个消费者可能会陷入竞争状态,谁写到最后谁就是赢
浏览 0
提问于2019-04-13
得票数 0
1
回答
切换包含cloudera hadoop / hdfs /
hbase
数据的磁盘
、
、
、
、
在集群中添加两个额外的节点之前,我们希望使用一个新的磁盘来增加
分区
的大小。1 NodeManager 1 JobHistory和1 ResourceManager纱 df -h
浏览 3
提问于2015-02-24
得票数 2
回答已采纳
1
回答
使用Kafka和Hadoop摄取数据--如何避免由于质量检查失败而导致的数据复制?
、
、
、
、
这些数据使用Kafka (普通Kafka管道)进行采集,并降落在HDFS上,在HDFS上,每个流量的原始数据都会触发质量检查的
自动
流程。所有的N流都可能有不同的数据质量标准。
浏览 2
提问于2017-04-27
得票数 0
1
回答
读取文件并将其放入
hbase
的最快方法
、
、
我正在尝试从txt文件中读取数据并将其放入
hbase
表中。我在这些文件中有大约100亿条记录,预计我需要在一两天内完成它。问题是,它一直持续到第三天,还没有完成。
浏览 2
提问于2016-04-16
得票数 0
1
回答
spark从
hbase
读取数据,工人需要从远程驱动程序获取参数数据吗?
、
、
从
hbase
读取数据,如//create rdd classOf[org.apache.hadoop.
hbase
.io.ImmutableBytesWritable],例如,hBaseRDD有5个
分区
,现在worker上的executor获取
分区
数
浏览 17
提问于2017-07-28
得票数 0
回答已采纳
1
回答
配置单元-
Hbase
集成-插入数据时出现问题
、
我能够成功地将Hive和
Hbase
集成到简单的场景中(无
分区
和bucketing)。对于这些简单的场景,我能够在Hive和
hbase
中插入数据。partitioned by (city string) WITH SERDE
浏览 1
提问于2018-06-06
得票数 0
4
回答
HBase
vs Hyptertable vs Lucene
、
默认情况下,它不是分布式的,所以我正在考虑迁移到像
HBase
或Hadoop这样的东西。 像
HBase
或Hypertable这样的解决方案有内置的搜索功能吗?或者我需要在它们之上实现Lucene吗?
浏览 0
提问于2011-02-11
得票数 2
1
回答
配置单元无法为
hbase
中的外部表创建
分区
列
、
、
、
我无法使用以下脚本在配置单元中创建包含
分区
列的外部表 > WITH SERDEPROPERTIES ("
hbase
.columns.mapping" = ":key,cf2:Opportunity__Id,cf3:Campaign__Name,cf1:eventDate") > TBLPROPERTIES("<
浏览 2
提问于2013-11-11
得票数 1
2
回答
是否有可能从
hbase
转换为spark rdd效率?
、
、
、
我在
hbase
中有一个很大的项目数据集,我想要加载到spark rdd中进行处理。我的理解是,
hbase
针对hadoop上的低延迟单项目搜索进行了优化,所以我想知道是否有可能在
hbase
中高效地查询1亿个项目(大约10TB大小)?
浏览 1
提问于2017-10-25
得票数 0
1
回答
Spark access行对象值
、
、
我想按
分区
迭代一个数据帧,并为每个
分区
迭代它的所有行,并为它们创建一个deleteList,其中将包含每行的
HBase
的delete对象。我在Java中使用Spark和
HBase
,并用以下代码创建了一个Row对象: df.foreachPartition((ForeachPartitionFunction<Row> iterator ->而df有一个名为"
hbase
_key“的列。
浏览 38
提问于2021-10-11
得票数 0
回答已采纳
1
回答
在
hbase
中写入数据
、
我在
hbase
.I中写数据的时候遇到了一个问题,我有4个区域server.when,我写数据,使用随机密钥,数据写到任何一个区域,但是它们都在一个区域server.One服务器忙,三个服务器都是free.How
浏览 1
提问于2012-06-27
得票数 1
1
回答
火花内部-重新
分区
是否加载内存中的所有
分区
?
、
、
我找不到内部如何在RDD上执行重新
分区
?我知道您可以调用RDD上的重新
分区
方法来增加
分区
的数量,但是如何在内部执行它呢?假设,最初有5个
分区
,他们有- 有些
分区
是倾斜的,因为它们是从
HBase
加载的,并且数据在
HBase
中没有正确的
浏览 4
提问于2017-05-13
得票数 3
回答已采纳
3
回答
改变服务器属性不起作用
、
、
我试图使用Hive语句将现有的Hive外部表分隔符从逗号,更改为ctrl+A字符在DDL之后,我可以看到变化。但是,当我从Hive中选择时,这些值都为NULL ( HDFS中的底层文件被更改为具有ctrl+A分隔符)。查看数据的唯一方法是删除并重新创建外部表,请任何人帮助我理解原因。 创建由( 'org.apa
浏览 0
提问于2016-08-09
得票数 3
1
回答
从
Hbase
扫描一个日期并插入到Hive
分区
(dt)
、
我有一张
hbase
桌子。我想从
Hbase
中扫描一天的数据,并插入到Hive表
分区
中(同一日期)。你能帮帮我吗。
浏览 2
提问于2014-03-28
得票数 0
回答已采纳
1
回答
存储传入流数据的最佳方法是什么?
、
、
、
、
对于通过星火流处理的数据的长期存储(很多写,很少读取)来说,有什么更好的选择: Parquet、
HBase
或Cassandra?还是别的什么?什么是权衡?
浏览 0
提问于2016-11-12
得票数 5
1
回答
Spark:对从
HBase
数据创建的RDD进行
分区
、
、
、
如果我使用以下命令从
HBase
(或MapR-DB)表中读取一些数据生成的RDD有一个
分区
,我可以看到调用usersRDD.partitions有没有办法让Spark从
HBase
数据中创建一个
分区
的RDD?
浏览 1
提问于2016-05-05
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
HBase优化之预分区
【HBase笔记】从洗袜子到hbase
【HBase大爆炸】HBase之常用Shell命令
交换分区概念、创建交换分区
Spark On HBase
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券