我有一个使用内部网络的Hadoop集群(ip范围为192.168.0.0/24),我希望使用java库(org.apache.hadoop.hbase.client)从使用不同网络的开发计算机(ip是外部网络203.252.x.x)连接hbase,但我无法连接hbase。
我有个问题。
我的代码错了吗?
是否可以使用Java (org.apache.hadoop.hbase.client),我应该使用节约协议吗?(我不想用这个词)
你有什么想法吗?或者评论?
谢谢
这是我连接Hbase的代码。
public class TestBase {
public stat
我正在尝试启动hbase master,但收到以下错误:
Could not start ZK at requested port of 2181. ZK was started at port: 2182. Aborting as clients (e.g. shell) will not be able to find this ZK quorum.
13/07/14 06:33:23 ERROR master.HMasterCommandLine: Failed to start master
java.io.IOException: Could not start ZK at re
我在Cloudera管理的AWS上有一个hbase (0.96.1.1-cdh5.0.2)集群,包含4个区域服务器和1个zookeeper服务器。zookeeper服务器与hbase主服务器运行在同一主机上。我面临的问题是,3/4的区域服务器因为无法连接到zookeeper而停机。唯一保持运行的区域服务器是在与主服务器和zookeeper相同的主机上运行的服务器。以下是其中一个故障区域服务器日志的相关部分。
2014-11-14 15:46:59,871 INFO org.apache.zookeeper.ZooKeeper: Initiating client connection, co
我有一个PySpark作业,用于更新HBase中的一些对象(Sparkv1.6.0;OptimyBaseV0.9)。
如果我为每一行打开/关闭一个HBase连接,它就能正常工作:
def process_row(row):
conn = happybase.Connection(host=[hbase_master])
# update HBase record with data from row
conn.close()
my_dataframe.foreach(process_row)
在经历了几千次后,我们开始看到这样的错误:
TTransportExcep
目前,我正在github中开发软件仓库。我使用git log command来获取提交日志。但是,当我只需要找到包含特定单词的提交日志时,也会显示一些意想不到的日志。
例如,我需要提交日志包含word HBASE-792。我使用命令git log --grep='HBASE-792' --oneline。但这些日志显示:
HBASE-7921. TestHFileBlock.testGzipCompression should ignore the block checksum
HBASE-7923 force unassign can confirm region onlin
当我运行hbase自定义过滤器时,我得到了以下错误:
org.apache.hadoop.hbase.client.RpcRetryingCaller@459c8c0a,org.apache.hadoop.hbase.protobuf.ProtobufUtil.toFilter(ProtobufUtil.java:1360) org.apache.hadoop.hbase.protobuf.ProtobufUtil.toScan(ProtobufUtil.java:916) at org.apache.hadoop.hbase.regionserver.HRegionServer.scan(
我有一个安装了HBase的小型开发集群。我的集群的磁盘使用量已经满了,所以我需要删除一些数据,但是我不能启动regionservers。它们会失败,并在日志中显示以下消息:
File /hbase/.logs/<some file> could only be replicated to 0 nodes, instead of 1
我猜是因为集群中没有剩余的空间了。
我想知道,我可以从HBase中安全地手动删除(通过hdfs)什么,而不会导致任何类型的元数据损坏?
hdfs中占用空间最多的区域是
/hbase/.logs
/hbase/mytable
如果我不再关心mytable中
是否可以在hbase-default.xml中配置特定表格的最大单元格大小。
如果可能,请告诉我配置最大单元格大小的方法列表。
Reference: I got this error,
java.lang.IllegalArgumentException: **KeyValue size** too large
at org.apache.hadoop.hbase.client.HTable.validatePut(HTable.java:1312)
at org.apache.hadoop.hbase.client.HTable.doPut(HTable.java:941)
at org.