如何批量删除hbase中的多行？
如何批量删除hbase中的多行？
提问于 2015-09-16 08:52:25
我在hbase表"mytable“中有以下几行具有这些键的行
user_1
user_2
user_3
...
user_9999999我想使用Hbase shell删除以下内容中的行：
user_500到user_900
我知道没有办法删除，但是有没有办法我可以用"BulkDeleteProcessor“来删除呢？
我在这里看到：
我只想粘贴导入内容，然后将其粘贴到shell中，但不知道如何操作。有人知道如何在jruby hbase shell中使用这个端点吗？
Table ht = TEST_UTIL.getConnection().getTable("my_table");
long noOfDeletedRows = 0L;
Batch.Call<BulkDeleteService, BulkDeleteResponse> callable =
new Batch.Call<BulkDeleteService, BulkDeleteResponse>() {
ServerRpcController controller = new ServerRpcController();
BlockingRpcCallback<BulkDeleteResponse> rpcCallback =
new BlockingRpcCallback<BulkDeleteResponse>();
public BulkDeleteResponse call(BulkDeleteService service) throws IOException {
Builder builder = BulkDeleteRequest.newBuilder();
builder.setScan(ProtobufUtil.toScan(scan));
builder.setDeleteType(deleteType);
builder.setRowBatchSize(rowBatchSize);
if (timeStamp != null) {
builder.setTimestamp(timeStamp);
}
service.delete(controller, builder.build(), rpcCallback);
return rpcCallback.get();
}
};
Map<byte[], BulkDeleteResponse> result = ht.coprocessorService(BulkDeleteService.class, scan
.getStartRow(), scan.getStopRow(), callable);
for (BulkDeleteResponse response : result.values()) {
noOfDeletedRows += response.getRowsDeleted();
}
ht.close();如果无法通过JRuby、Java或其他方法快速删除多行，则也可以。
回答 2
Stack Overflow用户
回答已采纳
发布于 2015-09-28 17:13:11
你真的想在shell中做这件事吗?因为还有其他更好的方法。一种方法是使用本机java API。
- 构造一个删除数组列表
- 将此数组列表传递给Table.delete方法
方法一:如果你已经知道键的范围。
public void massDelete(byte[] tableName) throws IOException {
HTable table=(HTable)hbasePool.getTable(tableName);
String tablePrefix = "user_";
int startRange = 500;
int endRange = 999;
List<Delete> listOfBatchDelete = new ArrayList<Delete>();
for(int i=startRange;i<=endRange;i++){
String key = tablePrefix+i;
Delete d=new Delete(Bytes.toBytes(key));
listOfBatchDelete.add(d);
}
try {
table.delete(listOfBatchDelete);
} finally {
if (hbasePool != null && table != null) {
hbasePool.putTable(table);
}
}
}方法2:如果要根据扫描结果进行批量删除。
public bulkDelete(final HTable table) throws IOException {
Scan s=new Scan();
List<Delete> listOfBatchDelete = new ArrayList<Delete>();
//add your filters to the scanner
s.addFilter();
ResultScanner scanner=table.getScanner(s);
for (Result rr : scanner) {
Delete d=new Delete(rr.getRow());
listOfBatchDelete.add(d);
}
try {
table.delete(listOfBatchDelete);
} catch (Exception e) {
LOGGER.log(e);
}
}现在来讨论使用CoProcessor的问题。只有一个建议，除非你是HBase专家，否则不要使用CoProcessor。CoProcessors有很多内置的问题，如果你需要，我可以为你提供详细的描述。其次，当您从HBase中删除任何内容时，它永远不会直接从Hbase中删除，而是有一个墓碑标记附加到该记录上，然后在重大压缩期间将其删除，因此不需要使用高度耗尽资源的协处理器。
修改代码以支持批处理操作。
int batchSize = 50;
int batchCounter=0;
for(int i=startRange;i<=endRange;i++){
String key = tablePrefix+i;
Delete d=new Delete(Bytes.toBytes(key));
listOfBatchDelete.add(d);
batchCounter++;
if(batchCounter==batchSize){
try {
table.delete(listOfBatchDelete);
listOfBatchDelete.clear();
batchCounter=0;
}
}}创建HBase配置并获取表实例。
Configuration hConf = HBaseConfiguration.create(conf);
hConf.set("hbase.zookeeper.quorum", "Zookeeper IP");
hConf.set("hbase.zookeeper.property.clientPort", ZookeeperPort);
HTable hTable = new HTable(hConf, tableName);Stack Overflow用户
发布于 2015-09-28 21:20:24
如果您已经知道要从HBase表中删除的记录的行键，则可以使用以下方法
1.首先使用这些行键创建一个列表对象
for (int rowKey = 1; rowKey <= 10; rowKey++) {
deleteList.add(new Delete(Bytes.toBytes(rowKey + "")));
}2.然后使用HBase连接获取表对象
Table table = connection.getTable(TableName.valueOf(tableName));3.一旦有了表对象，就可以通过传递列表来调用delete()
table.delete(deleteList);完整的代码如下所示
Configuration config = HBaseConfiguration.create();
config.addResource(new Path("/etc/hbase/conf/hbase-site.xml"));
config.addResource(new Path("/etc/hadoop/conf/core-site.xml"));
String tableName = "users";
Connection connection = ConnectionFactory.createConnection(config);
Table table = connection.getTable(TableName.valueOf(tableName));
List<Delete> deleteList = new ArrayList<Delete>();
for (int rowKey = 500; rowKey <= 900; rowKey++) {
deleteList.add(new Delete(Bytes.toBytes("user_" + rowKey)));
}
table.delete(deleteList);页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/32598003
复制相关文章
相似问题
腾讯云开发者
