Hive Update、Delete操作配置

俺也想起舞

发布于 2019-07-24 14:40:36

1.5K0

发布于 2019-07-24 14:40:36

文章被收录于专栏：码的一手好代码码的一手好代码码的一手好代码

Hive在默认情况下是没有办法进行update、delete的，在经过如下操作以后则可以进行以上操作

Hive Update、Delete操作配置

条件

只支持ORC存储格式
表必须分桶
更新指定配置文件

创建存储为ORC的分桶表

CREATE TABLE table_name (
  id                int,
  name              string
)
CLUSTERED BY (id) INTO 2 BUCKETS STORED AS ORC
TBLPROPERTIES ("transactional"="true");

修改配置文件

修改添加hive中的hive-site.xml配置文件

<property>
    <name>hive.support.concurrency</name>
    <value>true</value>
</property>
<property>
    <name>hive.enforce.bucketing</name>
    <value>true</value>
</property>
<property>
    <name>hive.exec.dynamic.partition.mode</name>
    <value>nonstrict</value>
</property>
<property>
    <name>hive.txn.manager</name>
    <value>org.apache.hadoop.hive.ql.lockmgr.DbTxnManager</value>
</property>
<property>
    <name>hive.compactor.initiator.on</name>
    <value>true</value>
</property>

如果是CDH，如图所示