解决Hive不支持delete、update问题_attempt to do update or delete using transaction m

一、问题描述：

我们在进行数据分析时，在一些特殊情况下需要在hive直接对数据进行更新或删除，而在我们输入删除、更新语句后，常常会出现以下报错：

Attempt to do update or delete using transaction manager that does not support these operations.

二、问题分析：

1.Hive是不支持事务的，所以也就无法支持DELETE和UPDATE操作

2.要实现update和delete功能，该表就需要支持ACID（原子性、一致性、隔离性、持久性）支持，

故在建表时要指定相应属性

三、问题解决：

1.在hive-site.xml文件中，增加以下属性：

<property>

<name>hive.support.concurrency</name>
    <value>true</value>

</property>

<property>
    <name>hive.enforce.bucketing</name>
    <value>true</value>
</property>

<property>
    <name>hive.exec.dynamic.partition.mode</name>
    <value>nonstrict</value>

</property>

<property>
    <name>hive.txn.manager</name>
    <value>org.apache.hadoop.hive.ql.lockmgr.DbTxnManager</value>

</property>
<property>
    <name>hive.compactor.initiator.on</name>
    <value>true</value>

</property>

<property>
    <name>hive.compactor.worker.threads</name>
    <value>1</value>
</property>

<property>
    <name>hive.in.test</name>
    <value>true</value>

</property>

2.重启hive服务

3.启用ACID支持。这通常需要在创建表时指定相应的属性。例如：

CREATE TABLE my_table (
  id INT,
  name STRING
) 
CLUSTERED BY(id) INTO 2 BUCKETS //表必须进行分桶
STORED AS ORC //表的存储格式必须是ORC
TBLPROPERTIES ('transactional'='true'); //Table property中参数transactional必须设定为True

4.进行验证：

-- 删除指定条件下的记录
DELETE FROM my_table WHERE id = 123;

-- 更新指定条件下的记录
UPDATE my_table SET name = 'new_name' WHERE id = 456;

需要注意的是，启用ACID支持会增加额外的存储和性能开销，因此请合理使用。