0900-7.1.7-如何设置Hive任务的超时时间

文档编写目的

在Hive 日常跑批的情况下，如出现数据倾斜严重，或者运行未经优化的SQL时可能导致Hive 任务运行时长超过预期并且长时间占用资源池队列的大量资源，从而导致其他任务因资源不够的情况而延迟。对于这种情况，用户可能期望该作业失败，来保证后续作业的运行。本文主要讲述如何设置Hive 任务的超时时间以及与其关联的参数，合理的配置参数可以减少上述问题的发生。

• • 测试环境
  • • CDP7.1.7 SP1 1044、启用Kerberos

参数说明

在配置任务超时的过程中主要用到hive.server2.session.check.interval和hive.server2.idle.operation.timeout这两个参数。所有相关参数的说明如下：

• • hive.server2.idle.session.timeout
  • • 如果在此持续时间(以毫秒为单位)内未访问，会话将关闭 ，在CDP中默认为1天。可以通过设置为0或负值来禁用。例如，值86400000 表示会话将在 1 天不活动后超时。
• • hive.server2.session.check.interval
  • • 会话/操作超时的检查间隔(以毫秒为单位)，可以通过设置为0或负值来禁用，在CDP中默认为15分钟。例如，值为3600000 表示每 1 小时检查一次会话。
• • hive.server2.idle.session.check.operation
  • • 从会话空闲时间中排除实时操作，在CDP中默认为启用 没有活动、没有挂起操作的会话才会被认为是空闲的。此设置仅在启用会话空闲超时（hive.server2.idle.session.timeout）和检查（hive.server2.session.check.interval）时生效。
• • hive.server2.idle.operation.timeout
  • • 如果在此持续时间(以毫秒为单位)内未访问，则操作将关闭。这可以通过设置为0来禁用。在CDP中默认为6小时 设置为正值，仅检查终端状态下的操作（FINISHED、CANCELED、CLOSED、ERROR）。 设置为负值，检查所有操作而不考虑状态。例如，-7200000 的值表示正在运行的查询/操作如果仍在运行，将在 2 小时后超时。

以下用例结合了上述示例中的三个设置值：

1. 1. 如果启动了 HiveServer2 (HS2) 会话（例如，Beeline）并且此后不执行任何操作，HS2 将在确定自上次活动以来已过去 24 小时之前触发 24 会话检查，然后会话将关闭。
2. 2. 如果在 Beeline 上运行了 2 小时，然后让 Beeline 保持打开状态，之后没有做任何事情，HS2 将触发总共 26 次会话检查（2 次在运行时，另外 24 次在空闲状态），然后会话将在26次检查后即26小时后关闭 。
3. 3. 如果 在 Beeline 上工作了 2 小时，然后你开始运行一个将运行 1 小时然后返回结果的查询，hive.server2.idle.session.timeout实际上从数据返回的时间开始，所以如果你之后什么都不做，HS2将在另一个 24 小时后终止会话。因此，会话将总共持续了 27 小时 (2+1+24)。
4. 4. 如果查询花费的时间超过 hive.server2.idle.operation.timeout = -7200000 定义的 2 小时，那么无论查询状态是什么都将被取消。但如果hive.server2.idle.operation.timeout = 7200000并且查询仍在运行并且不处于终止状态（FINISHED, CANCELED, CLOSED, ERROR），则允许完成查询。

配置验证

CM >Hive on Tez > 配置 > 搜索hive.server2.session.check.interval，默认值15分钟，最低配置为3秒。如下图，保存配置后进行重启HiveServer2 服务进行生效。

注意： hive.server2.session.check.interval该参数需要在服务级别设置，通过在session 中set 该参数不生效。

hive.server2.idle.operation.timeout参数可以通过服务级别全局配置，如下图，也可以通过

set hive.server2.idle.operation.timeout=-20000;

来设置，默认单位毫秒。

注意： 该参数在7.1.7 SP1 之前不在runtime 白名单中，如在CDP7.1.7 SP1的版本中运行默认会报错，提示：Error: Error while processing statement: Cannot modify hive.server2.idle.operation.timeout at runtime. It is not in list of params that are allowed to be modified at runtime (state=42000,code=1)。 处理方式请参考文档：https://my.cloudera.com/knowledge/quotError-while-processing-statement-Cannot-modify-a-at?id=313269

当把hive.server2.session.check.interval 间隔时间设置为3秒，分别通过

set hive.server2.idle.operation.timeout=-2000; (2秒)
set hive.server2.idle.operation.timeout=-20000;(20秒)

来进行验证如下，可以发现设置为任意情况下2秒超时的作业运行很快就提示Invalid OperationHandle: OperationHandle异常，而设置为20秒的则可以正常运行

在HiveServer2 日志中可以看到如下报错：

2022-12-01 15:49:03,924 WARN  org.apache.hive.service.cli.thrift.ThriftCLIService: [HiveServer2-Handler-Pool: Thread-91]: Error getting operation status:
org.apache.hive.service.cli.HiveSQLException: Invalid OperationHandle: OperationHandle [opType=EXECUTE_STATEMENT, getHandleIdentifier()=3351410c-2137-47b5-b0a6-3324222dc553]
        at org.apache.hive.service.cli.operation.OperationManager.getOperation(OperationManager.java:180) ~[hive-service-3.1.3000.7.1.7.1044-1.jar:3.1.3000.7.1.7.1044-1]
        at org.apache.hive.service.cli.thrift.ThriftCLIService.getProgressedPercentage(ThriftCLIService.java:489) ~[hive-service-3.1.3000.7.1.7.1044-1.jar:3.1.3000.7.1.7.1044-1]
        at org.apache.hive.service.cli.thrift.ThriftCLIService.GetOperationStatus(ThriftCLIService.java:737) [hive-service-3.1.3000.7.1.7.1044-1.jar:3.1.3000.7.1.7.1044-1]

文档总结

通过合理的超时参数的配置，可以及时的将存在问题的Hive SQL 进行超时处理,当然在设置参数时也需要考虑正常作业运行的时间，以及可能出现的因资源不够的待定时间。对相关的作业进行合理的参数超时配置，合理的利用资源，从而提升整体作业运行效率。