查看 gc 无异常，关闭 operation-chain。 查看 sink 算子反压，busy 100%，task 日志无异常。 启用火焰图功能，查看线程基本都在写es。 es 查看监控，cpu 持续打满，写入拒绝率高，建议扩容。... 展开详请

问题背景：在 hive 中 SELECT current_timestamp(); 获取到的时间是 UTC，因此需将 hive 的 UTC 时区变更为 Asia/Shanghai ，在 EMR 控制台 hive 配置管理配置 -Duser.timezone=Asia/Shanghai 参数不生效。 问题原因：这是属于开源版本问题 ，.hive3 from_unixtime 强制使用utc时间，导致时区差8小时 。 解决方案： 备份除了 common 节点的其他节点 /usr/local/service/hive/lib下的hive-exec-xxx.jar包。 替换上面 jar 包到备份除了 common 节点的其他节点/usr/local/service/hive/lib 下 。 每个节点修改权限 chown hadoop:hadoop hive-exec-3.1.2.jar 查看附件（待补充链接）。... 展开详请

问题原因：当前 hive 设计中为了多租户资源隔离，导致 hivesession 持有自己的 Metatore function list，但每新创建一个 hive session 不一定会重新从 metastore 获取 Metatore function list，这个主要是由 hiveserver2中的线程池和获取 metastore function list 的类 hive 是个 threadlocal 导致的，这样就会导致一个 session create function 本进程或者其他进程的 hiveserver2的新连接都可能获取不到新创建的 function。 解决方案： 通过自定义 HiveSessionHook 类，执行 Hive.get().reloadFunctions()。... 展开详请

一般占用磁盘多的 yarn 任务： 流计算任务。 写 cos 的任务。 spark 或者 flink cache 或者 persist 数据量大的任务。 shuffle 数据量大的任务。 当出现磁盘满的时候，您可以查看目录 /data/emr/yarn/local/usercache/hadoop/appcache 具体是哪些任务占用了。... 展开详请

私有网络是跨可用区的，默认会加载当前地域的所有私有网络；子网是归属可用区的，默认会加载集群所在可用区的已有子网，请检查当前已选可用区是否有可用子网。 [5b83747c07b5ab0eedc4d38fbfc13865.png]... 展开详请

登录 EMR 控制台，在【集群列表】中选择对应的集群单击【ID/名称】进入集群详情页，在集群详情页中选择【集群资源】>【资源管理】，进入资源管理页面，单击【扩容】进入集群扩容页面。 [6cc0dfec6655ecbac907b8448248705c.png] 在集群扩容页面中，选择扩容【节点类型】为【Router】，【扩容服务】为【Hive-2.3.5】，其他选项可根据需要自行选择。 [b105f0c241eefb212930538b13cc1c3b.png] 登录 router 节点，修改hive-site.xml配置文件。 [0a9fdf9401f68f799db530bee95d34c0.png] 关闭 master 上的 hive 服务。 在【集群服务】中选择 hive 组件的【操作】>【角色管理】，将 master 节点上的所有 hive 进程暂停，重启 Router 节点上的 hive 进程。 [e84a86cd2db03fb635040d450e0d8a3c.png] 测试。 在 router 上测试 hiveserver2。如果能正确连接并查询到已有的表，则说明迁移成功。 [3ffae19871f972bef3ccd8796deb2e27.png] Hue 更改配置文件以至于代理到 Router 的 Hive 组件。 vim /usr/local/service/knox/conf/topologies/emr.xml 修改 HIVE 和 HIVEUI。 <service> <role>HIVE</role> <url>http://Router-ip:7003</url> <param> <name>replayBufferSize</name> <value>8</value> </param> </service> <service> <role>HIVEUI</role> <url>http://Router-ip:7003</url> </service> 命令行执行重启 knox。 su hadoop /usr/local/service/knox/bin/gateway.sh stop ; /usr/local/service/knox/bin/gateway.sh start... 展开详请