腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

大数据进阶

专栏作者

95

文章

136938

阅读量

19

订阅数

spark sql读取hudi表数据

spark sql hive xml 腾讯云测试服务

这篇文章接上一篇spark submit读写hudi,上一篇spark submit写入hudi的数据这里打算通过spark sql来进行查询

2022-03-24

1.8K3

flink系列(3)-基于k8s的环境搭建

xml hadoop 大数据 tcp/ip

前面写了一些flink的基础组件，但是还没有说过flink的环境搭建，现在我们来说下基本的环境搭建 1. 使用StatefulSet的原因对于Flink来说，使用sts的最大的原因是pod的hostname是有序的；这样潜在的好处有 hostname为-0和-1的pod可以直接指定为jobmanager；可以使用一个statefulset启动一个cluster，而deployment必须2个；Jobmanager和TaskManager分别独立的deployment pod由于各种原因fail后，由于StatefulSet重新拉起的pod的hostname不变，集群recover的速度理论上可以比deployment更快（deployment每次主机名随机） 2.使用StatefulSet部署Flink 2.1 docker的entrypoint 由于要由主机名来判断是启动jobmanager还是taskmanager，因此需要在entrypoint中去匹配设置的jobmanager的主机名是否有一致传入参数为：cluster ha；则自动根据主机名判断启动那个角色；也可以直接指定角色名称 docker-entrypoint.sh的脚本内容如下：

2019-09-17

2.4K0

记一次dubbo应用启动spring解析出错-SAXParseException

最近在升级dubbo版本，有同事在升级过程中遇到spring 解析出错的问题，详细的错误信息见如下

2019-09-17

3710

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态