首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

云原生Spark UI Service在腾讯云云原生数据湖产品DLC的实践

从事件中提取运行数据然后更新到 KVStore中,还原任务当前的状态信息。...WebUI从KvStore查询所需要的数据,实现页面的渲染。 痛点 存储开销大 Spark作业运行过程中每个Task都会产生相关事件,也就说作业越复杂,Task数越多,产生的事件也会越多。...扩展性差 SHS服务节点通过定期扫描Event log目录,在本地KVStore更新维护Application列表,是一个有状态的服务。每次服务重启,需要重新扫描整个目录,才能对外服务。...图3   DLC Spark UI Service UIMetaListener UIMetaListener创建一个ElementTrackingStore实例,用作Temp Store。...UIMetaWriter UIMetaWriter定义了UI Meta文件的数据结构,单条结构如下:      图5 数据结构 每个UI相关的数据类实例会序列化成四个部分:类名长度(4字节整型)+

1.3K30
您找到你想要的搜索结果了吗?
是的
没有找到

扫码

添加站长 进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

    运营活动

    活动名称
    广告关闭
    领券