腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

about云

专栏作者

216

文章

314939

阅读量

58

订阅数

Flink1.12支持对接Atlas【使用Atlas收集Flink元数据】

flink 大数据 node.js 编程算法 kafka

问题导读 1.Atlas中实体具体指什么？ 2.如何为Flink创建Atlas实体类型定义？ 3.如何验证元数据收集？在Cloudera Streaming Analytics中，可以将Flink与Apache Atlas一起使用，以跟踪Flink作业的输入和输出数据。 Atlas是沿袭和元数据管理解决方案，在Cloudera Data Platform上受支持。这意味着可以查找，组织和管理有关Flink应用程序以及它们如何相互关联的数据的不同资产。这实现了一系列数据管理和法规遵从性用例。有关Atlas的更多信息，请参阅Cloudera Runtime文档。 Flink元数据集合中的Atlas实体在Atlas中，表示Flink应用程序，Kafka主题，HBase表等的核心概念称为实体。需要了解Flink设置中实体的关系和定义，以增强元数据收集。为Flink创建Atlas实体类型定义在提交Flink作业以收集其元数据之前，需要为Flink创建Atlas实体类型定义。在命令行中，需要连接到Atlas服务器并添加预定义的类型定义。还需要在Cloudera Manager中为Flink启用Atlas。验证元数据收集启用Atlas元数据收集后，群集上新提交的Flink作业也将其元数据提交给Atlas。可以通过请求有关Atlas挂钩的信息来在命令行中使用消息验证元数据收集。 Flink元数据集合中的Atlas实体在Atlas中，表示Flink应用程序，Kafka主题，HBase表等的核心概念称为实体。需要了解Flink设置中实体的关系和定义，以增强元数据收集。在向Atlas提交更新时，Flink应用程序会描述自身以及用作源和接收器的实体。Atlas创建并更新相应的实体，并从收集到的和已经可用的实体创建沿袭。在内部，Flink客户端和Atlas服务器之间的通信是使用Kafka主题实现的。该解决方案被Atlas社区称为Flink挂钩。

2021-04-09

1.7K0

Flink实战之网站日志ETL案例【含代码】

kafka 日志数据 yarn node.js 云数据库 Redis

问题导读 1.怎样对字段进行大区转换？ 2.怎样拆分打平大JSON? 3.怎样把不同类型的日志数据分别进行存储？应用场景：数据清洗【实时ETL】数据报表 1、数据清洗【实时ETL】

2020-11-05

7730

Hbase故障处理汇总及评注

hadoop node.js unix zookeeper 大数据

Hbase是企业比较常用的大数据组件，对于开发来讲，单纯的开发几乎不可能，往往都会搭建集群，甚至负责集群的维护，特别是公司规模较小。我们VIP中很多成员，都是一个成员扛起了整个公司的大数据部门，被称之为“扛把子”。

2019-11-06

6.6K0

这8种武器点亮程序员的个人品牌

开源 https node.js qt

提到段誉，我们就会想起凌波微步和六脉神剑。提到乔峰，我们会想起降龙十八掌。提到王语嫣，我们会想到她惊为天人的容貌和熟知各门派功夫的渊博知识。提到欧阳锋，我们会想起蛤蟆功。提到李寻欢，我们会想起小李飞刀。提到…… 提到Linus Torvalds，我们会想起Linux。提到雷军，我们会想起WPS和小米。提到Bill Gates，我们会想到微软和Windows。提到王江民，我们会想起江民杀毒。提到侯延堂，我们会想起网际快车。提到…… 每一个人，不管是小说中的还是现实中的，被提起时，听者都会联想到和这个人相关的一

2018-03-27

8140

hadoop入门:第六章YARN文档概述

http html 容器 yarn node.js

1.YARN 结构文档简介： Yarn的基本思想是拆分资源管理的功能，作业调度/监控到单独的守护进程英文网址： http://hadoop.apache.org/docs/r2.7.

2018-03-27

8870

about云日志分析项目准备高可靠centos7安装jdk1.8【rpm】

bash bash 指令 jdk node.js http

问题导读 1.rpm与tar包有什么区别？ 2.如何rpm包？ 3.如何为rpm指定路径安装？来自云小组 about云日志分析项目准备6-1补充：jdk1.8安装【rpm】 http://ww

2018-03-27

9160

Hadoop2.x 让你真正明白yarn

yarn node.js http hadoop php

问题导读 1.hadoop1.x中mapreduce框架与yarn有什么共同点？ 2.它们有什么不同点？ 3.yarn中有哪些改变？ 4.yarn中有哪些术语？原文：about云日志分析项

2018-03-27

1.2K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态