腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
about云
专栏成员
举报
216
文章
329970
阅读量
58
订阅数
订阅专栏
申请加入专栏
全部文章（216）
spark（40）
大数据（37）
hadoop（32）
其他（22）
编程算法（19）
sql（18）
apache（17）
人工智能（17）
bash（13）
yarn（13）
机器学习（12）
数据库（12）
存储（11）
shell（11）
hive（10）
php（9）
bash 指令（9）
https（9）
http（8）
开源（8）
区块链（7）
数据挖掘（7）
scala（7）
node.js（7）
安全（7）
hbase（7）
kafka（7）
api（6）
网络安全（6）
数据分析（6）
xml（5）
linux（5）
容器（5）
java（4）
html（4）
神经网络（4）
深度学习（4）
TDSQL MySQL 版（4）
分布式（4）
zookeeper（4）
微信（4）
架构设计（4）
flink（4）
面试（4）
git（3）
企业（3）
openstack（3）
数据处理（3）
chatgpt（3）
比特币（2）
自动驾驶（2）
qt（2）
云数据库 SQL Server（2）
ide（2）
unix（2）
容器镜像服务（2）
mapreduce（2）
图像处理（2）
网站（2）
kubernetes（2）
游戏（2）
缓存（2）
jdk（2）
ssh（2）
erp（2）
推荐系统（2）
tcp/ip（2）
windows（2）
数据可视化（2）
物联网（2）
数据结构（2）
系统架构（2）
微服务（2）
com（2）
gpt（2）
it（2）
工作（2）
数据（2）
对象存储（1）
tensorflow（1）
python（1）
go（1）
r 语言（1）
json（1）
android（1）
oracle（1）
nosql（1）
云数据库 Redis（1）
eclipse（1）
github（1）
maven（1）
搜索引擎（1）
ubuntu（1）
windows server（1）
批量计算（1）
文件存储（1）
短视频（1）
日志数据（1）
金融（1）
运维（1）
爬虫（1）
无人驾驶（1）
hashmap（1）
监督学习（1）
线性回归（1）
ddos（1）
iis（1）
无监督学习（1）
机器人（1）
nat（1）
云计算（1）
数据湖（1）
教育（1）
bug（1）
coding（1）
dataframe（1）
overflow（1）
paypal（1）
server（1）
show（1）
sqoop（1）
stack（1）
streaming（1）
编程（1）
编程语言（1）
程序员（1）
翻译（1）
公众号（1）
行业（1）
互联网（1）
华为（1）
技巧（1）
架构（1）
解决方案（1）
开发者（1）
科技（1）
求职（1）
软件开发（1）
搜索（1）
腾讯（1）
项目经理（1）
异常（1）
搜索文章
搜索
搜索
关闭
Flink1.12支持对接Atlas【使用Atlas收集Flink元数据】
flink
大数据
node.js
编程算法
kafka
问题导读 1.Atlas中实体具体指什么？ 2.如何为Flink创建Atlas实体类型定义？ 3.如何验证元数据收集？ 在Cloudera Streaming Analytics中，可以将Flink与Apache Atlas一起使用，以跟踪Flink作业的输入和输出数据。 Atlas是沿袭和元数据管理解决方案，在Cloudera Data Platform上受支持。这意味着可以查找，组织和管理有关Flink应用程序以及它们如何相互关联的数据的不同资产。这实现了一系列数据管理和法规遵从性用例。 有关Atlas的更多信息，请参阅Cloudera Runtime文档。 Flink元数据集合中的Atlas实体 在Atlas中，表示Flink应用程序，Kafka主题，HBase表等的核心概念称为实体。需要了解Flink设置中实体的关系和定义，以增强元数据收集。 为Flink创建Atlas实体类型定义 在提交Flink作业以收集其元数据之前，需要为Flink创建Atlas实体类型定义。在命令行中，需要连接到Atlas服务器并添加预定义的类型定义。还需要在Cloudera Manager中为Flink启用Atlas。 验证元数据收集 启用Atlas元数据收集后，群集上新提交的Flink作业也将其元数据提交给Atlas。可以通过请求有关Atlas挂钩的信息来在命令行中使用消息验证元数据收集。 Flink元数据集合中的Atlas实体 在Atlas中，表示Flink应用程序，Kafka主题，HBase表等的核心概念称为实体。需要了解Flink设置中实体的关系和定义，以增强元数据收集。 在向Atlas提交更新时，Flink应用程序会描述自身以及用作源和接收器的实体。Atlas创建并更新相应的实体，并从收集到的和已经可用的实体创建沿袭。在内部，Flink客户端和Atlas服务器之间的通信是使用Kafka主题实现的。该解决方案被Atlas社区称为Flink挂钩。
用户1410343
2021-04-09
1.8K
0
2021年最新鲜的面试题整理：亿信华辰
spark
kafka
hive
存储
hadoop
我们VIP成员很多在2021年春节年前、后，拿到了offer。而且不止一个，有的两个，有的四个，有的六个。这里给我们分享其中一位成员，整理的一家公司的面试题，后续将会陆续发布。
用户1410343
2021-03-22
1.1K
0
大数据集群资源预估规划【适用于面试与工作集群规划】
kafka
存储
大数据
问题导读 1.如何判断数据增量？ 2.QPS如何计算？ 3.存储空间需要考虑哪些因素？ 4.内存估算和哪些因素有关？ 我们在实际工作，或者面试中，经常会遇到这么一个问题，集群该如何规划，一台机器多少磁盘，多少内存，多少core等。
用户1410343
2020-12-17
2.2K
0
Flink实战之网站日志ETL案例【含代码】
kafka
日志数据
yarn
node.js
云数据库 Redis
问题导读 1.怎样对字段进行大区转换？ 2.怎样拆分打平大JSON? 3.怎样把不同类型的日志数据分别进行存储？ 应用场景： 数据清洗【实时ETL】 数据报表 1、数据清洗【实时ETL】
用户1410343
2020-11-05
805
0
Flink1.8新版发布:都有哪些改变
大数据
文件存储
hadoop
sql
kafka
问题导读 1.Flink1.8引入对什么状态的连续清理？ 2.保存点兼容性方面，不在兼容哪个版本？ 3.Maven依赖在Hadoop方便发生了什么变化？ 4.Flink是否发布带有Hadoop的二进制文件？ Flink1.8发布，主要改变如下： 1.将会增量清除旧的State 2.编程方面TableEnvironment弃用 3.Flink1.8将不发布带有Hadoop的二进制安装包 更多详细如下：
用户1410343
2019-05-07
1.4K
0
Kafka权威指南 —— 1.2 初识Kafka
kafka
数据库
sql
编程算法
批量计算
什么是Kafka Apache Kafka是一个基于分布式日志提交机制设计的发布订阅系统。数据在kafka中持久化，用户可以随时按需读取。另外数据以分布式的方式存储，提高容错性，易于扩展。 Message和Batches Kafka中最基本的数据单元是消息message，如果使用过数据库，那么可以把Kafka中的消息理解成数据库里的一条行或者一条记录。消息是由字符数组组成的，kafka并不关系它内部是什么，索引消息的具体格式与Kafka无关。消息可以有一个可选的key，这个key也是个字符数组，与消息
用户1410343
2018-03-26
1.5K
2
kafka权威指南 第二章第6节 Kafka集群配置与调优
kafka
linux
缓存
问题导读： 1 Kafka集群有什么优势？ 2 集群中部署多少个节点合适？ 3 集群针对系统如何调优？ Kafka集群 对于本地的开发工作或者概念性的验证工作，单个Kafka服务器就可以支撑
用户1410343
2018-03-26
1.4K
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪，探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑，知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客，速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档
