腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

SmartSi

专栏作者

270

文章

586754

阅读量

53

订阅数

Flink SQL Kafka Connector

kafka node.js 文件存储编程算法 flink

Kafka Connector 提供了从 Kafka topic 中消费和写入数据的能力。

2022-02-22

4.6K0

Hadoop Yarn 节点健康监测机制

节点健康监测是 NodeManager 自带的健康状态诊断机制。通过该机制，NodeManager 可以时刻掌握自己的健康状况，并及时汇报给 ResourceManager，ResourceManager 根据节点的健康状况调整分配的任务数目。如果任何健康监测失败，NodeManager 会将该节点标记处于不健康状态，并将其传达给 ResourceManager，后者会停止将新任务分配给该节点，直到节点标记为健康状态。该机制不仅可以帮助及时发现存在问题的 NodeManager，避免不必要的任务分配，也可以用于动态升级（通过脚本指示 ResourceManager 不再分配任务，等到 NodeManager 上面的任务运行完成后，对它进行升级）。

2021-10-19

2K0

Kafka Connect 如何构建实时数据管道

kafka json node.js api 分布式

Kafka Connect 旨在通过将数据移入和移出 Kafka 进行标准化，以更轻松地构建大规模的实时数据管道。我们可以使用 Kafka Connector 读取或写入外部系统、管理数据流以及扩展系统，所有这些都无需开发新代码。Kafka Connect 管理与其他系统连接时的所有常见问题（Schema 管理、容错、并行性、延迟、投递语义等），每个 Connector 只关注如何在目标系统和 Kafka 之间复制数据。

2021-09-23

1.6K0

Flink中如何解析与传递参数

flink 大数据 node.js

几乎所有的 Flink 应用程序（包括批处理与流处理程序）都需要依赖外部配置参数。例如，可以用来指定输入和输出源(如路径或者地址)，系统参数(并发数，运行时配置)以及应用程序特定参数（通常用在自定义函数中）。

2020-11-03

4.5K0

Presto 安装与部署

node.js hive jvm 日志服务

Presto 在访问 Hive 中的数据时需要得到 Hive 中的所有元数据信息，因此需要部署一个 HiveMetaStore 服务提供 Hive 的元数据信息。

2020-02-25

2.9K1

node.js zookeeper http bash bash 指令

ZooKeeper 命令行界面（CLI）用于与 ZooKeeper 集合进行交互以进行开发。它有助于调试和解决不同的选项。要执行 ZooKeeper CLI 操作，首先打开 ZooKeeper 服务器（bin/zkServer.sh start），然后打开 ZooKeeper 客户端（bin/zkCli.sh）。客户端启动后，你就可以执行以下操作：

2019-11-27

1.1K0

ZooKeeper Java API

zookeeper node.js

ZooKeeper API 的核心部分是 ZooKeeper 类。在构造函数中提供一些参数来连接 ZooKeeper，并提供如下方法:

2019-11-26

1.9K0

ZooKeeper 如何使用Watcher

zookeeper node.js

ZooKeeper 允许客户端向服务端注册一个 Watcher 监听，当服务端的一些指定事件触发了这个 Watcher，那么就向指定客户端（注册了对应 Watcher 监听的客户端）发送一个事件通知来实现分布式的通知功能。整个 Watcher 注册与通知过程如下图所示:

2019-11-26

2.7K0

Flink1.4 用于外部数据访问的异步IO

数据库 sql javascript node.js api

当与外部系统交互时（例如，使用存储在数据库中数据丰富流事件），需要注意与外部系统的通信延迟并不决定流应用程序的整体工作。访问外部数据库中的数据（例如在 MapFunction 中）通常意味着同步交互：将请求发送到数据库，MapFunction 会等待直到收到响应。在许多情况下，这个等待时间占了该函数绝大部分时间。

2019-08-07

8820

Spark 在Yarn上运行Spark应用程序

容器 yarn spark shell node.js

在 YARN 中，每个应用程序实例都有一个 ApplicationMaster 进程，该进程是为该应用程序启动的第一个容器。应用程序负责从 ResourceManager 上请求资源。一旦分配了资源，应用程序将指示 NodeManagers 启动容器。ApplicationMasters 消除了对活跃客户端的依赖：启动应用程序的进程可以终止，并且从在集群上由 YARN 管理的进程继续协作运行。

2019-08-07

1.8K0

Hive 正则序列化器RegexSerDe

hive java yarn node.js 正则表达式

RegexSerDe 可以从 Hive 两个jar文件的类中获取，hive-serde-<version>.jar中的 org.apache.hadoop.hive.contrib.serde2.RegexSerDe 以及 hive-contrib-<version>.jar 中的 org.apache.hadoop.hive.serde2.RegexSerDe。

2019-08-07

1.6K0

Hadoop MapReduce新一代架构MRv2

hadoop 容器 mapreduce yarn node.js

MapReduce在hadoop-0.23中经历了彻底的改变，现在我们称之为MapReduce 2.0(MRv2)或者YARN。

2019-08-07

6130

Hexo 搭建静态博客

hexo npm http github node.js

Hexo 是一个快速、简洁且高效的博客框架。Hexo 使用 Markdown（或其他渲染引擎）解析文章（经常玩CSDN上的人都知道），在几秒内，即可利用靓丽的主题生成静态网页。通过Hexo我们可以快速创建自己的博客，仅需要几条命令就可以完成。发布时，Hexo可以部署在自己的Node服务器上面，也可以部署github上面。对于个人用户来说，部署在github上好处颇多，不仅可以省去服务器的成本，还可以减少各种系统运维的麻烦事(系统管理、备份、网络)。所以，在这里我是基于github搭建的个人博客站点。

2019-08-07

7450

Hadoop 图解HDFS工作原理

大数据存储 node.js

结合Maneesh Varshney的漫画改编，为大家分析HDFS存储机制与运行原理。

2019-08-07

2.5K0

没有更多了

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态