腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
SmartSi
专栏成员
举报
270
文章
617849
阅读量
53
订阅数
订阅专栏
申请加入专栏
全部文章(270)
大数据(82)
编程算法(63)
java(45)
spark(36)
api(33)
scala(32)
sql(29)
文件存储(29)
存储(26)
flink(26)
unix(25)
mapreduce(25)
kafka(25)
hive(24)
数据库(23)
hadoop(22)
apache(19)
zookeeper(19)
windows(16)
node.js(14)
python(13)
缓存(13)
Elasticsearch Service(13)
分布式(12)
TDSQL MySQL 版(11)
网站(11)
http(11)
hbase(11)
数据处理(10)
数据结构(10)
javascript(9)
云数据库 Redis(9)
云数据库 SQL Server(7)
html(6)
json(6)
jar(6)
容器(6)
shell(6)
jvm(6)
https(6)
打包(5)
maven(5)
jdbc(5)
bash(4)
xml(4)
analyzer(4)
yarn(4)
tcp/ip(4)
socket编程(4)
linux(3)
bash 指令(3)
容器镜像服务(3)
网络安全(3)
jdk(3)
ssh(3)
正则表达式(3)
hexo(3)
php(2)
css(2)
oracle(2)
github(2)
lucene/solr(2)
ubuntu(2)
腾讯云测试服务(2)
serverless(2)
kubernetes(2)
数据分析(2)
processing(2)
ios(1)
mac os(1)
regex(1)
postgresql(1)
ruby on rails(1)
git(1)
全文检索(1)
批量计算(1)
日志服务(1)
访问管理(1)
消息队列 CMQ 版(1)
数据加密服务(1)
云推荐引擎(1)
mongodb(1)
企业(1)
vr 视频解决方案(1)
rollup.js(1)
开源(1)
压力测试(1)
numpy(1)
sql server(1)
面向对象编程(1)
npm(1)
单元测试(1)
rpc(1)
uml(1)
云计算(1)
任务调度(1)
utf8(1)
raft(1)
数据湖(1)
elasticsearch(1)
fetch(1)
get(1)
iterable(1)
join(1)
key(1)
search(1)
size(1)
storm(1)
task(1)
worker(1)
yaml(1)
搜索(1)
索引(1)
搜索文章
搜索
搜索
关闭
Flink SQL Kafka Connector
kafka
node.js
文件存储
编程算法
flink
Kafka Connector 提供了从 Kafka topic 中消费和写入数据的能力。
smartsi
2022-02-22
5.1K
0
Hadoop Yarn 节点健康监测机制
node.js
节点健康监测是 NodeManager 自带的健康状态诊断机制。通过该机制,NodeManager 可以时刻掌握自己的健康状况,并及时汇报给 ResourceManager,ResourceManager 根据节点的健康状况调整分配的任务数目。如果任何健康监测失败,NodeManager 会将该节点标记处于不健康状态,并将其传达给 ResourceManager,后者会停止将新任务分配给该节点,直到节点标记为健康状态。该机制不仅可以帮助及时发现存在问题的 NodeManager,避免不必要的任务分配,也可以用于动态升级(通过脚本指示 ResourceManager 不再分配任务,等到 NodeManager 上面的任务运行完成后,对它进行升级)。
smartsi
2021-10-19
2.3K
0
Kafka Connect 如何构建实时数据管道
kafka
json
node.js
api
分布式
Kafka Connect 旨在通过将数据移入和移出 Kafka 进行标准化,以更轻松地构建大规模的实时数据管道。我们可以使用 Kafka Connector 读取或写入外部系统、管理数据流以及扩展系统,所有这些都无需开发新代码。Kafka Connect 管理与其他系统连接时的所有常见问题(Schema 管理、容错、并行性、延迟、投递语义等),每个 Connector 只关注如何在目标系统和 Kafka 之间复制数据。
smartsi
2021-09-23
1.7K
0
Flink中如何解析与传递参数
flink
大数据
node.js
几乎所有的 Flink 应用程序(包括批处理与流处理程序)都需要依赖外部配置参数。例如,可以用来指定输入和输出源(如路径或者地址),系统参数(并发数,运行时配置)以及应用程序特定参数(通常用在自定义函数中)。
smartsi
2020-11-03
4.7K
0
Presto 安装与部署
node.js
hive
jvm
日志服务
Presto 在访问 Hive 中的数据时需要得到 Hive 中的所有元数据信息,因此需要部署一个 HiveMetaStore 服务提供 Hive 的元数据信息。
smartsi
2020-02-25
3K
1
ZooKeeper CLI
node.js
zookeeper
http
bash
bash 指令
ZooKeeper 命令行界面(CLI)用于与 ZooKeeper 集合进行交互以进行开发。它有助于调试和解决不同的选项。要执行 ZooKeeper CLI 操作,首先打开 ZooKeeper 服务器(bin/zkServer.sh start),然后打开 ZooKeeper 客户端(bin/zkCli.sh)。客户端启动后,你就可以执行以下操作:
smartsi
2019-11-27
1.1K
0
ZooKeeper Java API
zookeeper
node.js
ZooKeeper API 的核心部分是 ZooKeeper 类。在构造函数中提供一些参数来连接 ZooKeeper,并提供如下方法:
smartsi
2019-11-26
2K
0
ZooKeeper 如何使用Watcher
zookeeper
node.js
ZooKeeper 允许客户端向服务端注册一个 Watcher 监听,当服务端的一些指定事件触发了这个 Watcher,那么就向指定客户端(注册了对应 Watcher 监听的客户端)发送一个事件通知来实现分布式的通知功能。整个 Watcher 注册与通知过程如下图所示:
smartsi
2019-11-26
2.8K
0
Flink1.4 用于外部数据访问的异步IO
数据库
sql
javascript
node.js
api
当与外部系统交互时(例如,使用存储在数据库中数据丰富流事件),需要注意与外部系统的通信延迟并不决定流应用程序的整体工作。访问外部数据库中的数据(例如在 MapFunction 中)通常意味着同步交互:将请求发送到数据库,MapFunction 会等待直到收到响应。在许多情况下,这个等待时间占了该函数绝大部分时间。
smartsi
2019-08-07
912
0
Spark 在Yarn上运行Spark应用程序
容器
yarn
spark
shell
node.js
在 YARN 中,每个应用程序实例都有一个 ApplicationMaster 进程,该进程是为该应用程序启动的第一个容器。应用程序负责从 ResourceManager 上请求资源。一旦分配了资源,应用程序将指示 NodeManagers 启动容器。ApplicationMasters 消除了对活跃客户端的依赖:启动应用程序的进程可以终止,并且从在集群上由 YARN 管理的进程继续协作运行。
smartsi
2019-08-07
1.8K
0
Hive 正则序列化器RegexSerDe
hive
java
yarn
node.js
正则表达式
RegexSerDe 可以从 Hive 两个jar文件的类中获取,hive-serde-<version>.jar中的 org.apache.hadoop.hive.contrib.serde2.RegexSerDe 以及 hive-contrib-<version>.jar 中的 org.apache.hadoop.hive.serde2.RegexSerDe。
smartsi
2019-08-07
1.6K
0
Hadoop MapReduce新一代架构MRv2
hadoop
容器
mapreduce
yarn
node.js
MapReduce在hadoop-0.23中经历了彻底的改变,现在我们称之为MapReduce 2.0(MRv2)或者YARN。
smartsi
2019-08-07
649
0
Hexo 搭建静态博客
hexo
npm
http
github
node.js
Hexo 是一个快速、简洁且高效的博客框架。Hexo 使用 Markdown(或其他渲染引擎)解析文章(经常玩CSDN上的人都知道),在几秒内,即可利用靓丽的主题生成静态网页。通过Hexo我们可以快速创建自己的博客,仅需要几条命令就可以完成。发布时,Hexo可以部署在自己的Node服务器上面,也可以部署github上面。对于个人用户来说,部署在github上好处颇多,不仅可以省去服务器的成本,还可以减少各种系统运维的麻烦事(系统管理、备份、网络)。所以,在这里我是基于github搭建的个人博客站点。
smartsi
2019-08-07
769
0
Hadoop 图解HDFS工作原理
大数据
存储
node.js
结合Maneesh Varshney的漫画改编,为大家分析HDFS存储机制与运行原理。
smartsi
2019-08-07
2.6K
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档