腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

大数据实战演练

专栏作者

157

文章

539956

阅读量

60

订阅数

干货 | 5000字教你如何使用命令行查看应用日志以及YARN应用日志相关参数解析

yarn node.js flink hadoop 大数据

对于从事大数据相关工作的朋友来说，在平时应该会跟 yarn 打过不少交道。像 MapReduce on yarn，Spark on yarn，Flink on yarn 等都是需要将应用运行在 yarn 上面的。但是对于应用运行日志的查看，yarn 却不像寻常服务那样方便，确实是有一些门槛的。而今天，我们就来好好梳理运行在 yarn 上面的应用日志相关参数及查看方式，最后以查看 Flink on yarn 日志示例。

2022-11-17

2.2K0

干货 | YARN 应用日志相关参数解析及如何使用命令行查看应用日志

yarn node.js flink hadoop 大数据

对于从事大数据相关工作的朋友来说，在平时应该会跟 yarn 打过不少交道。像 MapReduce on yarn，Spark on yarn，Flink on yarn 等都是需要将应用运行在 yarn 上面的。但是对于应用运行日志的查看，yarn 却不像寻常服务那样方便，确实是有一些门槛的。而今天，我们就来好好梳理运行在 yarn 上面的应用日志相关参数及查看方式，最后以查看 Flink on yarn 日志示例。

2022-11-17

2.7K0

干货 | kubectl 常用命令集锦（一）

kubernetes 容器 node.js

可以通过 --all-namespaces 获取 k8s 集群所有的 serivce 列表：

2022-11-17

1.1K0

数仓面试高频考点--解决hive小文件过多问题

hive sql 大数据 mapreduce node.js

hive 中的小文件肯定是向 hive 表中导入数据时产生，所以先看下向 hive 中导入数据的几种方式

2021-04-07

6260

Java api 远程访问 HDFS HA 通用写法总结，说实话，我之前就是前一种写法的那种人，笑哭~

大数据 xml node.js rpc

今天将自己的程序部署到生产环境中，发现执行 hdfs 相关操作时报错了。原来是测试环境是 nameNode 单节点，生产环境上是 nameNode HA 。

2020-12-16

2.7K0

悄悄掌握 Kafka 常用命令，再也不用全网搜索了（建议收藏）

前言对于从事大数据相关职位的朋友们来说，使用 kafka 的频率应该不会少。为了解决各位在操作 kafka 时记不住命令参数的痛点，所以我整理了一下在我工作中经常用到的 kafka 实操命令，希望各位看官能够喜欢。 kafka版本：2.11-1.1.0

2020-12-16

7.1K0

解惑 | kafka集群三节点下,挂掉一个节点,为什么消费者消费不到数据了

node.js kafka 负载均衡负载均衡缓存

之前，Kafka 集群就一个 broker ，id 为 200 ，然后根据需求，我又扩展了 2 个节点，修改 broker.id 、listeners 、创建数据目录，然后就启动 Kafka 节点了，到此，我以为 Kafka 集群三节点部署完毕，kafka broker id 分别为 200、201、202。于是，我创建了新的 topic:test ，3 分区 3 副本，生产、消费数据都很正常。

2020-12-01

4.3K0

解惑 | 为什么我根据时间戳获得的offset为空呢？

node.js http kafka java shell

最近有一个需求，要查询某一时间戳对应的offset值，于是就想到了使用 ./bin/kafka-run-class.sh kafka.tools.GetOffsetShell --time <timestamp> ，但是我在测试的时候，发现有的时间戳会获取不到offset，是空。但是明明指定的时间戳有上报数据，肯定有对应的 offset 的。于是就谷歌，找到了这篇帖子：

2020-09-24

2.5K0

实操 | kafka如何手动异步提交offset

至于为什么消费者提交 offsets 时要 +1，在《Kafka消费者之如何提交消息的偏移量》中的概述章节里面也给出了答案。

2020-09-24

3.8K0

两种实现方式 | 如何查看消费者组的消费情况

node.js kafka html 文件存储 api

本文提供两种方式来查看消费者组的消费情况，分别通过命令行和 java api 的方式来消费 __consumer_offsets 。

2020-09-18

6.3K0

Java 实现 FastDFS 实现文件的上传、下载、删除

node.js c++hbase TDSQL MySQL 版 nginx

上述方法就是将图片的 base64 码进行转换并上传到了 fastdfs 上。以下是可复制粘贴的源码：

2020-03-12

3.3K0

Elasticsearch 6.x 配置详解

node.js Elasticsearch Service https html 网络安全

# ---------------------------------- Cluster -----------------------------------

2019-12-02

1.3K0

Spring使用ThreadPoolTaskExecutor自定义线程池及实现异步调用

编程算法 javascript node.js ajax

在项目的 resources 目录下创建 executor.properties 文件，并添加如下配置：

2019-10-14

2.1K0

看完您如果还不明白 Kerberos 原理，算我输！

kerberos hadoop https node.js

强大的身份验证和建立用户身份是 Hadoop 安全访问的基础。用户需要能够可靠地 “识别” 自己，然后在整个 Hadoop 集群中传播该身份。完成此操作后，这些用户可以访问资源（例如文件或目录）或与集群交互（如运行 MapReduce 作业）。除了用户之外，Hadoop 集群资源本身（例如主机和服务）需要相互进行身份验证，以避免潜在的恶意系统或守护程序 “冒充” 受信任的集群组件来获取数据访问权限。

2019-08-30

10.7K0

Kylin配置Spark并构建Cube

spark mapreduce yarn node.js jar

在运行 Spark cubing 前，建议查看一下这些配置并根据集群的情况进行自定义。下面是建议配置，开启了 Spark 动态资源分配：

2019-08-29

1.2K0

Kafka消费者之如何提交消息的偏移量

kafka javascript node.js

由于消费者模块的知识涉及太多，所以决定先按模块来整理知识，最后再进行知识模块汇总。

2019-07-12

3.4K0

Kafka基础（一）：基本概念及生产者、消费者示例

node.js kafka zookeeper

Kafka 起初是由 LinkedIn 公司采用 Scala 语言开发的一个多分区、多副本且基于 Zookeeper 协调的分布式消息系统，现已被捐献给 Apache 基金会。目前 Kafka 已经定位为一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性被广泛使用。目前越来越多的开源式分布处理系统如：Storm、Spark、Flink 等都支持与 Kafka 集成。

2019-06-19

7470

【生活现场】从洗袜子到HBase存储原理解析

hbase TDSQL MySQL 版大数据 node.js html

小史是一个非科班的程序员，虽然学的是电子专业，但是通过自己的努力成功通过了面试，现在要开始迎接新生活了。

2019-05-14

8060

zookeeper ACL 权限控制

zookeeper 网站 node.js tcp/ip

zooKeeper使用acl（Access Control List）来控制对其znode（zooKeeper数据树的数据节点）的访问。不过，zookeeper的acl并不像HDFS系统的acl一样，可以递归控制权限。zookeeper的acl不是递归的，仅适用于特定的znode。比如/app这个znode，设置一些权限，只能某用户可以访问，但是/app/status的权限是与/app没有关系的，默认是world:anyone:cdrwa。

2019-04-17

6K0

Linux多台主机互相免密登陆

我们使用ssh-keygen在A主机上生成私钥和公钥，将公钥的内容粘贴到B主机的authorized_keys文件内，就可以在A主机上使用ssh命令，不使用密码登陆B主机。

2019-03-15

1.9K0

点击加载更多

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态