腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
大数据实战演练
专栏成员
举报
157
文章
579095
阅读量
60
订阅数
订阅专栏
申请加入专栏
全部文章(157)
大数据(30)
node.js(28)
java(22)
https(22)
数据库(20)
网络安全(20)
sql(19)
hbase(19)
TDSQL MySQL 版(17)
编程算法(16)
hadoop(16)
jar(15)
spring(15)
hive(15)
kafka(15)
xml(13)
云数据库 SQL Server(13)
打包(11)
api(10)
zookeeper(10)
kerberos(9)
Elasticsearch Service(9)
javascript(8)
html(8)
apache(8)
http(8)
python(7)
git(7)
linux(7)
mapreduce(7)
ide(6)
github(6)
maven(6)
spring boot(6)
bash(5)
bash 指令(5)
网站(5)
spark(5)
yum(5)
负载均衡(4)
json(4)
lucene/solr(4)
yarn(4)
容器(4)
kubernetes(4)
存储(4)
开源(4)
windows(4)
flink(4)
其他(3)
官方文档(3)
php(3)
postgresql(3)
负载均衡缓存(3)
nginx(3)
shell(3)
面向对象编程(3)
tcp/ip(3)
微信(3)
数据分析(3)
c++(2)
scala(2)
oracle(2)
文件存储(2)
分布式(2)
jdk(2)
mybatis(2)
jdbc(2)
单元测试(2)
部署(2)
服务(2)
servlet(1)
angularjs(1)
ajax(1)
android(1)
mvc(1)
搜索引擎(1)
unix(1)
容器镜像服务(1)
专用宿主机(1)
日志服务(1)
访问管理(1)
云数据库 MongoDB(1)
SSL 证书(1)
mongodb(1)
日志数据(1)
渲染(1)
缓存(1)
ssh(1)
正则表达式(1)
unity(1)
grep(1)
aop(1)
rpc(1)
udp(1)
jenkins(1)
gradle(1)
spring cloud(1)
ntp(1)
安全(1)
架构设计(1)
腾讯云开发者社区(1)
processing(1)
cloud(1)
cloudera(1)
jetbrains(1)
product(1)
public(1)
python3(1)
release(1)
server(1)
service(1)
stack(1)
tar(1)
version(1)
编辑器(1)
变量(1)
操作系统(1)
程序(1)
工作(1)
工作流(1)
函数(1)
架构(1)
配置(1)
日志(1)
入门(1)
生命周期(1)
统计(1)
原理(1)
注解(1)
搜索文章
搜索
搜索
关闭
干货 | 5000字教你如何使用命令行查看应用日志以及YARN应用日志相关参数解析
yarn
node.js
flink
hadoop
大数据
对于从事大数据相关工作的朋友来说,在平时应该会跟 yarn 打过不少交道。像 MapReduce on yarn,Spark on yarn,Flink on yarn 等都是需要将应用运行在 yarn 上面的。但是对于应用运行日志的查看,yarn 却不像寻常服务那样方便,确实是有一些门槛的。而今天,我们就来好好梳理运行在 yarn 上面的应用日志相关参数及查看方式,最后以查看 Flink on yarn 日志示例。
create17
2022-11-17
2.4K
0
干货 | YARN 应用日志相关参数解析及如何使用命令行查看应用日志
yarn
node.js
flink
hadoop
大数据
对于从事大数据相关工作的朋友来说,在平时应该会跟 yarn 打过不少交道。像 MapReduce on yarn,Spark on yarn,Flink on yarn 等都是需要将应用运行在 yarn 上面的。但是对于应用运行日志的查看,yarn 却不像寻常服务那样方便,确实是有一些门槛的。而今天,我们就来好好梳理运行在 yarn 上面的应用日志相关参数及查看方式,最后以查看 Flink on yarn 日志示例。
create17
2022-11-17
3.2K
0
干货 | kubectl 常用命令集锦(一)
kubernetes
容器
node.js
可以通过 --all-namespaces 获取 k8s 集群所有的 serivce 列表:
create17
2022-11-17
1.3K
0
数仓面试高频考点--解决hive小文件过多问题
hive
sql
大数据
mapreduce
node.js
hive 中的小文件肯定是向 hive 表中导入数据时产生,所以先看下向 hive 中导入数据的几种方式
create17
2021-04-07
660
0
Java api 远程访问 HDFS HA 通用写法总结,说实话,我之前就是前一种写法的那种人,笑哭~
大数据
xml
node.js
rpc
今天将自己的程序部署到生产环境中,发现执行 hdfs 相关操作时报错了。原来是测试环境是 nameNode 单节点,生产环境上是 nameNode HA 。
create17
2020-12-16
3.1K
0
悄悄掌握 Kafka 常用命令,再也不用全网搜索了(建议收藏)
kafka
node.js
前言 对于从事大数据相关职位的朋友们来说,使用 kafka 的频率应该不会少。为了解决各位在操作 kafka 时记不住命令参数的痛点,所以我整理了一下在我工作中经常用到的 kafka 实操命令,希望各位看官能够喜欢。 kafka版本:2.11-1.1.0
create17
2020-12-16
8.5K
0
解惑 | kafka集群三节点下,挂掉一个节点,为什么消费者消费不到数据了
node.js
kafka
负载均衡
负载均衡缓存
之前,Kafka 集群就一个 broker ,id 为 200 ,然后根据需求,我又扩展了 2 个节点,修改 broker.id 、listeners 、创建数据目录,然后就启动 Kafka 节点了,到此,我以为 Kafka 集群三节点部署完毕,kafka broker id 分别为 200、201、202。于是,我创建了新的 topic:test ,3 分区 3 副本,生产、消费数据都很正常。
create17
2020-12-01
5K
0
解惑 | 为什么我根据时间戳获得的offset为空呢?
node.js
http
kafka
java
shell
最近有一个需求,要查询某一时间戳对应的offset值,于是就想到了使用 ./bin/kafka-run-class.sh kafka.tools.GetOffsetShell --time <timestamp> ,但是我在测试的时候,发现有的时间戳会获取不到offset,是空。但是明明指定的时间戳有上报数据,肯定有对应的 offset 的。于是就谷歌,找到了这篇帖子:
create17
2020-09-24
2.7K
0
实操 | kafka如何手动异步提交offset
node.js
kafka
至于为什么消费者提交 offsets 时要 +1,在《Kafka消费者 之 如何提交消息的偏移量》中的概述章节里面也给出了答案。
create17
2020-09-24
3.9K
0
两种实现方式 | 如何查看消费者组的消费情况
node.js
kafka
html
文件存储
api
本文提供两种方式来查看消费者组的消费情况,分别通过命令行和 java api 的方式来消费 __consumer_offsets 。
create17
2020-09-18
7.2K
0
Java 实现 FastDFS 实现文件的上传、下载、删除
node.js
c++
hbase
TDSQL MySQL 版
nginx
上述方法就是将图片的 base64 码进行转换并上传到了 fastdfs 上。以下是可复制粘贴的源码:
create17
2020-03-12
3.6K
0
Elasticsearch 6.x 配置详解
node.js
Elasticsearch Service
https
html
网络安全
# ---------------------------------- Cluster -----------------------------------
create17
2019-12-02
1.4K
0
Spring使用ThreadPoolTaskExecutor自定义线程池及实现异步调用
编程算法
javascript
node.js
ajax
在项目的 resources 目录下创建 executor.properties 文件,并添加如下配置:
create17
2019-10-14
2.2K
0
看完您如果还不明白 Kerberos 原理,算我输!
kerberos
hadoop
https
node.js
强大的身份验证和建立用户身份是 Hadoop 安全访问的基础。用户需要能够可靠地 “识别” 自己,然后在整个 Hadoop 集群中传播该身份。完成此操作后,这些用户可以访问资源(例如文件或目录)或与集群交互(如运行 MapReduce 作业)。除了用户之外,Hadoop 集群资源本身(例如主机和服务)需要相互进行身份验证,以避免潜在的恶意系统或守护程序 “冒充” 受信任的集群组件来获取数据访问权限。
create17
2019-08-30
14.4K
0
Kylin配置Spark并构建Cube
spark
mapreduce
yarn
node.js
jar
在运行 Spark cubing 前,建议查看一下这些配置并根据集群的情况进行自定义。下面是建议配置,开启了 Spark 动态资源分配:
create17
2019-08-29
1.2K
0
Kafka消费者 之 如何提交消息的偏移量
kafka
javascript
node.js
由于消费者模块的知识涉及太多,所以决定先按模块来整理知识,最后再进行知识模块汇总。
create17
2019-07-12
3.6K
0
Kafka基础(一):基本概念及生产者、消费者示例
node.js
kafka
zookeeper
Kafka 起初是由 LinkedIn 公司采用 Scala 语言开发的一个多分区、多副本且基于 Zookeeper 协调的分布式消息系统,现已被捐献给 Apache 基金会。目前 Kafka 已经定位为一个分布式流式处理平台,它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性被广泛使用。目前越来越多的开源式分布处理系统如:Storm、Spark、Flink 等都支持与 Kafka 集成。
create17
2019-06-19
854
0
【生活现场】从洗袜子到HBase存储原理解析
hbase
TDSQL MySQL 版
大数据
node.js
html
小史是一个非科班的程序员,虽然学的是电子专业,但是通过自己的努力成功通过了面试,现在要开始迎接新生活了。
create17
2019-05-14
821
0
zookeeper ACL 权限控制
zookeeper
网站
node.js
tcp/ip
zooKeeper使用acl(Access Control List)来控制对其znode(zooKeeper数据树的数据节点)的访问。 不过,zookeeper的acl并不像HDFS系统的acl一样,可以递归控制权限。zookeeper的acl不是递归的,仅适用于特定的znode。比如/app这个znode,设置一些权限,只能某用户可以访问,但是/app/status的权限是与/app没有关系的,默认是world:anyone:cdrwa。
create17
2019-04-17
6.2K
0
Linux多台主机互相免密登陆
ssh
node.js
我们使用ssh-keygen在A主机上生成私钥和公钥,将公钥的内容粘贴到B主机的authorized_keys文件内,就可以在A主机上使用ssh命令,不使用密码登陆B主机。
create17
2019-03-15
1.9K
0
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档