腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
大数据-Hadoop、Spark
专栏成员
举报
88
文章
144803
阅读量
39
订阅数
订阅专栏
申请加入专栏
全部文章(88)
spark(18)
其他(15)
linux(14)
hadoop(10)
hive(10)
大数据(9)
sql(7)
java(6)
node.js(6)
TDSQL MySQL 版(5)
http(5)
kubernetes(5)
hbase(5)
数据库(4)
云数据库 SQL Server(4)
yarn(4)
zookeeper(4)
打包(3)
apache(3)
容器镜像服务(3)
tcp/ip(3)
python(2)
javascript(2)
bash(2)
scala(2)
ubuntu(2)
专用宿主机(2)
容器(2)
编程算法(2)
存储(2)
html5(2)
jvm(2)
ssh(2)
面向对象编程(2)
windows(2)
https(2)
微服务(2)
kafka(2)
image(2)
png(2)
负载均衡(1)
go(1)
html(1)
云数据库 Redis(1)
jar(1)
tomcat(1)
maven(1)
负载均衡缓存(1)
bash 指令(1)
spring(1)
访问管理(1)
命令行工具(1)
es 2(1)
人工智能(1)
网站(1)
日志数据(1)
缓存(1)
shell(1)
网络安全(1)
jdk(1)
yum(1)
dns(1)
jdbc(1)
rpc(1)
kernel(1)
gcc(1)
kerberos(1)
数据分析(1)
数据结构(1)
nat(1)
emr(1)
flink(1)
file(1)
jmx(1)
list(1)
ls(1)
memory(1)
output(1)
sort(1)
time(1)
日志(1)
搜索文章
搜索
搜索
关闭
Linux的一些知识
kernel
linux
:wq 强制性写入文件并退出。即使文件没有被修改也强制写入,并更新文件的修改时间。
sparkle123
2021-03-07
491
0
网易Kyuubi
spark
hive
sql
负载均衡
负载均衡缓存
网易在Spark多租户方面的工作,这个项目叫做Kyuubi(该项目的开源地址: https://github.com/netease-bigdata/kyuubi https://github.com/yaooqinn/kyuubi),实际上是类似于HiveSever2的程序。
sparkle123
2021-03-03
1.5K
0
EMR Remote Shuffle Service
spark
emr
ESS(EMR Remote Shuffle Service)是EMR在优化计算引擎的Shuffle操作上,推出的扩展组件。
sparkle123
2021-03-03
1.4K
0
聊聊Kubernetes
tcp/ip
kubernetes
容器
轻量级:消耗资源小 开源,来自Google 内部15年工程经验 弹性伸缩 负载均衡:IPVS
sparkle123
2021-03-03
330
0
使用YAML部署容器
kubernetes
http
容器镜像服务
在这个场景中,学习如何使用Kubectl创建和启动部署、复制控制器,并通过编写yaml定义通过服务公开它们。YAML定义定义了调度部署的Kubernetes对象。可以更新对象并将其重新部署到集群中以更改配置。
sparkle123
2021-02-05
1K
0
学习使用Kubectl部署Containers
http
kubernetes
容器
容器镜像服务
命令行工具
如何使用Kubectl创建和启动部署、复制控制器,并通过服务公开它们,而不需要编写yaml定义。快速地将容器启动到集群中。
sparkle123
2021-02-05
616
0
kubeadm入门
kubernetes
tcp/ip
容器镜像服务
https
http
初始化集群的第一阶段是启动主节点。主服务器负责运行控制平面组件、etcd和API服务器。客户端将与API通信,以调度工作负载和管理集群的状态
sparkle123
2021-02-05
686
0
Spark on K8S
spark
python
kubernetes
kerberos
大数据
Spark Standalone on Kubernetes (via k8s community) SPIP: SPARK-18278 https://github.com/apache-spark-on-k8s/spark (fork)
sparkle123
2021-01-26
617
0
Go语言初窥
java
打包
go
spring
jvm
Go与C/C++消耗的CPU差距不大,但由于Go是垃圾回收型语言,耗费的内存会多一些。 拿Go与同为垃圾回收型语言的Java简单比较一下。
sparkle123
2021-01-26
492
0
Linux /var/log下的各种日志文件
https
网络安全
linux
last等日志是二进制文件,无法直接修改。所以清除的最简单方式是清空日志文件本身。
sparkle123
2021-01-21
1.8K
0
yarn node -list
yarn
list
[yarn@bigdata016 ~]$ yarn node -list 2021-01-12 00:07:07,642 INFO [main] client.ConfiguredRMFailoverProxyProvider (ConfiguredRMFailoverProxyProvider.java:performFailover(100)) - Failing over to rm2 Total Nodes:32 Node-Id Node-State Node-H
sparkle123
2021-01-14
472
0
HBase多租户系统设计
访问管理
面向多租户的数据安全和资源隔离能力,提供标准的用户名密码认证、ACL、Quota、Resource Group等特性, 看到集群的容量状况,Server列表,表属性,表大小等等信息。在集群管理系统中,可以完成namespace管理、用户管理、ACL管理等功能
sparkle123
2021-01-13
1.1K
0
Spark任务日志
sql
spark
linux
SparkListenerLogStart SparkListenerBlockManagerAdded SparkListenerEnvironmentUpdate SparkListenerApplicationStart //N个 SparkListenerExecutorAdded //N个 SparkListenerBlockManagerAdded org.apache.spark.sql.execution.ui.SparkListenerSQLExecutionStart SparkListenerJobStart //N个 SparkListenerStageSubmitted //N个 SparkListenerTaskStart SparkListenerTaskEnd //N个
sparkle123
2021-01-13
454
0
FsImage Analyse Tool
yarn
node.js
大数据
hadoop
bash
该工具提供自动化解析HDFS集群FSImage文件,并解析成文本文件存储在HDFS中;解析后的信息通过Hive映射成表,并通过Hive进行相关信息统计,使用有数生成相关报表。
sparkle123
2021-01-08
885
1
Hive on Tez 典型日志内容
hive
日志
Hive on Tez 典型日志内容 INFO : Compiling command(queryId=hive_20201014093918_9393118a-0614-4c9e-a6da-865afb5df98d): select count(*) as cnt, new_uv from dm_db. dm_browser_app_retain_d where p_dt = '2019-07-13' GROUP BY new_uv INFO : Semantic Analysis Complet
sparkle123
2021-01-08
907
0
2018-07-30
微服务
image.png 微服务无状态,不使用session。 典型的多语言的微服务拓扑图。 image.png
sparkle123
2021-01-08
175
0
ReadProcessor read fields took xx ms
node.js
hadoop
大数据
linux
cd /opt/log/xdp/hadoop-hdfs/hdfs_datanode
sparkle123
2021-01-08
967
0
Spark History Server自动删除日志文件
spark
node.js
hadoop
面向对象编程
公司的计算平台上,写入spark-history目录日志文件数超过设定阈值(1048576),导致任务失败。
sparkle123
2021-01-04
2.6K
0
HDFS ls查看文件-按照时间排序
file
ls
output
sort
time
Hadoop2.8.0以下版本,内置是不支持按照时间等属性排序的。 我们可以结合Shell命令来实现按照文件最近修改的时间对 ls 命令输出结果进行排序。比如,按照最近修改的时间降序排序(也就是越早修改的文件显示在最下面)
sparkle123
2021-01-04
3.6K
0
NameNode信息的接口
java
image
jmx
memory
png
jmx?qry=Hadoop:service=NameNode, name=NameNodeInfo http://yyy:50070/jmx?qry=Hadoop:service=NameNode
sparkle123
2020-12-31
798
0
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档