腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
大数据学习笔记
专栏作者
举报
533
文章
741763
阅读量
73
订阅数
订阅专栏
申请加入专栏
全部文章（533）
http（63）
node.js（59）
java（54）
hadoop（54）
数据库（47）
网络安全（46）
编程算法（44）
大数据（42）
https（42）
sql（34）
Elasticsearch Service（32）
linux（31）
xml（29）
spark（25）
maven（24）
云数据库 SQL Server（23）
apache（23）
html（22）
spring（21）
协议（20）
api（18）
mapreduce（16）
tcp/ip（16）
机器学习（15）
jar（15）
网站（15）
python（14）
javascript（14）
其他（13）
bash（12）
centos（12）
yum（12）
zookeeper（12）
bash 指令（11）
分布式（11）
ide（10）
hbase（10）
yarn（9）
存储（9）
shell（9）
windows（9）
数据（9）
oracle（8）
容器镜像服务（8）
腾讯云测试服务（8）
json（7）
打包（7）
eclipse（7）
tomcat（7）
TDSQL MySQL 版（7）
tensorflow（6）
jquery（6）
容器（6）
jdk（6）
ssh（6）
spring cloud（6）
c++（5）
android（5）
命令行工具（5）
hive（5）
kafka（5）
elasticsearch（5）
mysql（5）
排序（5）
索引（5）
php（4）
云数据库 Redis（4）
git（4）
github（4）
ubuntu（4）
面向对象编程（4）
npm（4）
es（4）
flink（4）
partition（4）
root（4）
登录（4）
配置（4）
ruby on rails（3）
nginx（3）
文件存储（3）
es 2（3）
云推荐引擎（3）
人工智能（3）
gcc（3）
anaconda（3）
安全（3）
虚拟化（3）
data（3）
range（3）
service（3）
system（3）
测试（3）
服务（3）
集群（3）
权限（3）
算法（3）
官方文档（2）
区块链（2）
jsp（2）
css（2）
ajax（2）
postgresql（2）
lucene/solr（2）
unix（2）
数据加密服务（2）
DevOps 解决方案（2）
云数据库 MySQL（2）
开源（2）
缓存（2）
正则表达式（2）
jdbc（2）
grep（2）
rabbitmq（2）
数据分析（2）
数据处理（2）
微服务（2）
nat（2）
utf8（2）
add（2）
db（2）
default（2）
dynamic（2）
error（2）
jieba（2）
kibana（2）
lag（2）
less（2）
neo4j（2）
null（2）
schema（2）
select（2）
server（2）
分页（2）
后台（2）
解决方案（2）
搜索（2）
同步（2）
系统（2）
异常（2）
对象存储（1）
负载均衡（1）
比特币（1）
数字货币（1）
自动驾驶（1）
mac os（1）
c 语言（1）
c#（1）
go（1）
erlang（1）
bootstrap（1）
vue.js（1）
typescript（1）
sqlite（1）
搜索引擎（1）
全文检索（1）
windows server（1）
专用宿主机（1）
访问管理（1）
NAT 网关（1）
mongodb（1）
vr 视频解决方案（1）
express（1）
sass（1）
rollup.js（1）
serverless（1）
grunt（1）
运维（1）
爬虫（1）
jvm（1）
gui（1）
mybatis（1）
sql server（1）
dns（1）
hashmap（1）
ftp（1）
二叉树（1）
scrapy（1）
rpc（1）
udp（1）
zabbix（1）
uml（1）
ntp（1）
数据可视化（1）
云数据库 postgresql（1）
防火墙（1）
迁移（1）
admin（1）
agent（1）
aggregate（1）
auto（1）
bug（1）
cat（1）
centos7（1）
checkbox（1）
cli（1）
client（1）
cmd（1）
code（1）
command（1）
components（1）
controller（1）
dao（1）
dataset（1）
date（1）
deployment（1）
directory（1）
dom（1）
dos（1）
edit（1）
editor（1）
el（1）
event（1）
exception（1）
exe（1）
exit（1）
file（1）
form（1）
format（1）
fs（1）
graph（1）
hash（1）
hdfs（1）
host（1）
instance（1）
int（1）
io（1）
ip（1）
key（1）
kill（1）
label（1）
limit（1）
list（1）
localhost（1）
lock（1）
mariadb（1）
methods（1）
min（1）
ode（1）
pagination（1）
port（1）
preferences（1）
private（1）
process（1）
protected（1）
redis（1）
rows（1）
rpm（1）
set（1）
sha256（1）
sharepoint（1）
show（1）
src（1）
storage（1）
sudo（1）
sum（1）
tablet（1）
time（1）
tools（1）
unique（1）
upgrade（1）
upsert（1）
usb（1）
version（1）
vnc（1）
百度（1）
报表（1）
遍历（1）
编码（1）
编译（1）
部署（1）
插件（1）
程序（1）
程序设计（1）
定时任务（1）
队列（1）
多线程（1）
工具类（1）
函数（1）
基础（1）
加密（1）
脚本（1）
镜像（1）
连接（1）
面试（1）
内核（1）
排序算法（1）
日志（1）
入门（1）
设计（1）
事件（1）
事务（1）
数组（1）
文件上传（1）
文件系统（1）
性能（1）
虚拟机（1）
语法（1）
源码分析（1）
终端（1）
搜索文章
搜索
搜索
关闭
Apache Kylin 2.3 构建Cube失败
hadoop
服务
日志
1、问题 📷 需要查看错误日志 [root@node1 ~]# cd /opt/kylin-2.3.1/logs/ [root@node1 logs]# ll total 1664 -rw-r--r-- 1 root root 16674 May 30 08:18 kylin.gc.20356.0.current -rw-r--r-- 1 root root 6801 May 29 09:22 kylin.gc.31042.0.current -rw-r--r-- 1 root root 1
程裕强
2022-05-06
691
0
杀死killHadoop Mapreduce job程序
hadoop
kill
（1）首先查找到僵死的JobID值 📷 （2）hadoop job -kill $Job_ID [root@bigdata01-test sqoop-1.4.7]# hadoop job -kill job_1526097883376_0059 DEPRECATED: Use of this script to execute mapred command is deprecated. Instead use the mapred command for it. 18/05/25 14:35:13
程裕强
2022-05-06
208
0
命令修改副本数：hadoop fs -setrep
hadoop
fs
1、hadoop fs -setrep setrep Usage: hadoop fs -setrep [-R] [-w] <numReplicas> <path> Changes the replication factor of a file. If path is a directory then the command recursively changes the replication factor of all files under the directory tree rooted a
程裕强
2022-05-06
271
0
基于Docker的Hadoop集群快速搭建
容器镜像服务
容器
hadoop
tcp/ip
/24的意思是，子网掩码255.255.255.0 @后面的ip为Docker容器宿主机的网关
程裕强
2022-05-06
681
0
Hadoop基础教程-第9章 HA高可用（9.2 HDFS 高可用配置）
xml
node.js
大数据
面向对象编程
hadoop
因为前面我们已经配置启动了普通的Hadoop相关服务，需要先停止相关服务并清除数据。 （1）停止Hadoop服务 首先停止YARN
程裕强
2022-05-06
254
0
Hadoop基础教程-第9章 HA高可用（9.1 HDFS 高可用介绍）
hadoop
node.js
大数据
zookeeper
HDFS HA(High Availability)高可用配置官方参考网址 http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html
程裕强
2022-05-06
798
0
Hadoop基础教程-第7章 MapReduce进阶（7.3 MapReduce API）
文件存储
java
api
面向对象编程
hadoop
原文地址：http://blog.csdn.net/chengyuqiang/article/details/73410106
程裕强
2022-05-06
191
0
Hadoop基础教程-第6章 MapReduce入门（6.5 温度统计）
ftp
mapreduce
hadoop
编程算法
go
《HADOOP权威指南 第3版 》教程中有个经典例子，既是温度统计。作者Tom White在书中写了程序和讲解了原理，认为读者们都会MapReduce程序的基本环境搭建部署，所以这里轻描淡写给带过了，对于初学者来说，这是一个“天坑”，程序跑步起来，也就消磨了Hadoop初学者的兴趣和意志。
程裕强
2022-05-06
494
0
Hadoop基础教程-第6章 MapReduce入门（6.4 MapReduce程序框架）
mapreduce
分布式
hadoop
node.js
大数据
我们知道，从单线程编程到多线程编程，程序结构复杂度增大了。类似的，从单机程序到分布式程序，程序结构的复杂度也增大了。这是问题的复杂环境决定的。 所以，很多初学者更接触分布式编程时，望而却步、知难而退了。可事实上，Hadoop是一个很易用的分布式编程框架，经过良好封装屏蔽了很多分布式环境下的复杂问题，因此，对普通开发者来说很容易，容易到可以依照程序模版，照葫芦画瓢。 下面代码即是Hadoop的MapReduce程序模版，其中使用了Hadoop辅助类，通过Configured的getConf()方法获取Configuration对象，重写Tool接口的run方法，实现Job提交功能。 这样就可以实现代码与配置隔离，修改MapReduce参数不需要修改java代码、打包、部署，提高工作效率。
程裕强
2022-05-06
238
0
Hadoop基础教程-第6章 MapReduce入门（6.2 解读WordCount）
hadoop
mapreduce
windows
WordCount程序就是MapReduce的HelloWord程序。通过对WordCount程序分析，我们可以了解MapReduce程序的基本结构和执行过程。
程裕强
2022-05-06
409
0
Hadoop基础教程-第5章 YARN：资源调度平台（5.5 YARN的调度器）
yarn
node.js
hadoop
大数据
打个比方，Hadoop相当于一台虚拟计算机（由多台计算机构造的集群），那么HDFS就是这台虚拟计算机的文件系统，管理磁盘资源；而YARN负责管理虚拟计算机的CPU和内存资源。在YARN上跑的MapReduce程序（比如5.4节跑的PI和wordcount两个应用程序）就是在这台虚拟计算机跑的应用程序，需要磁盘、内存和CPU等资源。
程裕强
2022-05-06
347
0
Hadoop基础教程-第5章 YARN：资源调度平台（5.2 YARN参数解读与调优）
hadoop
yarn
node.js
mapreduce
http
yarn-site.xml文件默认参数： http://hadoop.apache.org/docs/r2.7.3/hadoop-yarn/hadoop-yarn-common/yarn-default.xml
程裕强
2022-05-06
306
0
Hadoop基础教程-第5章 YARN：资源调度平台（5.1 YARN介绍）
mapreduce
hadoop
编程算法
yarn
YARN的全称是Yet Another Resource Negotiator，意为另一种资源调度者。 从Apache Hadoop 2.0开始， Hadoop包含 YARN。
程裕强
2022-05-06
320
0
Hadoop基础教程-第4章 HDFS的Java API（4.3 pom.xml解析）
xml
maven
hadoop
node.js
大数据
在pom.xml文件里添加hadoop的依赖包hadoop-common, hadoop-client, hadoop-hdfs 在搜索框中输入hadoop-common，单击“Search”按钮
程裕强
2022-05-06
488
0
Hadoop基础教程-第3章 HDFS：分布式文件系统（3.5 HDFS基本命令）（草稿）
node.js
hadoop
大数据
c++
HDFS命令官方文档： http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs/HDFSCommands.html
程裕强
2022-05-06
199
0
Hadoop基础教程-第3章 HDFS：分布式文件系统（3.4 HDFS集群模式）
hadoop
xml
node.js
大数据
【2018-01-27补充】 感谢吴家行hang的提醒，这里node2和node3也要进行类似的环境变量配置。
程裕强
2022-05-06
216
0
Hadoop基础教程-第3章 HDFS：分布式文件系统（3.3 HDFS参数解读）
node.js
xml
大数据
hadoop
Hadoop官方文档地址： http://hadoop.apache.org/docs/r2.7.3/
程裕强
2022-05-06
172
0
Hadoop基础教程-第2章 Hadoop快速入门（2.5 WordContent简单应用）
node.js
大数据
hadoop
mapreduce
jar
hdfs命令位于bin目录下，通过hdfs dfs -mkdir命令可以创建一个目录。
程裕强
2022-05-06
281
0
Hadoop基础教程-第2章 Hadoop快速入门（2.4 Hadoop单机运行）
大数据
yarn
node.js
hadoop
java
或者cd /opt/hadoop-2.7.3进入Hadoop根目录 通过pwd命令可以知道当前所在目录
程裕强
2022-05-06
257
0
Hadoop基础教程-第2章 Hadoop快速入门（2.3 Hadoop单机配置）
xml
hadoop
分布式
bash
bash 指令
常见的Hadoop部署模式分为单机模式和集群模式，也称为伪分布式模式和分布式模式。 单机模式（伪分布式）模式是在一个节点上部署所有的Hadoop服务。在使用上，单机模式（伪分布式）模式跟集群模式（分布式模式）是一样的。
程裕强
2022-05-06
279
0
点击加载更多
社区活动
RAG七天入门训练营
鹅厂大牛手把手带你上手实战
立即学习
Python精品学习库
代码在线跑，知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客，速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档