腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
无题~
专栏成员
举报
218
文章
279905
阅读量
22
订阅数
订阅专栏
申请加入专栏
全部文章(218)
编程算法(48)
java(34)
mapreduce(19)
存储(18)
hadoop(16)
大数据(16)
数据库(15)
sql(15)
bash(12)
python(11)
node.js(10)
xml(10)
hive(10)
linux(9)
bash 指令(9)
yarn(8)
数据结构(8)
云数据库 SQL Server(7)
scala(6)
文件存储(6)
网络安全(6)
面向对象编程(6)
tcp/ip(6)
html(5)
网站(5)
分布式(5)
二叉树(5)
打包(4)
jar(4)
NAT 网关(4)
ssh(4)
zookeeper(4)
nat(4)
集合(4)
链表(4)
c 语言(3)
c++(3)
javascript(3)
ide(3)
shell(3)
spark(3)
jvm(3)
yum(3)
list(3)
内存(3)
php(2)
unix(2)
TDSQL MySQL 版(2)
缓存(2)
dns(2)
grep(2)
windows(2)
hbase(2)
cmd(2)
data(2)
遍历(2)
编译(2)
对象(2)
继承(2)
权限(2)
数据类型(2)
通信(2)
协议(2)
源码(2)
对象存储(1)
负载均衡(1)
官方文档(1)
servlet(1)
jsp(1)
css(1)
json(1)
android(1)
mvc(1)
centos(1)
负载均衡缓存(1)
nginx(1)
云数据迁移(1)
日志服务(1)
SSL 证书(1)
腾讯云测试服务(1)
压力测试(1)
jdk(1)
正则表达式(1)
jdbc(1)
hashmap(1)
anaconda(1)
安全(1)
数据分析(1)
https(1)
kafka(1)
虚拟化(1)
flink(1)
bit(1)
channel(1)
code(1)
commit(1)
console(1)
core(1)
count(1)
date(1)
decimal(1)
dfs(1)
diff(1)
event(1)
hostname(1)
insert(1)
ip(1)
jupyter(1)
key(1)
mac(1)
map(1)
network(1)
null(1)
partition(1)
pip(1)
point(1)
protected(1)
public(1)
rank(1)
reverse(1)
rollback(1)
root(1)
rsync(1)
scp(1)
set(1)
size(1)
static(1)
time(1)
treemap(1)
var(1)
vim(1)
void(1)
window(1)
zip(1)
闭包(1)
编辑器(1)
操作系统(1)
程序(1)
登录(1)
队列(1)
函数(1)
基础(1)
集群(1)
计算机(1)
镜像(1)
浏览器(1)
排序(1)
配置(1)
数据(1)
数据中心(1)
数组(1)
思维导图(1)
索引(1)
同步(1)
系统(1)
虚拟机(1)
异常(1)
主机(1)
字符串(1)
搜索文章
搜索
搜索
关闭
Spark报错:Caused by: java.lang.IllegalArgumentException: Compression codec com.hadoop.compression.lzo
spark
hadoop
xml
文件存储
jar
原因: 因为在之前的项目中,在hadoop中的core-site.xml 和mapred-site.xml文件配置了lzo格式的压缩,这就导致上传到hdfs 的文件自动被压缩为lzo了。所以当使用提交spark-submit任务时,需要访问HDFS上的文件,而spark自身没有lzo的jar包所以无法找到。
孙晨c
2021-06-11
726
0
hadoop分布式格式化时出现异常java.net.unknownhostexception
java
xml
分布式
core
network
在日志的最后一行出现 java.net.unknownhostexception的异常,通常是你的主机名没有配置好,在core-site.xml文件中的主机名与hosts文件、network文件里的主机名不一致。
孙晨c
2020-09-28
1.3K
0
如何在集群里服役新节点、退役旧节点(DataNode)
xml
大数据
node.js
①准备机器,配置好JDK、hadoop的环境变量,在hdfs-site.xml和yarn-site.xml文件中分别配置NameNode和ResourceManager所在主机名 ②待服役成功后,启动datanode和nodemanager进程即可 ③服役了新的DN节点后,可以执行再平衡的命令,这个命令可以将集群中块进行重新平衡分配,实现负载均衡: ./start-balancer.sh
孙晨c
2020-07-14
789
0
HDFS之使用Java客户端对文件的一些操作
node.js
文件存储
xml
大数据
在这里总结了一下使用java对HDFS上文件的操作,比如创建目录、上传下载文件、文件改名、删除…… 首先对一些类名、变量名做出解释说明: FileSystem: 文件系统的抽象基类 FileSystem的实现取决于fs.defaultFS的配置! 有两种实现! LocalFileSystem: 本地文件系统 fs.defaultFS=file:/// DistributedFileSystem: 分布式文件系统 fs.defaultFS=hdfs://xxx:9000 声明用户身份:
孙晨c
2020-07-08
1.2K
0
Hadoop运行模式及相关文件说明
xml
bash
bash 指令
hadoop
yarn
hadoop框架在运行需要产生很多数据(日志),数据的保存目录,必须让当前启动hadoop进程的用户拥有写权限!
孙晨c
2020-07-06
419
0
HDFS和MR的配置和使用
bash
bash 指令
hadoop
xml
面向对象编程
①在$HADOOP_HOME/etc/hadoop/core-site.xml文件
孙晨c
2020-07-06
459
0
Invalid bound statement (not found)报错的可能原因
xml
1.检查xml文件所在package名称是否和Mapper interface所在的包名 或者 mapper的namespace写的不对!!!注意修改。 2.UserDao的方法在UserDao.xml中没有,然后执行UserDao的方法会报此 3.UserDao的方法返回值是List,而select元素没有正确配置ResultMap,或者只配置ResultType! 4.如果你确认没有以上问题,请任意修改下对应的xml文件,比如删除一个空行,保存.问题解决 5.看下mapper的XML配置路径是否正确 6
孙晨c
2020-05-27
8.1K
0
hadoop2.x全分布式集群搭建(一主二从)
hadoop
bash
bash 指令
xml
yarn
然后生成了id_rsa与id_rsa.pub,分别是私有与公有秘钥,我们要把公有秘钥复制到一个authorized_keys文件内,这个文件的作用就是完成无密码访问。 然后执行:
孙晨c
2020-05-26
487
0
在centos7上进行hadoop-3.1.2的伪分布搭建
网络安全
xml
大数据
tcp/ip
yarn
vi /etc/sysconfig/network-scripts/ifcfg-ens33(网卡名称可能不同)
孙晨c
2019-12-10
515
0
centos7搭建hadoop3.*.*系列
xml
bash
bash 指令
yarn
最近搭建这个hadoop踩过不少坑,先是配置JDK搞错路径(普通用户和root用户下的路径不同),再就是hadoop版本不同导致的启动错误,网上找到的是hadoop2.*.*的版本,但是我安装的hadoop3.*.*的版本,环境配置有部分不同。希望大家不要重蹈覆辙!
孙晨c
2019-09-10
789
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档