首页
学习
活动
专区
工具
TVP
发布

无题~

专栏成员
218
文章
279542
阅读量
22
订阅数
Spark报错:Caused by: java.lang.IllegalArgumentException: Compression codec com.hadoop.compression.lzo
原因: 因为在之前的项目中,在hadoop中的core-site.xml 和mapred-site.xml文件配置了lzo格式的压缩,这就导致上传到hdfs 的文件自动被压缩为lzo了。所以当使用提交spark-submit任务时,需要访问HDFS上的文件,而spark自身没有lzo的jar包所以无法找到。
孙晨c
2021-06-11
7250
hadoop分布式格式化时出现异常java.net.unknownhostexception
在日志的最后一行出现 java.net.unknownhostexception的异常,通常是你的主机名没有配置好,在core-site.xml文件中的主机名与hosts文件、network文件里的主机名不一致。
孙晨c
2020-09-28
1.3K0
如何在集群里服役新节点、退役旧节点(DataNode)
①准备机器,配置好JDK、hadoop的环境变量,在hdfs-site.xml和yarn-site.xml文件中分别配置NameNode和ResourceManager所在主机名 ②待服役成功后,启动datanode和nodemanager进程即可 ③服役了新的DN节点后,可以执行再平衡的命令,这个命令可以将集群中块进行重新平衡分配,实现负载均衡: ./start-balancer.sh
孙晨c
2020-07-14
7820
HDFS之使用Java客户端对文件的一些操作
在这里总结了一下使用java对HDFS上文件的操作,比如创建目录、上传下载文件、文件改名、删除…… 首先对一些类名、变量名做出解释说明: FileSystem: 文件系统的抽象基类 FileSystem的实现取决于fs.defaultFS的配置! 有两种实现! LocalFileSystem: 本地文件系统 fs.defaultFS=file:/// DistributedFileSystem: 分布式文件系统 fs.defaultFS=hdfs://xxx:9000 声明用户身份:
孙晨c
2020-07-08
1.2K0
Hadoop运行模式及相关文件说明
hadoop框架在运行需要产生很多数据(日志),数据的保存目录,必须让当前启动hadoop进程的用户拥有写权限!
孙晨c
2020-07-06
4170
HDFS和MR的配置和使用
①在$HADOOP_HOME/etc/hadoop/core-site.xml文件
孙晨c
2020-07-06
4570
Invalid bound statement (not found)报错的可能原因
1.检查xml文件所在package名称是否和Mapper interface所在的包名 或者 mapper的namespace写的不对!!!注意修改。 2.UserDao的方法在UserDao.xml中没有,然后执行UserDao的方法会报此 3.UserDao的方法返回值是List,而select元素没有正确配置ResultMap,或者只配置ResultType! 4.如果你确认没有以上问题,请任意修改下对应的xml文件,比如删除一个空行,保存.问题解决 5.看下mapper的XML配置路径是否正确 6
孙晨c
2020-05-27
8.1K0
hadoop2.x全分布式集群搭建(一主二从)
然后生成了id_rsa与id_rsa.pub,分别是私有与公有秘钥,我们要把公有秘钥复制到一个authorized_keys文件内,这个文件的作用就是完成无密码访问。 然后执行:
孙晨c
2020-05-26
4850
在centos7上进行hadoop-3.1.2的伪分布搭建
vi /etc/sysconfig/network-scripts/ifcfg-ens33(网卡名称可能不同)
孙晨c
2019-12-10
5150
centos7搭建hadoop3.*.*系列
 最近搭建这个hadoop踩过不少坑,先是配置JDK搞错路径(普通用户和root用户下的路径不同),再就是hadoop版本不同导致的启动错误,网上找到的是hadoop2.*.*的版本,但是我安装的hadoop3.*.*的版本,环境配置有部分不同。希望大家不要重蹈覆辙!
孙晨c
2019-09-10
7890
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档