首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

hadoop报错解决方案---安装系列三

操作过程中主要出现以下几个错误: Unsupported major.minor version 51.0 处理办法: eclipse下的项目的jdk环境和liux下的jdk环境不一致,将windows下的eclipse中的jdk环境与linux的环境更改一致 切换linux的jdk版本为1.7: 上传jdk7压缩包并解压 配置jdk变量 vi /etc/profile 在终端里面输入: alternatives  --install   /usr/bin/java  java  /usr/local/jvm/jdk1.7.0_79/bin/java 300 alternatives  --install   /usr/bin/java  java  /usr/lib/jvm/jdk1.8.0_101/bin/java 300   jdk1.8.0_101为之前安装的jdk 如想切换至1.8 还需更改环境变量/etc/profile 红色部分自行修改目录(安装JDK的目录) 接着执行alternatives  --config  java 输入想要切换的jdk序号 Java -version 在myeclipse里添加1.7的jdk,创建java项目时选择jdk版本为1.7 重启hadoop集群报错: java.net.BindException: Port in use: 0.0.0.0:50070 Caused by: java.net.BindException: Address already in use 处理办法: 1)sudo lsof -i:端口 -P 2)sudo kill -9 PID 以50070端口为例: sudo lsof -i:50070 -P 控制台输出内容: COMMAND  PID USER   FD   TYPE             DEVICE SIZE/OFF NODE NAME   java   6501 root  189u  IPv4 0x782e003217773193      0t0  TCP *:50070 (LISTEN) 然后kill掉: sudo kill -9 6501 hadoop主节点缺少NameNode log信息: java.io.FileNotFoundException:/home/hadoop/app/dfs/name/in_use.lock (Permission denied) 处理办法: 有两种场景出现 1):在原来正常的时候,有一次突然使用了原来不同的用户启动了一次hadoop。这种场景会产生一个in_use.lock 文件夹在你设置的目录中,这时候可以删除这个文件夹直接,然后重新启动 2):在格式化hadoop的时候和当期启动的用户不是同一个,也会导致该问题。这个时候可以使用格式化hadoop的那个用户重新启动hadoop。也可以解决此错误。 hadoop主节点缺少SecondaryNameNode log信息: Cannot lock storage /home/hadoop/app/tmp/dfs/namesecondary. The directory is already locked 处理办法:删除该目录 java项目运行不报错 处理办法: 新建一个文件,命名为“log4j.properties”,放到src目录下。向里填入一下信息: log4j.rootLogger=INFO, stdout log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layout=org.apache.log4j.PatternLayout log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n log4j.appender.logfile=org.apache.log4j.FileAppender log4j.appender.logfile.File=target/spring.log log4j.appender.logfile.layout=org.apache.log4j.PatternLayout log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n 保存后重新运行 通过java接口向hbase插入一张表时报错:  [org.apache.hadoop.util.NativeCodeLoader] - Unable to load native-h

02

ubuntu经常使用的命令摘要

1.df命令 # df -ha 显示所有文件和分区的使用 # df -h /dev/sda1 显示sda1磁盘使用率 # df -T 显示文件系统名称属于每个分区。区的格式类型(比方ext3) 注:h參数表示转换为M。G等人们经常使用的磁盘空间单位显示 2.du命令 # du -h src 显示src文件夹中各个文件(或者文件)所占用的磁盘空间 # du -hs /usr 显示usr文件夹中全部文件的总大小 # du -h test.c 显示test.c文件所占用的磁盘空间 3.dd命令 dd 是 Linux/UNIX 下的一个很实用的命令,作用是用指定大小的块拷贝一个文件,并在拷贝的同一时候进行指定的转换。 # dd if=/dev/hdb | gzip > /root/image.gz 备份/dev/hdb全盘数据。并利用gzip工具进行压缩。保存到指定路径 注:“|”表示管道命令,是指“|”的左边执行结果是其右边的输入条件或者范围。如:history | grep date指从history这条命令执行的结果中显示包括有“date”的命令 # gzip -dc /root/image.gz | dd of=/dev/hdb 将压缩的备份文件恢复到指定盘 # dd if=/dev/fd0 of=disk.img bs=4M 备份软盘。读和写的块大小为4M 4.# uname -a 查看Ubuntu的版本号 5.cat命令 # cat -n test.c 显示整个test.c的内容,并对内容按行编号 6.lsmod命令 # lsmod 显示全部内核载入的模块 # lsmod | grep mptspi 显示内核载入的全部包括mtpspi的模块 7.# lsusb 查看USB设备 8.# cat /proc/cpuinfo 查看cpu的状态 9.# lshw 查看硬件信息 10.# fdisk -l 查看磁盘的信息 # fdisk /dev/sda 对磁盘sda(注意不是sda1,sda1是sda的一个分区)进行操作,包含新建分区。删除分区等,后面的操作按提示选项进行。 11.# free -m 查看当前内存使用情况 12.# ps -A 查看当前系统有哪些进程 13.# kill 进程号 中止一个进程 14.# kill -9 进程号 强制中止一个进程。kill 进程号不成功时能够使用 15.# top 查看当前进程的实时状况 # top -p 786 显示进程号为786的进程的实时执行状况 16.ifconfig命令 # ifconfig 显示网卡相关的信息 # ifconfig eth0 up 打开eth0网卡 # ifconfig eth0 down 关闭eth0网卡 # infonfig eth0 192.168.1.1 设置eth0的IP地址为192.168.1.1 17.启动停止服务命令 # /etc/init.d/服务名 restart/stop/start 重新启动/停止/启动一个服务 18.# whereis 文件名称 高速查找一个文件 19.# find 文件夹 -name 文件名称 在文件夹中查找某个文件名称的文件 find -name ‘*fb*’ 在当前文件夹下查找文件名称中包括”fb”字样的文件 find /usr -name ‘*fb*’ 在/usr文件夹下查找文件名称中包括”fb”字样的文件 20.# tail -n 6 文件名称 假设值的前面有 +(加号)。从文件开头指定的单元数開始将文件写到标准输出。假设值的前面有 -(减号)。则从文件末尾指定的单元数開始将文件写到标准输出。假设值前面没有 +(加号)或 -(减号)。那么从文件末尾指定的单元号開始读取文件。 # tail -n 6 文件名称 == # tail -n -6 文件名称 21.grep命令 # grep ‘test’ d* 显示全部以d开头的文件里包括test的行。

02
领券