jps位于jdk的bin目录下,其作用是显示当前系统的java进程情况,及其id号。 jps相当于Solaris进程工具ps。不象”pgrep java”或”ps -ef grep java”,jps并不使用应用程序名来查找JVM实例。因此,它查找所有的Java应用程序,包括即使没有使用java执行体的那种(例如,定制的启动 器)。另外,jps仅查找当前用户的Java进程,而不是当前系统中的所有进程。
前言:在网上有好多说是以 root 身份 vi /etc/profile,然后在下面加一行 export PATH="usr/java/jdk160_05/bin:$PATH"(其中 jdk160_05 是你的安装目录,依你自己的安装情况所决定),然后 source /etc/profile 即可解决。
Linux下 安装好了jdk,输入jps时,系统提示“-bash: jps: command not found”。
jps(Java Virtual Machine Process Status Tool)是JDK 1.5提供的一个显示当前所有java进程pid的命令,简单实用,非常适合在linux/unix平台上简单察看当前java进程的一些简单情况。它和linux中的ps有类似的功能。
在linux环境下显示一个进程的信息大家可能一直都在使用ps命令,比如用以下命令来显示当前系统执行的java进程:
我们在大数据的日常生产当中会经常使用到jps命令,如果问起很多人他们都会知道jps命令是用来干什么的,查看java相关的进程。但是这个命令是属于哪个组件提供的呢?最起码可以肯定不是linux系统自带的。
jps是java提供的一个显示当前所有java进程pid的命令,适合在linux/unix平台上简单察看当前java进程的一些简单情况。
Hadoop,zookeeper,HBase,Spark集群环境搭建【面试+工作】
准备至少3台机器(通过克隆虚拟机;配置好网络JDK 时间 hosts,保证节点间能互ping通)
“ 给一个系统定位问题的时候,知识、经验是关键基础,数据是依据,工具是运用知识处理数据的手段。这里的数据包括:运行日志、异常堆栈、GC日志、线程快照(threaddump/javacore文件)、堆转储快照(heapdump/hprof文件)等。经常使用适当的虚拟机监控和分析的工具可以加快我们分析数据和定位解决问题的速度,但我们在学习工具前,也应当意识到工具永远都是知识技能的一层包装,没有什么工具是“秘密武器”,学会了就能包医百病”
在上篇博客中简单介绍了Zookeeper的特点和应用场景,详情可参考:《Zookeeper简介(一)》,那么这篇博客我们介绍一下关于Zookeeper的单机模式安装步骤与配置。
1.环境前置说明: MAC电脑:自带的ssh终端 ssh hadoop@hadoop-machine ssh hadoop@192.168.21.166 Windws系统:CRT,XShell客户端 远程服务器:CentOS 6.7 hadoop-machine(192.168.21.166)是远程服务器的hostname 如果想在本地通过ssh hadoop@hadoop-machine远程登录, 那么本地的hosts肯定要添加ip和hostname的映射 192.168.21.16
start-all.sh(过时了) 先启动HDFS sbin/start-dfs.sh 再启动YARN sbin/start-yarn.sh
版权声明:本文为王小雷原创文章,未经博主允许不得转载 https://blog.csdn.net/dream_an/article/details/80700530
本文详细介绍搭建4个节点的完全分布式Hadoop集群的方法,Linux系统版本是CentOS 7,Hadoop版本是2.7.7,JDK版本是1.8。
在 安装和配置Hadoop(单节点) 这篇文章中,已经进行了Hadoop单机伪集群模式的部署。生产环境中,Hadoop都是以集群方式进行安装和部署的,否则,就不需要使用Hadoop了,分布式存储和分布式运算是Hadoop提供的核心功能。这篇文章将在单机安装的基础上,进行3个节点Hadoop集群的安装,因此如果你还没有单机安装过Hadoop,那么请先查看一下单机安装的这篇文章。
Hadoop搭建流程网上有很多,以下是我在搭建Hadoop伪分布式环境是遇到的一些比较菜鸟的问题。
在使用jps命令之前,可以先使用jps -help来查看jps命令相关的使用方法,包括有哪些参数等~
jps类似linux的ps命令,不同的是ps是用来显示进程,而jps只显示java进程,准确的说是当前用户已启动的部分java进程信息,信息包括进程号和简短的进程command。
如上图,一共三台机器作为集群,servera作为master,其他两台作为worker。
集群中只有mapred-site.xml.template,可以从这个文件进行复制
有的时候,想看下自己没有设置的JVM参数的值, 或者有的时候想看下JVM某个参数的默认值 ,亦或想看下用户或者JVM修改的JVM参数 ?
node0、node1、node2三台机器之间要设置SSH免密码登录,详细的设置步骤请参考《Linux配置SSH免密码登录(非root账号)》;
该命令主要与jmap搭配使用,用来分析jmap转储的转储快照。其中构建了一个微型的http/html服务器。生成dump文件的分析结果后可以通过浏览器进行查看。 通常情况下不采用jhat进行分析,一方面,分析工作需要耗费额外的资源和时间,既然都要在其他机器进行,则不需要限定于上述工具。另外一方面,jhat界面比较简陋,可以用visualVM,eclipse的Memory Analizer 等更加专业的分析工具进行替换。
从官网http://apache.fayea.com/hadoop/common/ 下载hadoop
在线上环境中,当CPU占用率异常高时,经常需要定位到是哪个Java进程导致的,并进一步找到该进程启动的JAR文件。以下提供了几种方法来帮助你快速找到这些信息。
**JPS (JVM Process Status Tool)**是其中的典型jvm⼯具。除了名字像 UNIX 的 ps 命令之外,它的功能也和 ps 命令类似:可以列出正在运⾏的虚拟机进程,并显示虚拟机执⾏主类(Main Class, main()函数所在的类)名称以及这些进程的本地虚拟机唯- ID (Local VirtualMachine Identifier, LVMID),虽然功能⽐较单⼀,但它是使⽤频率最⾼的 JDK 命令⾏⼯具
代码: https://github.com/cyofeiyue/MyRPC 1.Akka配置信息 //Master akka.actor.provider = "akka.remote.RemoteActorRefProvider" akka.remote.netty.tcp.hostname = "$host" akka.remote.netty.tcp.port = "$port" //Worker akka.actor.provider = "akka.remote.RemoteActorRef
第一步 上传1.8jdk的压缩包,并解压 文件上传的路径为/export/soft jdk解压的路径是/export/install 第二步:配置环境变量 在/etc/profile.d目录下创建一个java.sh文件,在该文件内编辑环境变量 export JAVA_HOME=/export/install/jdk1.8.0_144 export PATH=$PATH:$JAVA_HOME/bin 说明: JAVA_HOME=/export/install/jdk1
HBase 需要依赖 JDK 环境,同时 HBase 2.0+ 以上版本不再支持 JDK 1.7 ,需要安装 JDK 1.8+ 。JDK 安装方式见本仓库:
下面操作在linux环境下完成。如果您的电脑没有虚拟机环境,可以参考VMware软件下载(含秘钥).zip_免费高速下载|百度网盘-分享无限制 (baidu.com)配置。这里我们部署三台虚拟机环境,使用xshell工具对其进行统一的操作。关于使用xshell的原因和安装使用方法可用参考博客:XShell的安装和使用 - 简书 (jianshu.com)。
基于 LXD 的虚拟化容器,我们可以很方便的、很节约资源的在 Linux 主机下进行 3 节点甚至更多节点的 Hadoop 集群搭建练习。非常利于硬件资源不足的学生、老师进行演示。更多关于 LXD 的资源,以及 Hadoop 的资源,请参考各自官方文档。
因为在之前的博客在Linux中部署集群(零基础速学!)中,上述的准备操作均已详细描述,这里对于准备工作的内容就不做过多讲解。接下来正式开始进行集群环境的搭建
Apache NiFi可以基于Linux和Window安装,这里建议基于Linux安装。安装NiFi的节点需要安装JDK8,NiFi0.x版本需要JDK7。NiFi安装可以单节点安装,也可以分布式安装。我们这里安装NiFi的1.13版本,需要JDK8。
1.安装前提条件 (1)首先安装jdk,最好安装1.7及1.7以上版本,并且安装jdk的环境变量 vi ~/.bashrc export JAVA_HOME=/usr/local/software/jdk1.8.0_141 export PATH=$JAVA_HOME/bin:$PATH (2)检查ssh和sshd是否安装,如果没有安装, ubuntu下面安装ssh和sshd: $ sudo apt-get install ssh $ sudo apt-
Hadoop生态圈仍处于欣欣向荣的发展态势,不断涌现新的技术和名词。Hadoop的HDFS、YARN、MapReduce仍是最基础的部分,这篇文章记录了如何一步步在linux上安装单节点的Hadoop,之后就可以在它上面做一些练习了。截至目前(2018.7.16),Hadoop的最新版本是3.0.3,但使用最新版本的问题是:当你遇到问题时,所能找到的资料或者书籍都是针对较晚版本的。因此,对一项技术,如果没有达到特别熟悉,安装次新、或者次次新版本是一个相对稳妥的做法。所以,我选择安装的是2.9.1版本。
抑制类名,JAR文件名和传递给该main方法的参数的输出,从而仅生成本地JVM标识符的列表。
ZooKeeper可以独立搭建集群,HBase本身不能独立搭建集群需要和Hadoop和HDFS整合。
生产环境中直接排查 JVM 的话,最简单的做法就是使用 JDK 自带的 6 个非常实用的命令行工具来排查。它们分别是:jps、jstat、jinfo、jmap、jhat 和 jstack,它们都位于 JDK 的 bin 目录下,可以使用命令行工具直接运行,其目录如下图所示:
JPS命令是日常开发过程中经常使用的命令。使用起来也非常简单,本节内容主要翻译Oracel官方的JPS说明,以及相关的实现原理分析,最后介绍一些JPS无法获取到JAVA进程的原因排查。
上学期在Mac上搭建好了Hadoop,因为这学期开学重装了系统就没了,以为不会再折腾,结果大数据作业又要整hadoop,于是乎,爱折腾的程序猿又来折腾咯,有过上一次安装的经历,这次简单多了,下面简单的列举主要步骤。
jps(JVM Process Status Tool)是JDK中的一个小工具,它的功能和UNIX的ps命令类似:可以列出正在运行的虚拟机进程,并显示虚拟机执行主类(Main Class,main()函数所在的类)名称以及这些进程的本地虚拟机唯一ID(LVMID,Local Virtual Machine Identifier),LVMID和操作系统的进程ID是一致的,当同时启动多个虚拟机进程,无法根据进程名称进行定位时,就可以使用jps命令显示主类的功能来区分。
Zookeeper 是一个开源的分布式的,为分布式框架提供协调服务的 Apache 项目。
修改HOSTANME vi /etc/sysconfig/network 修改HOSTNAME和IP的映射 vi /etc/hosts 关闭防火墙 service iptables stop 关闭防火墙的开机启动 chkconfig iptables off 重启linux服务器 reboot
Apache Hadoop 软件库是一个框架,它允许使用简单的编程模型在计算机集群上对大型数据集进行分布式处理。Apache™ Hadoop® 是可靠、可扩展、分布式计算的开源软件。
版权声明:本文为王小雷原创文章,未经博主允许不得转载 https://blog.csdn.net/dream_an/article/details/80960326
1:输入命令ssh-keygen 四个回车 生成公钥和私钥 2: 输入命令ssh-copy-id 把本地主机的公钥复制到远程主机的authorized_keys文件上 3: ssh 主机名或者ip地址 注: 无密码登录先要关闭防火墙和selinux
领取专属 10元无门槛券
手把手带您无忧上云