00:00
好,接下来我们看一下第三张HDFS的API操作,那这里面给大家画一张图啊解释一下。什么叫HTS的客户端?那这里面呢,有三台集群对吧?哎,三台服务器,那在三台服务器上,这里面我们上节课是用的是。Cell。对吧,哎,用的cell,也就是说hi f FS。FS或者呢,是这个ASDFS啊进行一个相关操作这样一个过程过程。那相当于我们是在集群内部跟集群进行一个客户端一个打结道,那现在我们要做一些什么事呢?诶,我们再来一台服务器。不是服务器啊,这个是Windows。我们希望在Windows这个环境,比如说办公环境,对远程的集群进行一个客户端访问,那这个行不行呢?想做这件事情。就超出他吧,再来一个也行。
01:04
那现在啊,我们就在这个Windows环境上去写代码,比如说在这里面。HDFS客户端代码。哎,远程连接上对应的这个集群,然后对它进行一个增删改查相关的一系列操作。实现这么一个功能,那下面呢,我们就来做一下这个AAPI的一个新闻操作,那想一想哈,我这个。Windows能够连接上远程的hi度集群,那我这边是不是也得有hiop相关的一些环境变量啊?对吧,哎,确实啊,那这里面我们配置一下环境变量。在给大家的资料包里面找到。嗯,在哪呢?在这儿啊,Windows依赖把它把它复制到哪呢?复制到一个非中文目录,这个大家都有经验吗?而且不要有空格啊,那我们这里面复制到这。
02:01
这里面只有一个B目录,B目录这个呢是已经编译好的啊。这个3.3.1.0啊,也就3.1.0系列的相关的这个Windows支持的环境,那这里面最主要的就是这个VS。啊,他。那么把它配成这个环境变量,那配置环境变量呢,就是把它一复制。复制之后右键属性。高级高级环境变量,然后呢,这里面上面呢是这个用户对吧,哎下呢是系统变量,那我们配置哪一个,哎,尽量配置这个系统的,这样的话所有的用户都能够使用,如果你配置到上面的话呢,只有当前这个用户能够使用哈。那这里面我们配置的就是这个态度。配套它,配它完之后要把这个o home添加到对应的pass目录。在这对吧,哎,最后这一个pass。这一项哎,就搞定了,那如果你配置完这一项之后啊,你要来到哪呢?来到。
03:01
这个地方依赖啊,不是它啊。刚才我们把它放到了software。对吧,诶,你要双击一下这个win us啊,你看我这一闪而过啊,那说明是正常的。OK了,那如果发生什么情况就不正常了呢?往下看,我这边给大家截个图。如果你双击Windows,出现了这个页面。说啊,由于找,由于找不到什么这个DL啊,无法执行代码,重新安装程序可能会解决此问题。如果你弹出的是这一个窗口,那很有可能跟我一样,那买的是这种,嗯,正版的系统。对吧,你电脑装正版系统,那有一些微软的运行库没有给你安装。啊,你像那个盗版系统啊,一般呢,它都会在安装其他软件的时候,就把你这个微软的运行库就给安装好了啊。那如果你没安装的话,那怎么办呢?诶也给大家提供了相关的这个解决方案,在资料包下面有一个这个微软运行库合集,哎,一双击它正常一个安装就可以了啊这里面我就安装了哈,我的已经OK了。
04:08
行,那这是hi do环境变量的一个配置,那之后往下走,下面呢,我们就要开启idea,创建一个微文工程啊,终于到了这个写代码的时候了是吧。嗯,打开D。打开之后呢,新建一个工程。然后ma工程next下一步。我们给他放到。Com点艾特圭谷。啊,当前呢,我们是HDFS。客服在。案例嗯,放到T的目录下啊,没问题,那这块呢是吧,哎,高高清AV必须得配置一下啊,这三项配置完毕之后呢,点击finish。非结束之后啊,这里面啊,我由于啊之前配置了一个may,那我们把这个may路径改一下。
05:04
这里面ma。收一下吧。眉纹找到之后,它默认啊是走的这个,呃,CC盘点这个m two啊那个路径哈,那我们把它改一下啊,覆盖一下,找到我的眉纹。用自己的,因为我自己的是自带这种阿里云的,相对来说啊,下载速度要快一些。把它打开setting OK。决胜。我的idea呢,是经过配置过的哈,所以说你看起来会比较舒服一些,包括这个背景颜色呀,包括你看按住这个,可这个CTRL加骨轮,我这个是能滚动的啊等等这一系列配置啊,相对来说用起来是非常舒服的。好,那这一项呢也搞定,那下面呢,我们要添加一下相关的依赖,那首先第一个依赖包。因为我们用的是嗨杜对吧,3.1.3,那就相当于我们现在。
06:02
在这个地方。在Windows环境下安装了一个hidoop3.1.3对吧,哎,这个相关的一个客户端,那你才跟集群上的这个版本号一定要一致,如果不一致的话,后面会出现这种兼容性问题啊好,这是第一个依赖,那下面呢还有一个解unit。这个咱们在学Java IC的时候应该讲过吧,这是一个哎,单元测试使用的一个类。那再往下呢,是这个dependency啊,Dependency的这个啊,Logo附件哈,Logo附件,那logo附件呢,是我们用来打印日志的时候,控制日志级别,比如说warning啊,Error呀啊等等这几种的一个控制打印哈。行,这里直接拿过来。来到这里暂停。三天啊正常你要是第一次这个安装的话,那它要进行一个联网下载哈,那我这里面已经啊提前下载过了哈。那记住哈,这块呢,你的网络一定要好啊,以前呢,我我的用的是手机热点,我的热点呢,这个用用的差不多要没了啊,只剩一兆,呃,每秒钟一兆左右吧,啊这种速度它下起来就非常慢啊,后来呢,我回到家里啊,用这个光纤啊,瞬间就下完了。
07:13
这要注意一下。行,那这里面这个依赖也搞定,那继续往下找,那下面呢,我们还需要在这个src啊,Main resource目录下呢,创建一个log附近啊的一个文件啊,仍然是为了这个打印日志啊。右键。创建一个file。然后呢,把下面这些文件翻过来。这里面控制打印的日志呢,就是这个啊,In for级别,在这个控制台上进行一个打印,OK。这块拿下再往下走,下面呢,创建一个包包名com ID,硅谷ATS。搞定,那在下面呢,就开始创建对应的比白色客户端,进行后续的一个测试。
08:05
创建一个类。按住shift加回车啊就OK了,那先现在就可以了啊,我们的前置环境准备工作基本就做好了。
我来说两句