专栏首页程序猿的大杂烩Hadoop集成Spring的使用

Hadoop集成Spring的使用

Spring Hadoop简单概述

Spring Hadoop官网地址如下:

https://projects.spring.io/spring-hadoop/

Spring Hadoop简化了Apache Hadoop,提供了一个统一的配置模型以及简单易用的API来使用HDFS、MapReduce、Pig以及Hive。还集成了其它Spring生态系统项目,如Spring Integration和Spring Batch.。

特点:

  • 支持创建Hadoop应用,配置使用依赖注入和运行标准的java应用程序和使用Hadoop的命令行工具。
  • 集成Spring Boot,可以简单地创建Spring应用程序去连接HDFS进行读写数据。
  • 创建和配置,使用java的MapReduce,Streaming,Hive,Pig或HBase。
  • 扩展Spring Batch支持创建基于Hadoop的工作流的任何类型的Hadoop Job或HDFS的操作。
  • 脚本HDFS操作使用任何基于JVM的脚本语言。
  • 基于SpringBoot轻松地创建自定义的基础应用,应用可以部署在YARN上。
  • 支持DAO,可以使用模板或回调的方式操作Hbase
  • 支持Hadoop安全验证

Spring Hadoop2.5的官方文档及API地址:

https://docs.spring.io/spring-hadoop/docs/2.5.0.RELEASE/reference/html/ https://docs.spring.io/spring-hadoop/docs/2.5.0.RELEASE/api/


Spring Hadoop开发环境搭建及访问HDFS文件系统

创建一个maven工程,配置依赖如下:

<repositories>
    <repository>
      <id>cloudera</id>
      <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
      <releases>
        <enabled>true</enabled>
      </releases>
      <snapshots>
        <enabled>false</enabled>
      </snapshots>
    </repository>
  </repositories>

  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <hadoop.version>2.6.0-cdh5.7.0</hadoop.version>
  </properties>

  <dependencies>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-client</artifactId>
      <version>${hadoop.version}</version>
      <scope>provided</scope>
    </dependency>
    <!-- 添加UserAgent解析的依赖 -->
    <dependency>
      <groupId>com.kumkee</groupId>
      <artifactId>UserAgentParser</artifactId>
      <version>0.0.1</version>
    </dependency>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>4.10</version>
      <scope>test</scope>
    </dependency>
    <!-- 添加Spring Hadoop的依赖 -->
    <dependency>
      <groupId>org.springframework.data</groupId>
      <artifactId>spring-data-hadoop</artifactId>
      <version>2.5.0.RELEASE</version>
    </dependency>
  </dependencies>

  <!-- mvn assembly:assembly -->
  <build>
    <plugins>
      <plugin>
        <artifactId>maven-assembly-plugin</artifactId>
        <configuration>
          <archive>
            <manifest>
              <mainClass></mainClass>
            </manifest>
          </archive>
          <descriptorRefs>
            <descriptorRef>jar-with-dependencies</descriptorRef>
          </descriptorRefs>
        </configuration>
      </plugin>
    </plugins>
  </build>
</project>

在工程中创建resource目录以及配置文件,配置文件的名可以自定义,配置文件中增加如下内容:

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
       xmlns:hdp="http://www.springframework.org/schema/hadoop"
       xmlns:context="http://www.springframework.org/schema/context"
       xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd
        http://www.springframework.org/schema/hadoop
        http://www.springframework.org/schema/hadoop/spring-hadoop.xsd http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context.xsd">

    <!-- 加载属性文件 -->
    <context:property-placeholder location="application.properties"/>
    <hdp:configuration id="hadoopConfiguration">
        <!-- 服务器的url -->
        fs.defaultFS=${spring.hadoop.fsUri}
    </hdp:configuration>
    <!-- 装配文件系统bean以及操作用户 -->
    <hdp:file-system id="fileSystem" configuration-ref="hadoopConfiguration" user="root"/>
</beans>

然后再创建一个属性文件application.properties(文件名称可自定义),把一些容易改变的配置信息配置在属性文件下,例如我这里是将服务器的url配置在属性文件里,内容如下:

spring.hadoop.fsUri=hdfs://192.168.77.128:8020

完成以上操作之后,我们的Spring Hadoop开发环境就算是搭建完成了,毕竟使用Maven就是方便。

接下来我们来创建个测试类,测试一下是否能够正常对HDFS文件系统进行操作:

package org.zero01.spring;

import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;
import org.springframework.context.ApplicationContext;
import org.springframework.context.support.ClassPathXmlApplicationContext;

import java.io.IOException;

/**
 * @program: hadoop-train
 * @description: 使用Spring Hadoop来访问HDFS文件系统
 * @author: 01
 * @create: 2018-04-04 17:39
 **/
public class SpringHadoopApp {

    private ApplicationContext ctx;
    private FileSystem fileSystem;

    @Before
    public void setUp() {
        ctx = new ClassPathXmlApplicationContext("beans.xml");
        fileSystem = (FileSystem) ctx.getBean("fileSystem");
    }

    @After
    public void tearDown() throws IOException {
        ctx = null;
        fileSystem.close();
    }

    /**
     * 在HDFS上创建一个目录
     * @throws Exception
     */
    @Test
    public void testMkdirs()throws Exception{
        fileSystem.mkdirs(new Path("/SpringHDFS/"));
    }
}

以上的代码是执行成功的,然后到服务器上查看一下根目录下是否有SpringHDFS这个目录:

[root@hadoop000 ~]# hdfs dfs -ls /
Found 7 items
-rw-r--r--   3 root supergroup    2769741 2018-04-02 21:13 /10000_access.log
drwxr-xr-x   - root supergroup          0 2018-04-04 17:50 /SpringHDFS
drwxr-xr-x   - root supergroup          0 2018-04-02 21:22 /browserout
drwxr-xr-x   - root supergroup          0 2018-04-02 20:29 /data
drwxr-xr-x   - root supergroup          0 2018-04-02 20:31 /logs
drwx------   - root supergroup          0 2018-04-02 20:39 /tmp
drwxr-xr-x   - root supergroup          0 2018-04-02 20:39 /user
[root@hadoop000 ~]# hdfs dfs -ls /SpringHDFS
[root@hadoop000 ~]# 

可以看到SpringHDFS目录已经成功被创建了,这就代表我们配置的工程没有问题。

既然创建目录没有问题,我们就再来写一个测试方法,用来读取HDFS上某个文件的内容,代码如下:

/**
 * 读取HDFS上的文件内容
 * @throws Exception
 */
@Test
public void testText()throws Exception{
    FSDataInputStream in = fileSystem.open(new Path("/browserout/part-r-00000"));
    IOUtils.copyBytes(in, System.out, 1024);
    in.close();
}

以上的代码执行成功,控制台输出结果如下:

Chrome  2775
Firefox 327
MSIE    78
Safari  115
Unknown 6705

读和写都没有问题了,这下就能愉快的在工程里使用Spring Hadoop简化我们的开发了。


Spring Boot访问HDFS文件系统

以上介绍了Spring Hadoop访问HDFS,接下来再简单介绍一下使用Spring Boot访问HDFS,使用Spring Boot会更加简单。

首先需要在pom.xml文件中,加入Spring Boot的依赖:

<!-- 添加Spring Boot的依赖 -->
<dependency>
  <groupId>org.springframework.data</groupId>
  <artifactId>spring-data-hadoop-boot</artifactId>
  <version>2.5.0.RELEASE</version>
</dependency>
package org.zero01.spring;

import org.apache.hadoop.fs.FileStatus;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.CommandLineRunner;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.data.hadoop.fs.FsShell;

/**
 * @program: hadoop-train
 * @description: 使用spring boot来访问HDFS
 * @author: 01
 * @create: 2018-04-04 18:45
 **/
@SpringBootApplication
public class SpringBootHDFSApp implements CommandLineRunner {

    @Autowired
    FsShell fsShell;  // 用于执行hdfs shell命令的对象

    public void run(String... strings) throws Exception {
        // 查看根目录下的所有文件
        for (FileStatus fileStatus : fsShell.ls("/")) {
            System.out.println("> " + fileStatus.getPath());
        }
    }

    public static void main(String[] args) {
        SpringApplication.run(SpringBootHDFSApp.class, args);
    }
}

控制台输出如下:

> hdfs://192.168.77.128:8020/
> hdfs://192.168.77.128:8020/10000_access.log
> hdfs://192.168.77.128:8020/SpringHDFS
> hdfs://192.168.77.128:8020/browserout
> hdfs://192.168.77.128:8020/data
> hdfs://192.168.77.128:8020/logs
> hdfs://192.168.77.128:8020/tmp
> hdfs://192.168.77.128:8020/user

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 初识Spring

    接触过Java开发的小伙伴们,应该都或多或少听说过Spring框架(Spring框架通常指Spring Framework),而且大部分的公司都是使用着Spri...

    端碗吹水
  • Spring的一些零碎知识点整理

    要想在Web工程中配置Spring,首先需要在工程加入spring-web包,我这里使用的是maven的web工程,pom.xml配置文件配置的依赖如下:

    端碗吹水
  • 在SpringMVC中使用数据验证组件——hibernate-validator

    在做web开发的时候,经常需要对客户端发送过来的数据进行一个验证,以防数据不合法。而SpringMVC支持的数据校验是JSR303的标准,通过在bean的属性上...

    端碗吹水
  • Spring Web MVC 简单使用

      Spring Web MVC 框架简称 Spring MVC,Spring MVC 属于 SpringFrameWork 的后续产品,已经融合在 Sprin...

    Demo_Null
  • Java单体应用 - 常用框架 - 02.Spring

    原文地址:http://www.work100.net/training/monolithic-frameworks-spring.html

    光束云
  • 为何要选择10G粗波分复用CWDM在网络中应用?

    粗波分复用CWDM技术,专为长中距离的网络应用而设计,具有较高的性能价格比,现已应用于许多领域。粗波分复用CWDM网络是一种无源网络,支持几乎所有协议传输。虽然...

    易天光通信
  • web应用安全框架选型:Spring Security与Apache Shiro

    官网:https://projects.spring.io/spring-security/

    字母哥博客
  • springBoot系列教程04:mybatis及druid数据源的集成及查询缓存的使用

    首先说下查询缓存:查询缓存就是相同的数据库查询请求在设定的时间间隔内仅查询一次数据库并保存到redis中,后续的请求只要在时间间隔内都直接从redis中获取,不...

    肖哥哥
  • MapReduce程序的几种提交运行模式

    天策
  • 混合云/多云时代的网络监控

    目前,大多数企业使用两个或更多云计算服务提供商的云服务,35%的企业使用多达五个监控工具来密切关注混合云和多云环境。那么实现全面网络可视性的最佳方法是什么?

    静一

扫码关注云+社区

领取腾讯云代金券