专栏首页linda大数据大数据第三天 Hadoop3.2.1
原创

大数据第三天 Hadoop3.2.1

配置日志 以及日志聚合:

第一步:

第二步参考以下网址:

https://blog.csdn.net/qq_43412289/article/details/89241271

第三步踩坑记录如下:

https://blog.csdn.net/qq_41515513/article/details/101873098

HDFS SHELL 操作 hdoop fs ....

maven项目操作hadoop=>1.在mac上配置haoop_home变量 2.新建maven项目 3.修改镜像仓库为阿里云 4.导入依赖进行开发.

pom.xml如下

<dependencies>
    <!-- https://mvnrepository.com/artifact/junit/junit -->
    <dependency>
        <groupId>junit</groupId>
        <artifactId>junit</artifactId>
        <version>4.12</version>
        <scope>test</scope>
    </dependency>
    <!-- https://mvnrepository.com/artifact/org.apache.logging.log4j/log4j-core -->
    <dependency>
        <groupId>org.apache.logging.log4j</groupId>
        <artifactId>log4j-core</artifactId>
        <version>2.13.1</version>
    </dependency>
    <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common -->
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>3.2.1</version>
    </dependency>
    <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client -->
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>3.2.1</version>
    </dependency>

    <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-hdfs -->
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-hdfs</artifactId>
        <version>3.2.1</version>
    </dependency>

</dependencies>

测试程序如下:

public class HdfsClient {
    @Test
    public void testMkdirs()throws Exception{
        FileSystem fileSystem = FileSystem.get(new URI("hdfs://hadoop1:9000")
                ,new Configuration(),"liuli");
        fileSystem.mkdirs(new Path("/javamkdir"));
        fileSystem.close();
    }
}

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 大数据第四天 Hadoop3.2.1

    (1)分发 hadoop jdk profile 并且生效 并且删除hadoop上的数据即可

    weifangliuli
  • 大数据第二天 Hadoop3.2.1

    桥接模式 & service network start & ip addr & ping www.baidu.com

    weifangliuli
  • 大数据第一天 Hadoop3.2.1

    weifangliuli
  • springboot-mybatis-demo遇到的坑

    使用国外站点进行更新,实在太浪费时间,所以修改为国内站点 在pom.xml中添加(pom.xml集成了依赖关系)

    Enterprise_
  • spring boot 2.x 整合mybaits及分页插件

    在众多ORM持久层框架中,凯哥还是比较喜欢使用mybatis。至于mybatis的好处在此就不一一列举了。本篇主要介绍的是在spring boot中怎么整合my...

    凯哥Java
  • mybatis-plus实现增删改查

    QueryWrapper(LambdaQueryWrapper) 和 UpdateWrapper(LambdaUpdateWrapper) 的父类 用于生成 ...

    用户7649162
  • springboot-mybatis-demo遇到的坑

    使用国外站点进行更新,实在太浪费时间,所以修改为国内站点 在pom.xml中添加(pom.xml集成了依赖关系)

    Enterprise_
  • Springboot框架集成MySQL、RabbitMQ、Redis、Logback日志、Quartz定时任务

    网上关于创建Springboot项目的案例有很多,此处就不阐述,提供一个参考案例:使用IDEA创建一个springboot项目

    麦克劳林
  • springmvc @ResponseBody相关配置

    尚浩宇
  • Shiro实战(七) - 环境搭建及使用1 搭建2 连接数据库与配置 mybatis

    JavaEdge

扫码关注云+社区

领取腾讯云代金券