专栏首页张浩的专栏Spark 设置 Hadoop 的配置文件
原创

Spark 设置 Hadoop 的配置文件

当我们在开发Spark应用程序的时候,没有设置Hadoop的配置文件的情况下来读取或者写入HDFS文件,每次都要写上hdfs://host:port/path如下图所示。

通过设置Hadoop的配置之后,我们就可以直接在Spark开发的时候上写上HDFS上的文件路径即可读取相应的文件。

Spark设置Hadoop配置文件

当SparkContext创建的时候,会去读取classpath下的core-default.xml和core-site.xml文件,所以我们可以将我们的Hadoop全局配置文件core-site.xml放到项目的resources文件夹下,来让Spark读取Hadoop配置。

我们还可以用代码的方式来设置我们的Hadoop配置,通过sc.hadoopConfiguration.set(name,value)的方式。

要加载特定命名的配置文件,可以使用sc.hadoopConfiguration.addResource("custom.xml")

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Spark Streaming基于网络的词频统计

    ZHANGHAO
  • Spark本地调试的使用Hive配置文件

    在本地调试的时候发现把Hive的hive-site.xml放到项目的resources目录下,就可以让Spark读取hive-site.xml中的Hive的配置...

    ZHANGHAO
  • HBase Shell常用命令

    ZHANGHAO
  • spring boot框架学习学前掌握之重要注解(4)-通过注解方式读取外部资源配置文件2

    本文是《凯哥陪你学系列-框架学习之spring boot框架学习》中spring boot框架学习学前掌握之重要注解(4)-通过注解方式读取外部资源配置文件2。...

    凯哥Java
  • ELK学习笔记之Logstash不停机自动重载配置文件

    为了可以自动检测配置文件的变动和自动重新加载配置文件,需要在启动的时候使用以下命令:

    Jetpropelledsnake21
  • Webpack02-配置文件的使用

    源码:https://gitee.com/andli/webpack_demo.git

    专注APP开发
  • ELK的上线之路(三):—— Logstash实践

    vi /usr/local/logstash/conf/logstash.conf

    江小白
  • IOS UITableViewCell 单元格4种样式

    用户5760343
  • Windows网络小工具之pstools:psping、pslist……

    这2套工具的受众广泛、稳定性久经考验,sysinternals已被微软收购,可以认为是微软出品

    shawyang
  • GPRS(Air202) Lua开发: 硬件使用说明

    杨奉武

扫码关注云+社区

领取腾讯云代金券