Apache Zeppelin 中 HDFS文件系统 解释器

概述

Hadoop文件系统是hadoop项目的分布式,容错文件系统的一部分,通常用作Hadoop MapReduceApache SparkAlluxio等底层文件系统等分布式处理引擎的存储。

配置

属性

默认

描述

hdfs.url

http://localhost:50070/webhdfs/v1/

WebHDFS的URL

hdfs.user

HDFS

WebHDFS用户

hdfs.maxlength

1000

获取的最大行结果行数

该解释器使用HTTP WebHDFS接口连接到HDFS。它支持应用于HDFS的基本shell文件命令,它目前只支持浏览。

  • 您可以使用ls [PATH]ls -l [PATH]列出目录。如果路径丢失,则列出当前目录。 ls支持用于人类可读文件大小的-h标志。
  • 您可以使用cd [PATH]通过给出相对或绝对路径来更改当前目录。
  • 您可以调用pwd来查看当前目录。

提示:使用(Ctrl +。)进行自动完成。

创建解释器

在笔记本中,要启用HDFS解释器,请单击齿轮图标并选择HDFS

WebHDFS REST API 

您可以通过针对提供给解释器的WebHDFS终端运行curl命令来确认您是否可以访问WebHDFS API。

这是一个例子:

$> curl "<a href="http://localhost:50070/webhdfs/v1/?op=LISTSTATUS" "="" style="text-decoration-line: none; border-radius: 0px; background: 0px center; border: 0px; bottom: auto; float: none; height: auto; left: auto; line-height: 20px; margin: 0px; outline: 0px; overflow: visible; padding: 0px; position: static; right: auto; top: auto; vertical-align: baseline; width: auto; box-sizing: content-box; min-height: inherit; color: rgb(42, 0, 255) !important;">http://localhost:50070/webhdfs/v1/?op=LISTSTATUS"

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Hadoop实操

如何启用Impala的动态资源池

在Cloudera Manager中动态资源池分为Yarn的动态资源池和Impala的动态资源池两种。Fayson在前面有多篇文章介绍了Yarn动态资源池的使用...

5024
来自专栏行者悟空

Hadoop 2.x 伪分布式环境搭建

1212
来自专栏性能与架构

Hadoop如何使用Zookeeper来保障高可用?

问题描述 Hadoop 中有一个分布式调度框架 YARN,是很基础的重要框架,用来支持多种计算模型和进行资源调度。 先看下 YARN 的架构图 ? 不需要了解这...

3756
来自专栏Hadoop实操

如何使用curl命令调用CM的API动态配置Yarn资源池

在使用CDH集群大数据平台过程中,用户会有需求在自己的统一管理平台上通过API接口能够动态的设置Yarn资源池,Cloudera Manager提供了丰富的AP...

1682
来自专栏Hadoop实操

如何在CDSW上调试失败或卡住的Spark应用

默认情况下,CDSW会话中的Spark应用程序只显示ERROR级别的日志,当作业出现异常或卡住时无法查看作业运行详细日志及异常堆栈信息,不能根据日志的上下文正确...

1453
来自专栏Hadoop实操

如何在不重启Yarn服务的情况下启用DEBUG日志记录

为了解决Yarn问题,需要为不同的服务启用调试。但是,在生产集群中,可能无法立即重启Yarn服务。本篇文章Fayson主要介绍如何在不重启Yarn服务的情况下为...

1505
来自专栏Hadoop实操

如何迁移CDH的opt目录

部分企业对OS的目录空间划分有严格的要求(如:/、/opt、/var等目录),CDH安装的安装目录默认是在/opt下,随着版本的升级和新组件的安装占用了大量的/...

1564
来自专栏Hadoop实操

Impala动态资源池及放置规则使用

Fayson在前面的文章介绍了《如何启用Impala的动态资源池》。管理员可以通过Impala的动态资源池、放置规则及ACL控制不同的用户对Impala资源使用...

3574
来自专栏赵俊的Java专栏

Hadoop 伪分布式环境搭建

1532
来自专栏行者悟空

Spark的容错机制

2564

扫码关注云+社区

领取腾讯云代金券