开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >问答首页 >列出文件scala emr hdfs (缺少csv文件)

问列出文件scala emr hdfs (缺少csv文件)
EN

Stack Overflow用户

提问于 2017-01-06 14:03:35

回答 1查看 56关注 0票数 0

我正在尝试通过以下方法列出emr hdfs上某个目录中的所有文件：

val directory = new File(directoryPath)
val fileStatusListIterator: RemoteIterator[LocatedFileStatus] = FileUtils.fs.listFiles(new Path(directoryPath), true)
while (fileStatusListIterator.hasNext) {
  val fileStatus = fileStatusListIterator.next
  if (fileStatus.isFile) {
    log.info(s"Iterator File Path: ${fileStatus.getPath}")
  }
}

我的问题是:它列出了除csv文件之外的所有文件。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2017-01-06 16:52:21

我找到原因了。因为我正好在列表之前下载了这个csv文件。这意味着文件不能及时从迭代器中被捕获。因此，我必须使用：

Future.Await(Downloading,Duration.Inf)

因此，它将被强制等待，直到下载完成，然后它将继续。

票数 1

EN

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/41507410

复制

相关文章

HDFS——如何列出目录下的所有文件

node.js hadoop 大数据文件存储

可以用bin/Hadoop fs -ls 来读取HDFS某一目录下的文件列表及属性信息。

星哥玩云

2022/06/30

3.9K0

CSV文件：Comma-Separated Values，中文叫，逗号分隔值或者字符分割值，其文件以纯文本的形式存储表格数据。该文件是一个字符序列，可以由任意数目的记录组成，记录间以某种换行符分割。每条记录由字段组成，字段间的分隔符是其他字符或者字符串。所有的记录都有完全相同的字段序列，相当于一个结构化表的纯文本形式。用文本文件、EXcel或者类似与文本文件的都可以打开CSV文件。

狼啸风云

2020/02/11

2.6K0

CSV文件存储

文件存储编程算法

首先，打开 data.csv 文件，然后指定打开的模式为 w （即写入），获得文件句柄，随后调用 csv 库的 writer() 方法初始化写入对象，传入该句柄，然后调用 writerow() 方法传入每行的数据即可完成写入。

不可言诉的深渊

2019/07/26

5.2K0

csv文件乱码

问题描述：生成的csv文件，设置为UTF-8格式，在windows上用EXCEL打开的话会乱码，在linux上用vim或者cat打开查看正常；设置为GBK格式的话，在windows上用EXCEL打开正常，但在linux上乱码解决方法：在csv文件头部的最前面加bom BOM(Byte Order Mark)，是 UTF编码方案里用于标识编码的标准标记，在 UTF-16里本来是 FF FE，变成 UTF-8就成了 EF BB BF。这个标记是可选的，因为 UTF8字节没有顺序，所以它可以被用来检测一个字

千往

2018/01/24

2.7K0

HDFS文件上传

adoop分布式文件系统（HDFS）是一个基于Java的分布式文件系统，由Apache Hadoop项目管理。在HDFS中，文件被分为块并存储在多个节点上，提供了高可靠性和高容错性，以及处理大量数据的能力。

堕落飞鸟

2023/05/11

1.1K0

HDFS——editLog文件

大数据缓存 node.js

在HDFS中，namenode保存了整个HDFS的元数据信息，而这些数据最终会被持久化到fsimage文件和editLog文件。换而言之，namenode的元数据信息由fsimage和editlog组成。其中，fsimage存放上次checkpoint生成的文件系统元数据，而editLog则存放文件系统的操作日志；也就是用户对目录、文件的每个写操作（包括创建、删除、写入等）都会被记录到editlog文件中。

陈猿解码

2023/02/28

9850

HDFS——editLog文件

Scala 文件 I/O

Scala 进行文件写操作，直接用的都是 java中的 I/O 类（java.io.File)：

王知无-import_bigdata

2019/04/08

5110

Django 生成CSV 文件

django可以将数据库里面的数据生成到CSV文件里面，用户可以下载CSV文件，之后使用excle打开就可以看到

一写代码就开心

2022/05/16

2.2K0

Django 生成CSV 文件

Python使用csv模块读写csv文件

有时也称为字符分隔值，因为分隔字符也可以不是逗号，其文件以纯文本形式存储表格数据。纯文本意味着该文件是一个字符序列，不含必须像二进制数字那样被解读的数据。

Python碎片公众号

2021/02/26

3.5K0

Python使用csv模块读写csv文件

Scala读取文件

1、在桌面创建文件 ip.txt ip1 127.0.0.1 ip2 127.0.0.2 ip3 127.0.0.3 2、代码 import scala.io.Source object Parser{ println("scala读取ip.txt文件") private val lines = Source.fromFile("C:\\Users\\com\\Desktop\\ip.txt").getLines() for(i <- lines) println(i) private

静谧星空TEL

2021/04/27

1.4K0

python csv文件处理

这样操作，以后获取数据的时候，就要通过下表来获取数据。如果想要在获取数据的时候通过标题来获取。那么可以使用DictReader。示例代码如下：

用户2200417

2022/03/02

2.1K0

什么是CSV文件以及如何打开CSV文件格式

文件存储 windows server jquery

大家好，又见面了，我是你们的朋友全栈君。 What is a .csv file? CSV stands for Comma Separated Values. A CSV file is a pla

全栈程序员站长

2022/09/16

6.4K0

python中如何打开csv文件_python如何读取csv文件

文件存储 java https python 网络安全

python如何读取csv文件，我们这里需要用到python自带的csv模块，有了这个模块读取数据就变得非常容易了。

全栈程序员站长

2022/09/16

7.9K0

python中如何打开csv文件_python如何读取csv文件

python 数据分析基础 day5－读写csv文件基础python读写csv文件通过pandas模块读写csv文件通过csv模块读写csv文件

今天说一下使用python读写csv文件。读写csv文件可以使用基础python实现，或者使用csv模块、pandas模块实现。基础python读写csv文件读写单个CSV 以下为通过基础python读取CSV文件的代码，请注意，若字段中的值包含有","且该值没有被引号括起来，则无法通过以下的简单代码获取准确的数据。 inputFile="要读取的文件名" outputFile=“写入数据的csv文件名” with open(inputFile,"r") as fileReader: with

billyang916

2018/05/02

3.5K0

Python：读写csv文件

csv_reader把每一行数据转化成了一个list，list中每个元素是一个字符串。

新码农

2020/04/16

1.7K0

[1145]Hive导入csv文件

hive 文件存储

**不可以,需要先导入成textfile,之后再从临时表导入成parquet,**如下

周小董

2022/05/31

3.4K0

python 读写csv文件

Symbol,Price,Date,Time,Change,Volume "AA",39.48,"6/11/2007","9:36am",-0.18,181800 "AIG",71.38,"6/11/2007","9:36am",-0.15,195500 "AXP",62.58,"6/11/2007","9:36am",-0.46,935000 "BA",98.31,"6/11/2007","9:36am",+0.12,104800 "C",53.08,"6/11/2007","9:36am",-0.25,360900 "CAT",78.29,"6/11/2007","9:36am",-0.23,225400

用户5760343

2019/10/21

1.3K0

python读写csv文件

文件读写的经典操作方式如下，通过内置的open函读取到每行内容，按照指定的分隔符进行分隔，然后对每一列的内容进行处理。这样的方式在处理制表符分隔的文件时，没什么问题，但是在处理csv文件时，会非常的头痛。

生信修炼手册

2020/05/13

1.8K0

Python 操作.csv文件

import csv csvfile = file('E:\\workspace\\data\\ex1.csv', 'rb') reader = csv.reader(csvfile) for line in reader: print line csvfile.close() import matplotlib import matplotlib.pyplot as plt import matplotlib.cm as cm from urllib import urlretrieve

py3study

2020/01/10

9970

jmeter读取csv文件

操作步骤： 1.读取csv文件 2.编辑httpSampler

互联网金融打杂

2018/08/02

1.5K0

相似问题

如何在Spark Scala shell中列出HDFS位置中的所有csv文件？

30

在Scala中从HDFS加载.csv文件

23

定期导入.CSV文件HDFS

10

HDFS:如何递归列出文件？

30

将文件从Hdfs拷贝到Hdfs scala

284

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例