4回答
我想逐行读取xls和xlsx ()文件，就像我们如何读取文本文件一样？我想使用spark来提高读取大型xls文件的性能，比如1GB，这就是为什么我需要spark分部分读取该文件，就像我们对文本文件所做的那样。请建议一下。
谢谢！
浏览 19提问于2015-07-29得票数 0
回答已采纳
我正在尝试读取一个大的文本文件(2到3 gb)。我需要逐行读取文本文件，并将每一行转换为一个Json对象。我已经尝试使用.collect()和.toLocalIterator()来读取文本文件。根据文档，.toLocalIterator()在处理大型RDD时是无效的，因为它会遇到内存问题。有没有一种有效的方法来读取多节点集群中的大型文本文件？下面是我通过各种尝试读取</em
浏览 70提问于2019-11-15得票数 5
回答已采纳
我在一个特定的s3桶文件夹中有一些大型json文件。每个文件每一行都包含json对象。我试图使用spark.read.json(s3a://bucket/prefix/file.json)下载它，但是得到了“内容长度分隔消息体的过早结束”错误。我想知道是否有办法处理json中的空行，同时读取它？我们如何逐行读取json并处理它？最后，我需要使用json数据进行一些事件分析。我们可以在不下载json的情况下从s3本身处理/
浏览 2提问于2020-10-02得票数 0
1回答
我目前正在使用这个数据集s3://commoncrawl/crawl-001/2008/06/19/1/。它的大小是24 S3，我正在尝试将其分离为文本/html请求，并将其保存在我的S3存储桶中。我正在使用内核pyspark，并将此文件作为rdd读取，我必须将其作为csv文件保存在我的存储桶中： rdd=sc.wholeTextFiles('s3://commoncrawl/crawl-001/
浏览 15提问于2021-09-08得票数 0
回答已采纳
我有这样的文本文件："02","BBB","BBBBB","BBBBBBBB" "04","DDD","DDDDD"
我想把这个文本文件数据加载到因此，我需要构建一个程序来逐行读取这个文本文件，直到eo
浏览 1提问于2013-07-18得票数 2
回答已采纳
1回答
我编写了一个程序，将文本文件读入变量，对文本执行regex替换，并将其写回文件。显然，对于大型文本文件，这是不可伸缩的；我希望能够逐行读取文本文件，并对所需的模式执行regex替换。rgx.Replace(fileContents, rep);
我知道如何使用StreamReader逐行读取文
浏览 2提问于2014-12-23得票数 4
回答已采纳
我有以下文件: test.json > "id": 1, "price": 12.50,}rddj = sc.textFile('test.json')我有个错误：
期望对象:第1行
浏览 3提问于2017-10-30得票数 3
回答已采纳
1回答
我想知道逐行读取大型文本文件(例如std::getline或fgets)是否可以使用预定义的读取缓冲区大小进行缓冲，还是必须使用特殊的字节函数？我的意思是通过I/O操作数优化读取非常大的文件(例如，一次从HDD读取32MB)。当然，我可以手工进行缓冲读取，但我认为标准文件流具有这种可能性。
浏览 0提问于2011-11-02得票数 2
1回答
用火花读取大Json文件的第一行
、、、、
我对Spark非常陌生，并且教自己我一直在使用小json文件，这些文件工作得很完美。但是，我不知道如何在中读取的单个数据行，而不是整个json文件。我一直在寻找这方面的文件，但它似乎相当稀少。我必须处理一个大型(比我的内存更大) json文件(维基百科转储：)，并且想要逐行处理。我以为Spark就是为了做到这一点而设计的，但却找不出如何做到这一点。SparkRDD= spark.read.json("largejson.json").rdd
Spar
浏览 1提问于2018-01-10得票数 2
我正试图从一个以制表符分隔的文本文件中逐行读取一个大的双精度矩阵。这是在Scala/Apache Spark中。如果我执行以下操作：我得到了obs: org.apache.spark.rdd.RDDString
但是，要求具有向量的
浏览 1提问于2014-10-29得票数 1
1回答
本质上，我的目标是创建一个代码，它将逐行读取文本文件并逐一执行文本文件中的SQL查询。要做到这一点，我需要能够将"p“的值传递到火花会话中。但我不能这样做：export p="SELECT distinct year, period FROM calendar "spark-shell<< 'EOF'
spark<
浏览 1提问于2018-10-02得票数 1
回答已采纳
有没有办法使用1 4GB的RAM读取4 4GB的日志文件？基本上，我想从大型日志文件中读取几行。该行可以在大型日志文件中的任何位置。-If有人可以帮助我理解linux tail的实现，我可以在java中尝试同样的实现。-At至少我应该使用哪个java I/O包来按需读取行，而不是在物理内存中加载完整的文件，然后逐行读取。
浏览 0提问于2013-11-27得票数 1
2回答
我正在尝试处理语言Dart中的大型文本文件。这些文件的大小超过100 MB。
我尝试了dart:io库的readAsLines和readAsLinesSync方法。有没有办法像在其他语言中那样逐行或逐字节地读取文件？
浏览 1提问于2014-02-16得票数 13
我使用文本文件来存储值，这样就不会耗尽内存。我还逐行读取文本文件，如果文本文件中已有新值，则需要一种匹配方法。问题是我无法在不发生内存错误的情况下用python加载整个文件。唯一的选择是打开上下文管理器，逐行迭代并尝试匹配值。是这样做还是保留文本文件更好？ 附带问题： 来自实际公司的大型数据库使用什么方法？我知道他们在使用批处理或分块；他们是不是在这些分块中做与我相同的事情？此外，有没有一种方法可以
浏览 40提问于2020-06-16得票数 0
2回答
我正在使用spark读取CSV管道分隔的数据文件。这是有资格引用的。一个文本块中有一个/n，它会导致读取损坏。我不明白的是，它是引用限定文本，所以它肯定应该跳过它！？行本身是CR+LN分隔的。这就是我用来加载数据的代码val df = spark.read .schema
浏览 2提问于2018-08-10得票数 0
回答已采纳
2回答
逐行阅读文本文件
、、、
我需要从文本文件中逐行读取数据。每行包含一个字符串或一个整数。我想使用StreamReader从文本文件中逐行读取，并使用StreamWriter将其写入二进制文件。“写入二进制文件”部分将会很简单。“从文本文件中逐行读取”部分是我需要帮助的部分。
浏览 24提问于2013-08-29得票数 1
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
