逐行阅读Alternative Spark

文章/答案/技术大牛

发布

3回答

python、pyspark

我想要逐行读取一个用例，我需要从header读取数据，并将数据发送到Header和Trailer之间的所有记录Spark不允许逐行读取-我们如何实现这样的用例。df = spark.read.text('/hdfsData/file.csv')df_11 = spark.sql(&qu

浏览 46提问于2021-05-06得票数 0

回答已采纳

1回答

从CSV到RDD到Apache Spark中的Cassandra商店

java、apache-spark

我在csv文件中有一堆数据，我需要通过spark将它们存储到Cassandra中。我使用spark到cassandra的连接器来做这件事。

浏览 2提问于2014-10-16得票数 1

1回答

星火sqlContext选择all

scala、apache-spark、apache-spark-sql

我使用火花SQLContext读取数据，并将其存储在一个变量中：然后，我希望使用select选择所有值，如下所示：但这行不通。somevar.registerTempTable("sometable") 但我不想做以前的事。

浏览 2提问于2017-03-03得票数 1

回答已采纳

2回答

如何让Spark输出打印在单独的新行上？

apache-spark、pyspark、apache-spark-sql

目前我的spark控制台是这样打印的，可读性不是很好：我希望它在新行上打印每个StructField项，以便更容易阅读。我该怎么办？谢谢。更新:我实际上正在学习本教程()，作者可以在没有打印的情况下逐行打印。我想知道他/她是怎么做到的。

浏览 0提问于2016-01-05得票数 1

4回答

逐行阅读

c#、winforms、line

我有一个生成纯文本文件的程序。结构(布局)总是相同的。示例：文本文件："Hello, this text will appear in a LinkLabel once it has been240, 780ControlLocation 当单击表单上的一

浏览 5提问于2009-09-30得票数 0

回答已采纳

1回答

使用pyspark将json文件读入RDD (而不是dataFrame)

json、apache-spark、pyspark

我有以下文件: test.json > "id": 1, "price": 12.50,}rddj = sc.textFile('test.json')我有个错误：期望对象:第1行

浏览 3提问于2017-10-30得票数 3

回答已采纳

2回答

是否有可能运行Scala脚本而不进入星火壳？

scala、apache-spark、spark-shell

我所知道的运行Scala星火代码的唯一两种方法是将Scala程序编译成jar文件并使用submit运行它，或者通过使用:load在星火壳中运行Scala脚本。我的问题是，可以直接在命令行上运行Scala文件，而不必先进入shell，然后发出:load？

浏览 3提问于2020-02-21得票数 5

回答已采纳

2回答

Spark文件格式转义\n正在加载CSV

csv、apache-spark、apache-spark-sql

我正在使用spark读取CSV管道分隔的数据文件。这是有资格引用的。一个文本块中有一个/n，它会导致读取损坏。我不明白的是，它是引用限定文本，所以它肯定应该跳过它！？行本身是CR+LN分隔的。这就是我用来加载数据的代码val df = spark.read .schema

浏览 2提问于2018-08-10得票数 0

回答已采纳

4回答

逐行阅读文件

haskell

我试图逐行读取文件，但我不知道当我到达EOF时该如何停止。

浏览 0提问于2012-09-06得票数 8

回答已采纳

3回答

逐行阅读字母

java

我现在有这段代码来读取txt文档的行。我正在尝试添加一些代码，以便程序只打印以字母C和A开头的文本行。有人能帮我吗？import java.util.*;{ { int maxIndx = -1; Str

浏览 17提问于2020-05-07得票数 0

回答已采纳

2回答

逐行阅读streams

delphi、encoding、stream、delphi-2009

在Delphi中有没有一种逐行读取流的方法？我知道如何从stream中获取？

浏览 1提问于2011-08-04得票数 4

回答已采纳

1回答

golang逐行阅读

go、readline

我已经开始学习golang了一点，我完全不能理解我应该如何用老式的方式逐行阅读： while filehandler !

浏览 0提问于2015-06-12得票数 2

1回答

在Scala-Spark中读取Hive表中的行并写入文件

scala、apache-spark

我想从spark-scala program.After中读取其中一个hive表中的数据行，相同的数据需要逐行写入文件。实际上是逐行写入文件。有没有人能分享一下点子呢？Spark版本1.6，Hive1.2。

浏览 3提问于2017-11-21得票数 1

1回答

使用udf逐行比较两个数据帧(使用库谁谁)

python、pyspark、user-defined-functions、string-comparison

我有两个带名称的Spark dataframe，我想使用Python库[whoswho][1]逐行比较它们如何创建具有逐行比较的UDF？(或者使用whoswho库进行比较的更好方法) df1 = spark.createDataFrame([ ["Jeanny Thorn"], ["Philippe Schauss"], ["Meindert I Th

浏览 30提问于2021-10-11得票数 0

1回答

如何在pyspark中进行广播连接之前获取数据帧的大小

apache-spark、pyspark、apache-spark-sql、pyspark-dataframes

我使用Python作为spark的编程语言任何帮助都非常感谢

浏览 0提问于2020-06-19得票数 1

2回答

逐行阅读odoo 9

openerp、odoo-9

如何在myrecord_ids字段(名称)中使用新的api逐行打印def func(self): for line in self.browse(myrecord_ids

浏览 3提问于2016-11-03得票数 0

回答已采纳

4回答

大家好:)当涉及到JSON和Python时，我是一个新手，今天正在做一个新项目，真的很感谢一些帮助。这就是我到目前为止所拥有的。我的目标是以几种不同的方式与Binance API交互。urlWithSymbol = 'https://api.binance.com/api/v1/trades?symbol=' response = requests.get(urlWithSymbol+symbol+'&limi

浏览 0提问于2018-08-13得票数 0

2回答