我知道数据帧应该是不可变的，而且我知道尝试改变它们不是一个好主意。然而，我正在接收的文件有一个无用的头4列(整个文件有50+列)。所以，我想要做的就是去掉最顶层的那一行，因为它把所有的东西都抛到了一边。H | 300 | 23098234 | N
D | 399 | 54598755 | Y | 09983 | 09823 | 0
浏览 41提问于2016-09-23得票数 0
我需要为我的数据集实现分页(在星火scala中)。请如何将火花数据集/数据集拆分为N个行号？
-NS
浏览 0提问于2018-10-02得票数 2
回答已采纳
1回答
/dataframe.py“，第257行，在显示打印(self.(DataFrame.scala:2086) at org.apache.spark.sql.DataFrame.org$apache$spark$sql$DataFrame$$execute$1(DataFrame.scala:1498) at org.apache.spark.sql.DataFrame.
浏览 5提问于2016-12-29得票数 1
在.cache行分配了200个任务。失败的地方！我知道我不是在缓存一个巨大的数据，它只是一个数字，为什么它在这里失败了。) at org.apache.spark.sql.DataFrame$$anonfun$collect$1.apply(DataFrame.scala:1385) at org.apache.spark.sql.DataFrame(DataFrame.scala:1903) at
浏览 3提问于2016-10-17得票数 1
回答已采纳
这样我就可以通过第34页上的"val =(Sc)“一行。(commands.scala:57) at org.apac
浏览 3提问于2016-05-13得票数 0
回答已采纳
1回答
有没有可能让spark drop副本删除第二个实例而不是第一个实例？scala> df.show()| _1||1 2 3 4 5 6||1 2 3 4 5 6|+-----------+
newDf: org.apache.spark.sql.DataFrame = [_
浏览 0提问于2016-06-02得票数 0
我用Scala编写了以下UDF：import java.util.zip.String = { val output = scala.io.Source.fromInputStreamreturn output
val decompressUdf = (compressed
浏览 1提问于2021-05-01得票数 0
回答已采纳
有时(例如，为了测试和标记)，我想强制执行在DataFrame上定义的转换。DataFrame写到HDFS，但是这会“扰乱”我的系统，我不想再保存更多的表。那么触发DataFrame求值的最佳方式是什么呢 编辑： 请注意，在spark开发人员列表上还有一个最近的讨论：http://apache-spark-developers-list.1001551.n3，下面是show不计算所有行</
浏览 62提问于2017-03-10得票数 20
回答已采纳
:1903)at org.apache.spark.sql.DataFrame.head(DataFrame.scala:1314)
at org.apache.spark.sql.DataFrame.take(DataFrame.scala:1377)
浏览 4提问于2015-11-04得票数 1
回答已采纳
我正在使用MLlib和Spark1.5.1。输入类型必须是ArrayType( StringType )，但获得StringType。我的密码怎么了？at scala.Predef$.require(Predef.scala:233) at org.apache.sp
浏览 2提问于2015-11-07得票数 1
回答已采纳
以下代码将csv读取到scala中的dataframe中：但是，它将导入数据的第一行视为数据行。实际上，第一行是headers。它使用数据帧的默认标头作为标头(例如，_c0、_c1)
浏览 12提问于2017-08-31得票数 0
回答已采纳
我正在使用tryping来删除spark dataframe中包含特定行中的特定值的行。例如，如果我有下面的DataFrame，我想删除列"A“中有"two”的所有行。所以我想删除索引为1和2的行，我想使用Scala 2.11和Spark 2.4.0来实现。C
0 one 0
浏览 188提问于2020-11-03得票数 0
回答已采纳
在我通过Google控制台删除了目录(该目录由早期Spark (ver1.3.1)作业生成)之后，当重新运行作业时，它总是会失败，并且似乎该目录仍然存在于作业中；我无法用gsutil找到该目录。我所犯的错误：atscala.sys.package$.error(package.sc
浏览 2提问于2015-07-10得票数 0
回答已采纳
1回答
我正在使用spark 1.3.1，我想以ORC格式以蜂巢形式存储数据。 at org.apache.spark.sql.sources.ResolvedDataSource$.apply(ddl.scala:237)
at org.apache.spark.sql.Dat
浏览 5提问于2015-08-18得票数 0
回答已采纳
2回答
使用PySpark 1.6.3，我试图将RDD转换为Dataframe。这是在齐柏林飞艇笔记本上运行的测试代码。感兴趣的是rdd_ret。= 117]所以我们在这里看到，我们肯定有9301行，它们都是行对象，都是相同长度的。将生成输出Dataframe对象，但我试图在其上运行的任何操作(.show()；.count()；.filter())都会在底部产生相同的堆栈跟踪。我不明白在这种情况下NoneType可能是什么？当然，Ro
浏览 0提问于2018-06-21得票数 2
1回答
我正在尝试加载一个用spark sql以ORC格式创建的托管配置单元表。DataFrame.scala:2086) at org.apache.spark.sql.DataFrame
浏览 21提问于2017-04-20得票数 3
1回答
在下面的示例中，我误解了PySpark的性能。我不明白为什么在print data1.show()行中会出现任务序列化错误。用于创建ata1的DataFrame不是空的。此外，在这一行代码上成功
浏览 0提问于2018-01-15得票数 2
回答已采纳
2回答
我正在尝试使用从Spark读取来自kerberized实例的数据。我的集群配置本质上类似于：我将客户端计算机上的星火作业提交给远程spark独立集群，该作业试图从单独的HBASE集群中读取数据。如果我通过直接在我的客户端上运行带有master=local*的Spark集群来绕过独立集群，只要我第一次从客户端启动，就可以访问远程HBASE集群。at org.apache.spark.sql.D
浏览 8提问于2016-08-22得票数 0
一旦我在Spark中获得了一些Row类，无论是Dataframe还是催化剂，我都想在代码中将其转换为case类。这可以通过匹配完成。someRow match {case Row(a:Long,b:String,c:Double) => myCaseClass(a,b,c)}
但是，当一行中有大量的列时，比如十几个双打，一些布尔人，甚至偶尔的空列，情况就变得很糟糕了。我只想能-抱歉-把排到myCaseClass.这是可能的，还是我已经有了最经济的语法？
浏览 9提问于2015-01-27得票数 55
回答已采纳
声称Spark中的DataFrame等同于Dataset[Row]，但是显示DataFrame有一个模式。以博客文章中关于将RDD转换为DataFrame的例子:如果DataFrame与Dataset[Row]相同，那么将RDD转换为DataFrame应该是一样简单的。= sparkSession.createDataFrame(rddStringToRowRDD,dfschema)
val rDDToDataSet = rddToD
浏览 0提问于2016-10-07得票数 6
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
