1回答
我需要加入PySpark中的两个RDD，但是我遇到了一些麻烦，下面是RDD的样子：+------+---+---++------+---+---+| C| 6| 1|+------+---+---+
+------+---++------+---+| C| 15|
| C#
浏览 4提问于2022-04-11得票数 1
2回答
line 11, in <module> File "/home/user/spark-2.1.0-bin-hadoop2.7/python
浏览 1提问于2017-05-05得票数 4
回答已采纳
1回答
我很难找到正确的方法加入到PySpark中的RDD中，以达到预期的结果。Here is the first RDD:| _1| _2||Python| 36|| C#| 8|+------+---+
+------+---++------+---+| C| 1#| 1|
+------+---
浏览 4提问于2022-04-10得票数 0
回答已采纳
我试图在datalakeGen2中将一个简单的字符串存储为文本文件，编写在Synapse记事本上的python代码。但它似乎并不是直接的。我试图将文本转换为rdd，然后存储：from pyspark import SparkContextstr = "test string"
text_path = adls_path + &
浏览 2提问于2021-06-29得票数 0
回答已采纳
2回答
我有如下数据集：23458ef12111223345rdd = spark_context.textFile('a.tx').takeSample(False, 3)所以takeSample返回list，它会有一个错误：
'list' object has
浏览 0提问于2016-12-26得票数 7
回答已采纳
当我试图创建一个数据框架时，我得到了错误消息，错误消息如下：org.apache.spark.SparkException: Pythonat org.apache.spark.api.python.PythonWorkerFactory.createSi
浏览 2提问于2021-07-22得票数 3
1回答
org.apache.spark.SparkException: Cloned Python environment not found at /local_disk0/.ephemeral_nfs/envs:313)at org.apache.spark.api.python.
浏览 7提问于2021-08-23得票数 0
回答已采纳
1回答
/pyspark/rdd.py", line 2371, in pipeline_func File "/usr/local/spark/python
浏览 5提问于2020-02-08得票数 1
回答已采纳
2回答
174, in main File "/opt/mapr/spark/spark-2.1.0/python/pyspark/worker.py", line 169,$$anon$1.read(PythonRDD.scala:193) at org.apache.spark.api.python.P
浏览 0提问于2018-07-08得票数 0
回答已采纳
1回答
我正在Python上开发一个Spark脚本(使用Pyspark)。",我得到以下错误： File "/Users/pau/Downloads/spark-2.0.2-bin-hadoop2.7/python/lib/
浏览 5提问于2017-01-19得票数 0
回答已采纳
) at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:313) at org.apache.spark.rdd</em
浏览 1提问于2017-02-21得票数 3
1回答
我使用的是spark1.5.1和Python3.5 anaconda distribution.My代码一直运行得很好，直到我在第7个单元307at org.apache.spark.api.python.Py
浏览 1提问于2016-06-29得票数 0
org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:324) at org.apache.spark.rdd.RDD.iteratoror
浏览 4提问于2018-09-14得票数 5
(RDD.scala:323)at org.apache.spark.api.python.PairwiseRDD.compute(RDD.scala:323)at org.apache.spark.api.pytho
浏览 1提问于2017-09-16得票数 2
1回答
in thread stdout writer for python at java.nio.HeapByteBuffer(RDD.scala:263) at org.apache.spark.api.python.PythonRDD$WriterThread$$anonfun$r
浏览 10提问于2015-02-28得票数 0
df_punct.where(col("cip") == True).collect()
at org.apache.spark.api.python.PythonRunner$$anon$1.<init>(PythonRDD.scala:234)
at o
浏览 0提问于2018-11-21得票数 1
(sc, command, self) [x.(sc, command, self)
File "/usr/hdp/
浏览 6提问于2016-03-10得票数 7
回答已采纳
我试图将Spark从Scala传递给Python，这样我就可以从PySpark调用函数了。我的scala代码返回rdd.toJavaRDD()，然后我在python中通过以下方法阅读：from pyspark.rdd import RDD这在一开始看起来是可行的，但是如果我在这个<em
浏览 1提问于2022-01-29得票数 1
1回答
at org.apache.spark.api.python.PythonRunner$$anon$1.:125) at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:297)
at org.apache.spark.rdd.
浏览 0提问于2015-11-21得票数 5
云服务器
ICP备案
对象存储
云直播
实时音视频
腾讯云开发者
