NameError:未定义名称“spark”
NameError:未定义名称“spark”
提问于 2016-09-16 23:05:11
我正在从官方文档网站复制pyspark.ml示例：http://spark.apache.org/docs/latest/api/python/pyspark.ml.html#pyspark.ml.Transformer
data = [(Vectors.dense([0.0, 0.0]),), (Vectors.dense([1.0, 1.0]),),(Vectors.dense([9.0, 8.0]),), (Vectors.dense([8.0, 9.0]),)]
df = spark.createDataFrame(data, ["features"])
kmeans = KMeans(k=2, seed=1)
model = kmeans.fit(df)但是，上面的示例没有运行，并给出了以下错误：
---------------------------------------------------------------------------
NameError Traceback (most recent call last)
<ipython-input-28-aaffcd1239c9> in <module>()
1 from pyspark import *
2 data = [(Vectors.dense([0.0, 0.0]),), (Vectors.dense([1.0, 1.0]),),(Vectors.dense([9.0, 8.0]),), (Vectors.dense([8.0, 9.0]),)]
----> 3 df = spark.createDataFrame(data, ["features"])
4 kmeans = KMeans(k=2, seed=1)
5 model = kmeans.fit(df)
NameError: name 'spark' is not defined需要设置哪些额外的配置/变量才能使示例运行？
回答 4
Stack Overflow用户
回答已采纳
发布于 2016-09-16 23:12:29
由于您要调用createDataFrame()，所以需要这样做：
df = sqlContext.createDataFrame(data, ["features"])而不是这样：
df = spark.createDataFrame(data, ["features"])spark作为sqlContext站在那里。
通常，有些人将其称为sc，因此，如果不起作用，您可以尝试：
df = sc.createDataFrame(data, ["features"])Stack Overflow用户
发布于 2017-04-05 12:39:00
你可以添加
from pyspark.context import SparkContext
from pyspark.sql.session import SparkSession
sc = SparkContext('local')
spark = SparkSession(sc)要开始定义SparkSession的代码，那么spark.createDataFrame()应该可以工作。
Stack Overflow用户
发布于 2021-11-04 21:34:54
如果它错误地处理了其他开放会话，请执行以下操作：
from pyspark.context import SparkContext
from pyspark.sql.session import SparkSession
sc = SparkContext.getOrCreate();
spark = SparkSession(sc)
scraped_data=spark.read.json("/Users/reihaneh/Desktop/nov3_final_tst1/")页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/39541204
复制相关文章
相似问题
腾讯云开发者
