3回答
将木星笔记本与火花连接起来
、、、、
display_name": "PySpark (Spark 2.0.0)", "argv": [os.environ[
浏览 7提问于2017-04-26得票数 2
2回答
如何使用Spark上下文？
、、、、
我将值赋值为sc = pyspark.SparkContext()。它在jupyter笔记本上运行了很长时间，没有响应，因为出现了星号，并且没有显示任何错误。我试过sc = SparkContext()import ossc = pyspark.SparkContext() # At this part it don't respond
from pyspark.sql i
浏览 1提问于2019-05-29得票数 0
1回答
我正在使用木星笔记本中的Pyspark，并试图为S3编写一个大型的拼花数据集。如何设置这个参数？
我发现的大多数解决方案都建议在使用火花提交时设置它。然而，我没有使用星火提交和运行它作为一个脚本从木星。编辑:我正在使用Spark魔术处理EMR后端，我认为需要在配置JSON中设置spark.local.dir，但我不知道如何在配置JSON中指定它。
浏览 2提问于2018-06-29得票数 4
我正在使用带有pySpark的AWS Glue，并希望在sparkSession中添加一些配置，例如'"spark.hadoop.fs.s3a.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem"、spark.hadoop.fs.s3a.multiobjectdelete.enable","false"、"spark.serializer", "org.apache.<em
浏览 45提问于2020-10-14得票数 2
2回答
将PySpark与木星笔记本集成
、、、、
$ mkdir -p ~/.ipython/kernels/pyspark
我打开了kernel.json, "-f", ], "SPARK_HOME": "
浏览 5提问于2016-08-25得票数 2
回答已采纳
2回答
鼓励我尝试使用spark-csv来读取PySpark中的.csv文件。我发现有几篇文章描述了如何使用，比如ipython notebook --profile=pysparkipython notebook --profile=pyspark --packages com.databricks:spark</em
浏览 1提问于2015-11-25得票数 8
除了正确导入包之外，pyspark到底在做什么？是否可以使用常规的jupyter notebook，然后导入所需的内容？
浏览 6提问于2016-02-29得票数 2
我检查了运行pyspark的EMR主节点，那里的版本是pyspark 2.4.5，运行python 3.7.6。
"ValueError:已经为当前星火上下文安装的软件包！我认为，由于提及python2.7的上下文引发了火花，所以sagemaker的进口失败了。我该怎么解决这个问题？
浏览 0提问于2020-08-28得票数 0
回答已采纳
我有一个pyspark脚本，在其中我启动了一个spark会话，但是我无法使用spark.read.format('json').load("my_blob_path")从blob商店读取。下面是我的会话初始化。请帮助我在环境中设置我的blob凭证。conf = SparkConf().setAppName("session1")from pyspark.sql impo
浏览 0提问于2020-02-26得票数 2
回答已采纳
我正在使用Jupyter notebook，刚刚开始学习Apache spark，但在创建简单的RDD时遇到错误：错误是：，每种情况下都会发生这种情况
浏览 3提问于2017-03-30得票数 5
1回答
我正在尝试使用这个spark-submit server2.py --master local[2]运行一个spark程序。not parse Master URL: '<pyspark.conf.SparkConf object at 0x7f69bb067710>'
at org.apache.spark.SparkContext$.org$apache$spark$SparkContext$$createTaskScheduler(SparkConte
浏览 25提问于2020-04-27得票数 0
回答已采纳
1回答
如果我这样做了：Spark模块将正确地在纱线上执行，应用程序将显示在纱线web浏览器GUI上，作为一个完整的应用程序。如果我以编程方式进行，它不会出现在纱线GUI中，所以我假设它最终不会使用纱线作为主控：import os
from pyspark.sql.types import *
d
浏览 1提问于2017-04-16得票数 2
在亚马逊网络服务的文档中，他们指定了如何激活对Spark作业()的监控，但不是python外壳作业。使用原样的代码会给出这个错误：ModuleNotFoundError: No module named 'pyspark'
更糟糕的是，在注释掉from pyspark.context import SparkContextpython shell作业似乎不能访问glue上下文？
浏览 0提问于2020-05-22得票数 1
2回答
这是我使用的代码： data_filesHMP_Dataset/'+category)
print(data_file) 10
浏览 14提问于2020-05-07得票数 1
回答已采纳
在纱线集群上创建一个火花作业，其工人数量比火花上下文(100)中指定的要小得多(只有4名工人)：下面是我如何创建火花上下文和会话的方法： ('spark.yarn.dist.archives','xxxxxxxxxxx'), ('spark</
浏览 0提问于2020-02-26得票数 2
回答已采纳
2回答
return dataframe;}b = sc.b.build()))VS#prints: pyspark.sql.dataframe.DataFrame
浏览 0提问于2018-03-14得票数 1
回答已采纳
我正在尝试为pyspark安装geomesa，并在初始化时收到错误~/opt/anaconda3/envs/geomesa-pyspark/lib/python3.7/site-packages/geomesa_pyspark/__init__.py in init_sql(spark) 114 def in
浏览 10提问于2021-11-30得票数 0
1回答
每个任务都有一个执行一些spark操作的PySpark模块。第二个模块使用在前一个会话中创建的数据帧并继续其操作。同样的SparkSession初始化，如何实现同样的效果？我尝试使用getActiveSession()，但由于任务1作业已完成，因此无法工作，因此当任务2运行时，会创建一个新的spark会话。- [root@ ..dags]# cat tmp_spark_1.py
浏览 32提问于2021-11-23得票数 0
我正在使用Spark、PySpark、Ipython和mysql运行一个本地环境。我很怀疑能够通过spark启动一个mysql查询。主要问题是包含适当的jdbc，以便能够执行查询。conf=conf)
但是，如果我从shell (而不是ipython)执行所有操作，通过这样初始化星火上下文<e
浏览 4提问于2015-11-26得票数 3
回答已采纳
ipython profile create pyspark
export:~$ cat .ipython/profile_pyspark/startup/00-pyspark-setup.py import sys
spark_home = os.environ.get,
浏览 5提问于2016-04-23得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
实时音视频活动推荐
腾讯云开发者
