我在本地的Windows10机器上运行了Spark 2.3.1。我还没有修改过spark-env或spark-defaults中的任何设置。当我尝试使用spark-shell连接到spark时，我得到了一个failed to connect to master localhost:7077警告。这是从控制台复制的完整错误消息:-
`C:\Users\abhi331\opt\spark\spark-2.3.1-bin-hadoop2.7\bin>spark<
浏览 0提问于2019-02-05得票数 4
/horovod/spark copyinghorovod/spark/__init__.py -> build/lib.linux-x86_64-3.7/horovod/spark
浏览 32提问于2021-10-12得票数 1
我正在尝试使用下面的命令从spark-shell执行一个程序
spark-submit --class com.aadharpoc.spark.UIDStats \ --packages com.databricks:spark-csv_2.10:1.5.0 \ --master yarn-client \ /home/cloudera/Desktop/aadhar_jar/Untitled.jar \ /homespark-submit --c
浏览 43提问于2017-07-14得票数 1
回答已采纳
1回答
我想部署一个大的模型，例如伯特，在火花进行推断，因为我没有足够的GPU。现在我有两个问题。
但是，我找不到一种方法来加载用于hdfs文件系统路径的pb模型
我不确定这是为tensorflow模式服务的好方法。如有其他
浏览 3提问于2019-07-02得票数 5
3回答
我是spark的新手。我已经下载了为hadoop版本2.6预建的spark版本1.3.1。我解压并导航到该文件夹，然后键入以下命令：./bin/spark-shell，对于该命令，我得到一个错误，指出没有找到spark-shell命令。我使用git bash在windows上做了同样的事情，我得到了一个错误消息：在尝试运行spark之前，我还需要做什么吗？
浏览 1提问于2015-05-09得票数 4
回答已采纳
当我看到Spark上的spark部分(其中详细介绍了查询执行计划)时，它说会多次扫描parquet stage，即使我只读了一次。有什么合乎逻辑的解释吗？
浏览 0提问于2018-06-11得票数 1
1回答
码Sys.setenv('SPARKR_SUBMIT_ARGS'='"--packages" "com.databricks:spark-csv_2.10:1.2.0" "sparkr-shell"')
l
浏览 4提问于2015-12-05得票数 1
在spark-defaults.conf文件中，我可以让其中一个运行，但不能同时运行。这两个功能是独立工作的：
spark.driver.extraClassPath /Users/myusername/spark-1
浏览 2提问于2016-04-01得票数 10
回答已采纳
在Spark的介绍中，它说据我所知，您必须使用.cache()或.persist().If手动缓存RDD。data/kv1.txt") file.count()
我没有将RDD“文件”保存在缓存或磁盘中，在这种情况下，Spark
浏览 1提问于2014-09-10得票数 4
1回答
下面是一个虚拟的例子spark_df = spark.createDataFrame([(1, 'foo'),(2, 'bar'),],['id','txt'])
spark_df.selectExpr("id + 1")
# Register spark_df as a temporar
浏览 2提问于2020-08-31得票数 1
回答已采纳
我已经在linux和windows机器上测试了示例SparkPi，发现linux spark-submit运行正常，并且给出了正确的结果(剧透: Pi大约是3.1402157010785055)我注意到当从linux运行spark-submit时，类路径是这样的：
-cp '
浏览 0提问于2018-04-09得票数 0
1回答
我正在尝试使用SAP Spark Controller在我们的SAP HANA数据库上从Cloudera的Quick Start Hadoop发行版(我们的Linux VM )中获取一些数据。每次我在HANA中触发作业时，它都会卡住，并且我看到SPARK Controller的日志文件中每隔10-15秒就会连续记录以下警告，除非我终止该作业。WARN org.apache.spark.scheduler.cluster.YarnScheduler: Initial job has not accepted any reso
浏览 5提问于2019-05-19得票数 1
1回答
\:spark.executor.cores=1spark\:spark.driver.maxResultSize==512spark\:spark.yarn.am.memoryOverhead=384
浏览 3提问于2016-09-03得票数 0
# Load library
sc <- sparkR.init(master="local[4]") # Initialize Spark
浏览 1提问于2016-07-18得票数 0
回答已采纳
val spark = SparkSession.builder().appName("SparkExample").master("local[*]").getOrCreate()import spark.implicits._df.show()
在使用错误：(243，29)重载方法值json：( org.apache.spark
浏览 3提问于2020-05-22得票数 0
回答已采纳
我在2台机器上安装了spark 2.1.1，但是在不同的相对位置上，(在一台机器上)，我已经安装在NTFS驱动器的某个地方，而在另一台机器上，我已经在ext4驱动器上安装了它。当我试图通过主节点上的start-all.sh脚本启动这个集群时，我会得到以下错误：我已经在各自的SPARK_HOME文
浏览 0提问于2017-05-20得票数 1
回答已采纳
是否有人尝试将Azure data bricks用作CDAP作业处理的spark群集。CDAP文档详细介绍了如何将其添加到Azure HDInsight中，但只是想知道是否有一种方法可以将CDAP配置为指向data bricks spark集群，这是否可能？
浏览 14提问于2019-01-10得票数 0
在此中，大多数答案都介绍了groupByKey + reduceGroups策略。然而，我没有发现任何关于为什么spark删除reduceByKey接口的评论。有评论说，Spark的Catalyst Optimizer可以降低一些计算，这可能解释了为什么。
浏览 45提问于2019-08-05得票数 0
回答已采纳
我不能通过谷歌搜索以及从官方文档https://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.ml.feature.QuantileDiscretizer中找到介绍 //https://spark.apache.org/docs/latest/ml-features.html#quantiledis
浏览 16提问于2019-07-03得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
