django with spark on local machine (windows) 现在，我想使用spark在大数据规模上做到这一点。我设置了一个django项目，并在一个由两台linux机器和hdfs组成的集群上设置了spark。我将每个模型编写为django项目中的一个视图，视图的实现具有使用pyspark编写的代码。我使用pyspark创建了一个到linux集群上的spark</
浏览 115提问于2019-06-25得票数 0
我正在建立一个有点特别的星火工人集群:也就是我坐在附近的几台实验室机器。但是，当我尝试用start-all.sh启动集群时，遇到了一个问题:即，Spark安装在不同工作人员的不同目录中。但是，尽管每个工作人员的路径不同，但主服务器使用主服务器对$SPARK_HOME的定义对每个工作人员调用$SPARK_HOME。假设我不能在每个工作人员的同一路径上安装火花到主站，我如何才能让主程序识别不同的工作路径
浏览 0提问于2014-06-24得票数 2
1回答
我已经在本地windows机器上的linux中安装了Hadoop/YARN。在同一台windows机器(不在VM中)上，我已经安装了Spark。在windows上运行spark时，我可以读取HDFS中存储的文件(在linux中)。sc.textFile("hdfs://MyIP:9000/Data/sample.txt&q
浏览 1提问于2018-09-16得票数 0
回答已采纳
2回答
所以我刚从木星和笔记本的概念开始。我正在尝试使用Toree内核。我按照下面的页面进行安装：
这些说明主要是针对Linux/Mac出现的。我
浏览 0提问于2016-03-29得票数 7
我已经为scala配置了eclipse，创建了一个maven项目，并在windows上写了一个简单的字数统计任务。现在我的spark+hadoop已经安装在linux服务器上了。如何将我的spark代码从eclipse启动到spark集群(在linux上)？
任何建议。
浏览 4提问于2015-11-08得票数 2
我需要在我的笔记本电脑上安装spark 1.0.0，它有64位操作系统Windows8，java(java版本"1.7.0_25")。我下载了"spark-1.0.0-bin-hadoop2“。但是我不知道如何安装spark 1.0.0。我也在谷歌上搜索了一下，但是我找不到。那么，您能告诉我在Windows8操作系统上的安装步骤，以及在这个过程中还需要什么其他东西吗？
浏览 2提问于2014-07-08得票数 1
IBM installer for Apache Spark，在我的例子中是IBM_Spark_DK_2.1.0.0_Linux_s390x.bin，它提供了以下选项来执行安装程序(我缩短了选项列表，使其更具可读性)：
where，并指定安装</em
浏览 3提问于2017-02-14得票数 0
3回答
我是spark的新手。我已经下载了为hadoop版本2.6预建的spark版本1.3.1。我解压并导航到该文件夹，然后键入以下命令：./bin/spark-shell，对于该命令，我得到一个错误，指出没有找到spark-shell命令。我使用git bash在windows上做了同样的事情，我得到了一个错误消息：在尝试运行spark
浏览 1提问于2015-05-09得票数 4
回答已采纳
我是Apache Spark的新手。我使用的是Windows操作系统，而spark安装在Linux操作系统上，它是远程的。是否可以使用Java API在Spark配置中添加ip地址和端口？请分享spark java示例。
提前谢谢。
浏览 1提问于2017-02-07得票数 0
我正在运行Python3.7.2并使用Miniconda3创建一个名为test-env的新环境。我已经将Python包从默认通道安装到这个环境中；但是，当我尝试import pyarrow时，Python解释器给我一个未定义的符号错误： Import Error: /test-env/lib/python3.7/site-packages/pyarrow/lib.cpython-37m-x86_64-linux-gnu.so: undefined symbol:
浏览 167提问于2019-03-08得票数 5
我在2台机器上安装了spark 2.1.1，但是在不同的相对位置上，(在一台机器上)，我已经安装在NTFS驱动器的某个地方，而在另一台机器上，我已经在ext4驱动器上安装了它。当我试图通过主节点上的start-all.sh脚本启动这个集群时，我会得到以下错误：
192.168.1.154: bash: line 0: cd: /home/<somePath>/
浏览 0提问于2017-05-20得票数 1
回答已采纳
3回答
我在我的mac上安装了Hadoop2.7。然后我想在上面安装spark。但是没有任何关于this.can的文档，有没有人一步一步地解释如何在hadoop上安装spark？
浏览 2提问于2016-12-08得票数 1
在独立模式中，主进程使用/usr/bin/java，解析为JVM1.8，工作进程使用/usr/lib/jvm/java/bin/java，解析为1.7。在我的Spark应用程序中，我使用了1.8中引入的一些API。查看堆栈跟踪，出现的一行是：Caused by: java.lang.NoClassDefFoundError: Could not initialize class SomeClassD
浏览 5提问于2017-06-09得票数 0
有人能指导我如何将PBI Desktop连接到安装在本地windows计算机上的APACHE SPARK吗？我应该传递什么服务器详细信息？我读过节俭连接非常慢，所以我会想要避免他们，除非他们是唯一的选择。 编辑-根据这个建议，我尝试按照下面的链接建立thrift连接- medium.com/@waqasrafiq327/…。我的是windows安装。给定的路径似乎是针对linux的？我在/
浏览 37提问于2019-09-01得票数 0
3回答
当我试图运行spark 2.6.3时，会出现下一个错误：Preparing JRE ...
starter: 150: starter在11.10版中运行平稳。不知道发生了什么。
浏览 0提问于2012-05-22得票数 3
1回答
我找不到OCRing图像在PySpark中的开源解决方案。我知道像pytesseract这样的解决方案是存在的，但不确定它们是否能很好地处理PySpark，因为tesseract-ocr需要安装在linux机器上。是否有任何开放源码的OCR解决方案可以很好地与PySpark兼容？
浏览 1提问于2022-02-22得票数 0
这是我在使用了大量StackOverflow后的第一个问题，如果我给出的信息不准确或不完整，请纠正我
直到本周，我还在colab笔记本上安装了pyspark，这是我在互联网上找到的众多指南之一，但这周它开始弹出几个不同的错误wget -q https://downloads.apache.org/spark/spark-3.0.0-preview2/spark-3.0
浏览 1提问于2020-08-09得票数 9
我正在尝试运行一个py行之有效的程序，但是我得到了一个错误：SparkException: Python未能连接回。= SparkSession\ .appName("ReplaceNanByAverage")\
.config("spark.master", "local('PYT
浏览 4提问于2019-09-23得票数 0
回答已采纳
1回答
我刚刚在全新的Linux Mint安装(所有最新版本)上安装了Anaconda、Apache spark、Pyspark、Scala。为了测试安装，我尝试在终端中运行spark-submit，但得到以下错误：
File "/home/jessica/anaconda/bin/find_spark_home.py", line 74,spark-cl
浏览 31提问于2019-10-28得票数 0
回答已采纳
1回答
我正在命令行中运行本地pyspark代码，它可以工作： conf = SparkConf()
File "/Users/edamame/local-lib/apache-<em
浏览 2提问于2015-10-25得票数 1
回答已采纳
云服务器
ICP备案
云直播
腾讯会议
对象存储
腾讯云开发者
