腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
使用django和
spark
框架的基于web的分析应用程序的部署架构
python
、
django
、
apache-spark
、
pyspark
、
apache-spark-ml
django with
spark
on local machine (windows) 现在,我想使用
spark
在大数据规模上做到这一点。使用django作为后端框架处理请求,使用
spark
进行处理和建模 Django+pyspark on local machine (windows) and
spark
on remote cluster我设置了一个django项目,并在一个由两台
linux
机器和hdfs组成的集群上设置了
spark
。我使用pyspark创建了一个到
linu
浏览 115
提问于2019-06-25
得票数 0
3
回答
火花:如何将员工专用的
SPARK
_HOME设置为独立模式
cluster-computing
、
apache-spark
但是,当我尝试用start-all.sh启动集群时,遇到了一个问题:即,
Spark
安装
在不同工作人员的不同目录中。但是,尽管每个工作人员的路径不同,但主服务器使用主服务器对$
SPARK
_HOME的定义对每个工作人员调用$
SPARK
_HOME。假设我不能在每个工作人员的同一路径上
安装
火花到主站,我如何才能让主程序识别不同的工作路径? 编辑#1 Hmm,找到了,强烈建议这是当前的实现--假设所有员工的$
SPARK
_HOME都是相同的。
浏览 0
提问于2014-06-24
得票数 2
4
回答
在eclipse上本地运行
spark
代码,并将
spark
安装
在远程服务器上
linux
、
scala
、
debugging
、
apache-spark
现在我的
spark
+hadoop已经
安装
在
linux
服务器上了。如何将我的
spark
代码从eclipse启动到
spark
集群(在
linux
上)? 任何建议。
浏览 4
提问于2015-11-08
得票数 2
1
回答
如何使用IBM
Spark
安装
程序设置
安装
路径?
apache-spark
IBM installer for Apache
Spark
,在我的例子中是IBM_
Spark
_DK_2.1.0.0_
Linux
_s390x.bin,它提供了以下选项来执行
安装
程序(我缩短了选项列表,使其更具可读性): whereinterface mode for the installer
浏览 3
提问于2017-02-14
得票数 0
1
回答
从windows上的星星之火到HDFS存储文件
linux
、
apache-spark
、
hadoop
、
hdfs
我已经在本地windows机器上的
linux
中
安装
了Hadoop/YARN。在同一台windows机器(不在VM中)上,我已经
安装
了
Spark
。在windows上运行
spark
时,我可以读取HDFS中存储的文件(在
linux
中)。我想,这是因为Windows和
linux
用户是不同的,windows用户没有在
Linux
中编写文件的权限。 使用
spark
将文件从windows存储到HDFS (
linux
)的正
浏览 1
提问于2018-09-16
得票数 0
回答已采纳
2
回答
火花核在木星上的应用
apache-spark
、
jupyter
、
jupyter-notebook
我正在尝试
安装
一个内核,它能够执行星星之火,并遇到Toree。我
安装
了toree,当我运行内核列表时它会出现。我按照下面的页面进行
安装
:对如何在木星上得到火花笔记本有什么想法吗? 我知道这里没有太多的信息,如果需要更多的话。让我知道。
浏览 0
提问于2016-03-29
得票数 7
2
回答
如何在Windows8环境下进行
spark
安装
过程
installation
、
apache-spark
我需要在我的笔记本电脑上
安装
spark
1.0.0,它有64位操作系统Windows8,java(java版本"1.7.0_25")。我下载了"
spark
-1.0.0-bin-hadoop2“。但是我不知道如何
安装
spark
1.0.0。我也在谷歌上搜索了一下,但是我找不到。那么,您能告诉我在Windows8操作系统上的
安装
步骤,以及在这个过程中还需要什么其他东西吗?
浏览 2
提问于2014-07-08
得票数 1
1
回答
如何使用Java API将文本文件、图像存储到Apache
Spark
中?
java
、
apache-spark
、
apache-spark-sql
、
spark-streaming
、
spark-dataframe
我是Apache
Spark
的新手。我使用的是Windows操作系统,而
spark
安装
在
Linux
操作系统上,它是远程的。是否可以使用Java API在
Spark
配置中添加ip地址和端口?请分享
spark
java示例。 提前谢谢。
浏览 1
提问于2017-02-07
得票数 0
1
回答
有办法在PySpark中实现OCR图像吗?
apache-spark
、
pyspark
、
ocr
、
python-tesseract
我知道像pytesseract这样的解决方案是存在的,但不确定它们是否能很好地处理PySpark,因为tesseract-ocr需要
安装
在
linux
机器上。
浏览 1
提问于2022-02-22
得票数 0
2
回答
Linux
pyarrow未定义符号
python-3.x
、
pyarrow
我已经将Python包从默认通道
安装
到这个环境中;但是,当我尝试import pyarrow时,Python解释器给我一个未定义的符号错误: Import Error: /test-env/lib/python3.7/site-packages/pyarrow/lib.cpython-37m-x86_64-
linux
-gnu.so: undefined symbol: _ZNK5arrow6Status8ToStringB5cxx11Ev
浏览 167
提问于2019-03-08
得票数 5
3
回答
尝试运行
Spark
时出错
linux
、
git
、
apache-spark
我是
spark
的新手。我已经下载了为hadoop版本2.6预建的
spark
版本1.3.1。我解压并导航到该文件夹,然后键入以下命令:./bin/
spark
-shell,对于该命令,我得到一个错误,指出没有找到
spark
-shell命令。我使用git bash在windows上做了同样的事情,我得到了一个错误消息:在尝试运行
spark
之前,我还需要做什么吗?
浏览 1
提问于2015-05-09
得票数 4
回答已采纳
1
回答
星星之主和工作人员似乎运行在不同的JVM版本上。
apache-spark
在我的
Spark
应用程序中,我使用了1.8中引入的一些API。
浏览 5
提问于2017-06-09
得票数 0
3
回答
在hadoop上
安装
spark
hadoop
、
apache-spark
、
installation
我在我的mac上
安装
了Hadoop2.7。然后我想在上面
安装
spark
。但是没有任何关于this.can的文档,有没有人一步一步地解释如何在hadoop上
安装
spark
?
浏览 2
提问于2016-12-08
得票数 1
3
回答
如何使用start-all.sh启动使用不同
SPARK
_HOME (而不是主)的独立工作人员?
apache-spark
、
apache-spark-standalone
我在2台机器上
安装
了
spark
2.1.1,但是在不同的相对位置上,(在一台机器上),我已经
安装
在NTFS驱动器的某个地方,而在另一台机器上,我已经在ext4驱动器上
安装
了它。当我试图通过主节点上的start-all.sh脚本启动这个集群时,我会得到以下错误:
浏览 0
提问于2017-05-20
得票数 1
回答已采纳
1
回答
使用PowerBI
Spark
本地计算机
安装
连接Apache
apache-spark
、
powerbi-desktop
有人能指导我如何将PBI Desktop连接到
安装
在本地windows计算机上的APACHE
SPARK
吗?我应该传递什么服务器详细信息?我的是windows
安装
。给定的路径似乎是针对
linux
的?我在/
spark
/conf文件夹下看不到hive-site.xml文件。我也没有在我的
spark
安装
中看到/apachehive/conf文件夹。我的
spark
安装
是
spark
发布的
浏览 37
提问于2019-09-01
得票数 0
3
回答
安装
火花2.6.3
software-installation
当我试图运行
spark
2.6.3时,会出现下一个错误:Preparing JRE ... starter: 150: starter
浏览 0
提问于2012-05-22
得票数 3
3
回答
在Google Colab中使用pyspark
python
、
pyspark
、
google-colaboratory
这是我在使用了大量StackOverflow后的第一个问题,如果我给出的信息不准确或不完整,请纠正我 直到本周,我还在colab笔记本上
安装
了pyspark,这是我在互联网上找到的众多指南之一,但这周它开始弹出几个不同的错误wget -q https://downloads.apache.org/
spark
/
spark
-3.0.0-preview2/
spark
-3.0.0-preview2-bin-hadoop2.7.tgztar -xvf
spark
-3
浏览 1
提问于2020-08-09
得票数 9
1
回答
Spark
-submit在错误的目录中查找
linux
、
bash
、
apache-spark
、
pyspark
、
anaconda
我刚刚在全新的
Linux
Mint
安装
(所有最新版本)上
安装
了Anaconda、Apache
spark
、Pyspark、Scala。为了测试
安装
,我尝试在终端中运行
spark
-submit,但得到以下错误: print(_find_<
浏览 31
提问于2019-10-28
得票数 0
回答已采纳
2
回答
ModuleNotFoundError:没有名为“pyspark”的模块
python
、
apache-spark
、
pyspark
我最近在
Linux
上
安装
了pyspark,在导入pyspark时得到错误: ModuleNotFoundError: No module named 'pyspark' Pyspark在我的“pip列表”中 我在.bashrc中添加了以下几行代码: export
SPARK
_HOME=~/
Spark
/
spark
-3.0.1-bin-hadoop2.7export PYT
浏览 670
提问于2020-10-02
得票数 2
1
回答
Go命令未找到“使用Sudo时出错”
go
、
debugging
、
command
sudo go
安装
github.com/KathanP19 19/Gxss@latest sudo: go:命令未找到-~└─$ go $1⨯go版本go1.18.1
linux
/amd64 64/home/
spark
/.cargo/bin:/home/
spark
/
浏览 5
提问于2022-04-17
得票数 3
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
教程-Spark安装与环境配置
Python Spark安装及配置步骤
Windows安装Spark2.2.0&Hadoop2.7.5
Linux——安装MySql
Linux安装Mysql
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券