腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
在哪些类型的用例中,MapReduce优于
Spark
?
hadoop
、
mapreduce
、
apache-spark
我刚刚参加了一个关于
Spark
的
入门
课程,我问演讲者
Spark
是否可以完全取代MapReduce,他们告诉我
Spark
可以在任何用例中取代MapReduce,但在一些特殊的用例中,MapReduce实际上比
Spark
更快。MapReduce可以比
Spark
更快地解决用例的特征是什么?
浏览 0
提问于2014-09-10
得票数 2
1
回答
无法连接到
spark
-sql cli
apache-spark
、
command-line-interface
、
apache-spark-sql
我使用的是运行
Spark
1.6.0的CDH 5.5.7快速
入门
VM。我正在尝试连接到
spark
-sql cli,但失败了。根据这个,通过发出
spark
-sql命令,我应该能够输入cli,但是我得到了下面的错误。[cloudera@quickstart ~]$
spark
-sql我也尝试了下面的方法,得到了同样的错误-bash
浏览 17
提问于2016-07-27
得票数 2
1
回答
需要
Spark
- -Oozie -1.5.2.-hadoop2.7.jar用于HDP 2.3.2上的
Spark
组装工作流
apache-spark
、
oozie
、
hortonworks-data-platform
、
oozie-coordinator
、
hortonworks-sandbox
我正在尝试在oozie 4.2.0 (HDP 2.3.x)上安排
spark
1.5.2作业。
Spark
1.5.2已经安装在外部,我没有使用hortonworks提供的默认
spark
版本。-
spark
-assembly-1.5.2.2.3.4.0-3485-hadoop2.7.1.2.3.4.0-3485.jar如果你能帮助我找到/下载上面的jars,这将是一个很好的
浏览 3
提问于2016-08-04
得票数 1
2
回答
spark
还是
spark
with mesos最容易上手?
apache-spark
如果我想要一个简单的设置,让我快速
入门
: apache-
spark
和mesos的组合是最简单的吗?或者只使用apache-
spark
会更好,因为……即mesos会增加过程的复杂性,或者mesos做了太多单独处理
spark
难以处理的事情,等等。我想要的是能够提交作业并轻松管理集群和作业,目前没有什么花哨的,是
spark
或
spark
/mesos或其他更好的东西……
浏览 3
提问于2015-06-10
得票数 0
1
回答
Spark
/Java应用程序通过
Spark
操作符执行的Dockerfile
java
、
docker
、
apache-spark
、
google-spark-operator
-操作程序.Sample :kind: SparkApplication name: my-
spark
-appnamespace: default type: Java image: docker/repo/my-
spark
-app-image mainApplicationFile: local:///opt/app/
浏览 3
提问于2021-06-07
得票数 1
1
回答
Delta格式的火花数据写入
pyspark
、
delta-lake
Spark
版本: 3.2.1 Delta版本: 1.2.1 (也尝试了2.0版本)from delta import * .config("
spark
.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension") \ .config
浏览 4
提问于2022-06-29
得票数 2
3
回答
从Kafka中读取并写入parquet中的hdfs
hadoop
、
apache-spark
、
apache-kafka
、
hdfs
、
parquet
我是BigData生态系统的新手,也算是
入门
了。我的问题的第二部分是以parquet格式写入hdfs。一旦我读了Kafka,我想我会有一个rdd。
浏览 1
提问于2017-08-23
得票数 12
回答已采纳
3
回答
运行bin/pyspark时出现此程序错误,您需要在运行此程序之前构建
Spark
apache-spark
、
apache-spark-sql
、
pyspark
、
spark-streaming
、
spark-view-engine
我要开始使用
Spark
了。我是从星火官网下载的,我正在尝试从这个快速
入门
。soundarya@soundarya:~/Downloads/
spark
-1.5.0/bin$ sudo ./pysparkls: cannot access /home
浏览 6
提问于2015-11-09
得票数 5
1
回答
Spark
master Web Ui在Cloudera Quick start Vmware中显示
Spark
worker信息0
apache-spark
、
spark-streaming
、
apache-spark-sql
export
SPARK
_LAUNCH_WITH_SCALA=0export
SPARK
_LIBRARY_PATH=${
SPARK
_HOME}/lib export
SPARK<
浏览 0
提问于2015-05-22
得票数 1
1
回答
可以在Google Container Engine中使用Mesos吗?
mesos
、
kubernetes
、
google-kubernetes-engine
我想在Mesos上使用Google Container引擎运行
Spark
。有可能有这样的配置吗?如果是这样,我在哪里可以找到
入门
的信息?
浏览 1
提问于2015-08-03
得票数 0
1
回答
使用Sparklyr连接到Cassandra数据
r
、
spark-cassandra-connector
、
rstudio-server
、
sparklyr
安装了本地版本的
Spark
,运行了几个东西,挺开心的。现在我正在尝试使用RStudio服务器和独立版本的
Spark
从集群中读取我的实际数据。数据在Cassandra中,我不知道如何连接到它。有谁能告诉我如何连接和读取这些数据的好
入门
吗?
浏览 0
提问于2017-09-15
得票数 0
1
回答
Spark
Streaming与Real Streaming计算系统的比较
distributed-computing
、
apache-spark
、
apache-storm
有人说
spark
streaming,即使它可以以微批的形式处理流,它仍然不是一个像storm那样的流计算系统。那么,这种微批量计算思想的限制因素是什么?是什么让它不如一个真正的计算系统?谢谢!
浏览 1
提问于2014-09-18
得票数 5
1
回答
正在等待/home/cloudera/.sbt/boot/sbt.boot.lock上的锁可用
apache-spark
、
sbt
我正在尝试使用sbt运行
spark
应用程序。这里有一个使用sbt 设置一个简单的
spark
项目的详细指南,我将按原样操作。在创建了一个
spark
程序并添加了依赖项之后,当我尝试创建sbt package时,我得到了下面的消息,但从那里什么也没有发生。我在CDH 5.7.0版本的快速
入门
VM中运行我的
spark
应用程序。我不确定我哪里错了。我已经搜索了相关的问题,但他们不是火花。有人能提供一些关于这个问题的信息吗?
浏览 66
提问于2016-07-22
得票数 0
1
回答
在
Spark
中使用具有更新值的循环中的广播变量
apache-spark
、
broadcast
我在如下所示的循环中使用了一个广播变量(为了简短起见,我使用了一种伪代码,而不是Java中的确切语法):JavaRDD<myType> rdd = rawRdd.map(f(brdList.value())); brdList.unpersist(); while (itr != 0){ Broad
浏览 1
提问于2018-03-26
得票数 1
1
回答
等待POST请求并从Java服务器获取发布的内容
java
、
post
、
get
、
java-http-client
我有一个服务器,我想让两台计算机通过它通信--一台发送POST请求,另一台获取发布的内容,发布结果,第一台获取发布的内容。我知道如何发出GET和POST请求,但是如何等待POST请求发生并获得发布的内容呢?
浏览 27
提问于2020-10-10
得票数 0
4
回答
如何在单机环境下运行Apache
spark
Java程序
apache-spark
我已经为
spark
写了一个java程序,但是我不能从命令行运行它。hadoopnod@hadoopnod:~/
spark
-1.2.1/bin$ .: org.apache.
spark
.examples.SimpleApp at org.apache.
spark</em
浏览 0
提问于2015-02-19
得票数 2
3
回答
在
Spark
RDDs中,`map`和`reduce`方法是如何工作的?
scala
、
apache-spark
、
closures
以下代码来自Apache
Spark
的快速
入门
指南。有人能给我解释一下"line“变量是什么吗?它来自哪里?
浏览 0
提问于2015-09-11
得票数 20
回答已采纳
1
回答
启动JVM REST服务,我应该使用什么堆栈?
java
、
architecture
、
restful-architecture
如果从头开始,只有JVM和现有MySQL数据库的中等复杂度的需求,目标是只做REST,不做其他事情,那么我应该使用的组件的好例子是什么?
浏览 6
提问于2016-05-11
得票数 1
1
回答
问:在
spark
-submit之后,找不到记录器(org.apache.
spark
.deploy.SparkSubmit$$anon$2)的附加器
java
、
apache-spark
、
log4j
、
spark-submit
使用Apache
Spark
一步一步快速
入门
,但最终显示此警告消息package firstmaven; import org.apache.
spark
.sql.Datasetpublic class App public static void main
浏览 0
提问于2020-05-25
得票数 0
2
回答
submit类未找到异常
scala
、
apache-spark
我试图使用这个快速
入门
教程使用
spark
命令运行这个简单的
spark
应用程序。。当我尝试使用
spark
1.4.0-bin-hadoop2.6\bin>Sparkapp“SimpleApp”--主local4 C:/.$.org$apache$
spark
$deploy$SparkSub at org.apache.
spark
.deploy.SparkSubmit:192) at org
浏览 0
提问于2015-06-17
得票数 5
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
大数据Spark框架:Spark生态圈入门
Spark快速入门-2-Spark的编程模型
Spark入门-常用函数汇总
Spark Structured Streaming 入门学习:集成Kafka
Spark MLlib基础入门_LS-Spark MLlib 机器学习算法与源码解析
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券