开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

我应该在Spark 2.3.0中使用Scala 2.11.0还是2.11.8？

在Spark 2.3.0中，建议使用Scala 2.11.8。

Scala是一种多范式编程语言，它结合了面向对象编程和函数式编程的特性。Spark是一个开源的大数据处理框架，它提供了高效的数据处理和分析能力。在Spark中，Scala是最常用的编程语言之一。

在选择Scala版本时，通常建议使用与Spark版本兼容的Scala版本。Spark 2.3.0是一个比较新的版本，它与Scala 2.11.8兼容。这意味着在Spark 2.3.0中使用Scala 2.11.8可以获得最佳的兼容性和性能。

Scala 2.11.8具有以下优势：

兼容性：Scala 2.11.8与Spark 2.3.0兼容，可以无缝地集成和使用。
性能：Scala 2.11.8在性能方面进行了优化，可以提供更好的执行效率和响应速度。
社区支持：Scala 2.11.8是一个成熟稳定的版本，拥有庞大的开发者社区和丰富的资源。

在实际应用中，Spark和Scala的组合可以用于大规模数据处理、机器学习、数据挖掘等领域。例如，可以使用Spark和Scala进行数据清洗、数据转换、数据分析和可视化等任务。

腾讯云提供了一系列与Spark相关的产品和服务，例如腾讯云的弹性MapReduce（EMR）服务。EMR是一种大数据处理和分析服务，可以轻松地在云端部署和管理Spark集群。您可以通过访问腾讯云EMR产品介绍页面（https://cloud.tencent.com/product/emr）了解更多信息。

总结起来，建议在Spark 2.3.0中使用Scala 2.11.8，以获得最佳的兼容性和性能。腾讯云的弹性MapReduce（EMR）服务是一个推荐的云计算产品，可用于部署和管理Spark集群。

相关搜索:Akka:我应该在参与者中使用parallelStream还是executors Cookie还是Session？我应该在我的项目中使用哪一个？tdd - 我应该在这里模拟还是使用真正的实现当使用Xamarin MessageCenter时，我应该在base.OnDisappearing()之前还是之后取消订阅；当使用容器时，我应该在容器内还是在容器外运行git？当我使用带有spark/scala的窗口时，我不能改变分区吗？我应该使用 Scala、Java 还是 Node.js？我应该在<Link>中使用onCLick={}函数还是使用它周围的元素我应该在Airflow中使用Python原生多线程还是多任务？我应该在CouchDB中使用pull还是push复制？

相关搜索:

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

0778-7.0.3-如何在CDP中实现你的第一个Spark例子

>2.11.8 2.4.0 3.1.1 scala-xml 2.11.0-M4 org.apache.spark spark-core_2.11</...package com import org.apache.spark....将sparkdemo-1.0-SNAPSHOT.jar上传至服务器运行spark作业通过spark-submit将作业运行到YARN spark-submit --master yarn --deploy-mode

7652 0

Spark安装

我的安装版本是spark-1.6.1-bin-hadoop2.6.tgz 这个版本必须要求jdk1.7或者1.7以上安装spark必须要scala-2.11 版本支撑我安装的是scala...-2.11.8.tgz tg@master:/software$ tar -zxvf scala-2.11.8.tgz tg@master:/software/scala-2.11.8...启动scala tg@master:/$ scala Welcome to Scala 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0...hadoop-2.6.4 scala-2.11.8.tgz hadoop-2.6.4.tar.gz spark-1.6.1-bin-hadoop2.6.../conf$ sudo gedit spark-env.sh 加入 export SCALA_HOME=/software/scala-2.11.8 export

8247 0

Spark集群 + Akka + Kafka + Scala 开发(1) : 配置开发环境

/opt/spark Akka 2.4.10 /opt/akka Kafka 0.8.2.1 /opt/kafka Scala 2.11.8 /opt/scala sbt 0.13.12 开发环境.../download/ 下载scala-2.11.8.tgz 解压到目录/opt下，把目录名改成/opt/scala。...wget http://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz tar --directory /opt -xzf scala-2.11.8...可以使用yum安装。...里，这样spark应用就可以使用AKKA的类库。

1.2K6 0

Spark集群从搭建到任务提交-第N次记录

今天本想使用一下尘封已久的VMware虚拟机搭的集群，结果发现 Spark 有各种问题，应该是之前潦草搭集群时挖下的坑（前几天也用过，但并不是cluster mode，我现在才知道..）...各版本如下：配置项版本备注 Hadoop 2.7.3 Java 1.8.0 Scala 2.11.8 待安装 Spark 2.2.0 待安装主节点安装Scala环境下载、解压、改名、放到自定义路径...$ wget http://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz $ tar -zxvf scala-2.11.8.tgz $...mv scala-2.11.8.tgz scala 更新 /etc/profile $ sudo vi /etc/profile //在文件的最后插入 export SCALA_HOME...怀疑是版本的问题了，集群是 scala-2.11.8 + Spark-2.2.0 解决：这里修改 sbt 中 spark 的版本，原来的是 2.1.0 我擦！

2.1K2 0

《Spark的使用》--- 大数据系列

It provides high-level APIs in Java, Scala, Python and R, and an optimized engine that supports general...如果您还是一脸懵逼的话，可以参考下面的链接介绍的spark原理 https://blog.csdn.net/swing2008/article/details/60869183 三、Spark的安装 1...maven3.3.9以上和jdk1.8以上版本指定maven的本地jar库 /root/data/maven/repo 3、安装Scala2.11.8...配置Scala到环境变量中 wget https://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz 4、解压后，进入spark.../dev/change-scala-version.sh 2.11 .

8401 0

CentOS Linux中搭建Hadoop和Spark集群详解

3.安装的Hadoop版本是2.6.5，Spark版本是2.2.0，Scala的版本是2.11.8。　　如果安装的Spark要同Hadoop搭配工作，则需注意他们之间的版本依赖关系。...——这是我初学Spark时一直迷糊的一个点，希望这里说明清楚了。 3.1安装Scala 关于安装Spark之前要不要安装scala？其实我也不确定。...对于我来说，首先因为安装scala也没多难，其次后期我还要用scala来开发Spark程序，所以也就安装了。不管怎样，安装步骤如下。.../profile 加入如下内容 export SCALA_HOME=/usr/local/scala-2.11.8 export PATH=$PATH:$SCALA_HOME/bin 如下： 3.1.4...3）至于SPARK_MASTER_HOST和SPARK_MASTER_PORT，感觉没有必要显式地配置，因为人家使用默认值也是没有问题的，但是我还是配上了，不配置的话会不会有问题我就不知道了。

1.3K2 0

我攻克的技术难题 - Spark01：初见Spark，又是Hello World？

Hello World在大数据里第一次遇到Hello World，还是在经典的MapReduce WordCount，以此讨论如何实现map和reduce的过程。...我测试使用local模式，生产是yarn，所以Spark就围绕着这两个来写。先说说在IDE中如何开发local的Spark程序。Spark开发语言一共有三种：Java、python、scala。...我使用scala来完成Spark开发，原因:定理变量无需指定类型，使用val或varlambada操作，更符合流式计算的感觉（我开发流式计算比较多）调用无参方法可以不写括号趁机多掌握一门语言，而且Spark...为了和生产保持一致，Spark版本我用的是2.3.2，scala版本2.11.8。至于spark3的新特性什么的，用到的时候再讲也不迟。先创建一个scala的maven程序。...然后删除项目自带的scala，将自己需要的scala版本添加到项目中。这样项目就有了2.11.8的scala编译、运行环境了。

1951 0

Ubuntu 18.04下搭建单机Hadoop和Spark集群环境

本文还是从安装Java JDK开始，逐步完成Spark的单机安装。...sudo tar zxf scala-2.11.8.tgz -C /opt/scala [sudo] linuxidc 的密码： linuxidc@linuxidc:~/下载$ cd /opt/scala...linuxidc@linuxidc:/opt/scala$ ls scala-2.11.8 配置环境变量： linuxidc@linuxidc:/opt/scala$ sudo nano /etc/...profile 添加： export SCALA_HOME=/opt/scala/scala-2.11.8 source /etc/profile 4、安装spark 前往spark官网下载spark...=/opt/spark/spark-2.4.4-bin-hadoop2.7export SCALA_HOME=/opt/scala/scala-2.11.8export SPARK_MASTER_IP=

1.2K4 0

搭建分布式Spark计算平台

tar -zxf scala-2.11.8.tgz mv scala-2.11.8 /opt/soft #配置SCALA环境设置 emacs /etc/profile export SCALA_HOME...=/opt/soft/scala-2.11.8 export PATH=$SCALA_HOME/bin:$PATH #使其生效 source /etc/profile #验证scala版本 scala...:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export SCALA_HOME=/opt/soft/scala-2.11.8 2.在hadoop-env.sh...:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export SCALA_HOME=/opt/soft/scala-2.11.8 3.配置slaves...:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export SCALA_HOME=/opt/soft/scala-2.11.8 export HADOOP_HOME

2.1K6 0

使用SBT正确构建IndexedRDD环境

由于其并没有合并到 Spark 的主项目分支，所以在使用时需要引入特别的对其的支持。...IndexedRDD时）出错的问题历经解决过程：解决措施一明确 scala 和 spark 版本的对照关系，版本确定为： scala-2.11.8 spark-core-2.1.0（graphx同...import edu.berkeley.cs.amplab.spark.indexedrdd.IndexedRDD._ 同时还要注意，之前改为 0.4.0 版本是对的，如果换做 0.3 ，此时还是会编译出错...结论综上，IndexedRDD 环境（示例运行正常）应该如下： scala-2.11.8 spark-core-2.1.0 graphx-2.1.0（非必须） spark-indexedrdd-0.4.0...还有这个错误 unresolved dependency: com.ankurdave#part_2.10;0.1，之前是使用 Sbt 和 Maven 混用，然后用 Maven 添加的 spark-indexedrdd

1K3 0

Scala入门与进阶（一）- 初始Scala

1.2 学习Scala的意义钱多做东西：Spark，Kafka，Flink 生态系统代码优雅开发速度快融合到生态圈 1.3 Scala安装 1. 安装Java8 2....下载Scala-2.11.8 https://www.scala-lang.org/download/2.11.8.html image.png 3....解压 tar -zxcf scala-2.11.8.tar.gz 4....验证 ➜ scala-2.11.8 scala Welcome to Scala 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_171)....scala> 1.3 Scala使用入门 scala> 1+3 res1: Int = 4 // 自动识别类型 scala> res1 * 3 //自动给返回结果赋值给变量 res2: Int = 12

5132 0

Windows32位或64位下载安装配置Scala

Windows 32位或64位下载安装配置Scala： 1）马克-to-win @ 马克java社区：下载地址：http://www.scala-lang.org/download/，看我的spark...那节，要求scala是2.11以上，我就下载：scala-2.11.8.msi。...2）安装：双击scala-2.11.8.msi安装包，启动安装程序，全部默认安装。...3）配置： a）在系统变量中新增SCALA_HOME变量： b）编辑Path变量，在后面追加如下配置： ;%SCALA_HOME%\bin; 4）然后检验配置是否成功：...a）运行cmd，输入 scala -version 可以输出版本号： b）测试一个简单的Scala语句，输入： scala -e "println(\"Hello mark to win!

9270 0

大数据技术之_16_Scala学习_01_Scala 语言概述

1、Spark--新一代内存级大数据计算框架，是大数据的重要内容。 2、Spark 就是使用 Scala 编写的。因此为了更好的学习 Spark, 需要掌握 Scala 这门语言。...4、联邦理工学院洛桑（EPFL）的 Martin Odersky(马丁·奥德斯基) 于 2001 年开始设计 Scala(斯卡拉)。 5、Spark 的兴起，带动 Scala 语言的发展！...1、查看源码, 选择要查看的方法或者类, 输入 Ctrl + B 或者双击当我们没关联源码时，会看到如下图：我么可以点击 Download… 自动下载源码，也可以手动关联源码。...2、手动关联源码源码包下载地址：https://www.scala-lang.org/download/2.11.8.html，修改我们下载的源码包 scala-2.11.8.tar.gz 包名为 scala-sources...-2.11.8.tar.gz，为了方便识别步骤一：将我们的源码包拷贝至 scala/lib 文件夹下（scala-sources-2.11.8.tar.gz），这样为了方便管理，然后进行解压（因为 IDEA

9343 0

idea中使用scala运行spark出现Exception in thread main java.lang.NoClassDefFoundError: scalacollectionGen

idea中使用scala运行spark出现： Exception in thread "main" java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce...$class 查看build.sbt: name := "ScalaSBT" version := "1.0" scalaVersion := "2.11.8" libraryDependencies...+= "org.apache.spark" % "spark-core_2.11" % "1.6.1" 你需要确保 spark所使用的scala版本与你系统scala的版本一致你也可以这样： libraryDependencies...配置文件中查看确定你的使用版本 2.查看你的spark的集群,spark使用的scala的版本　　a....然后你就可以修改你使用的scala版本号了问题解决

4.1K4 0

如何阅读源码，这一篇应该够了

很长一段时间，我也有这样的疑问，认为那些有事没事扯源码的人，就是在装，只是为了提高他们的逼格而已。那为什么还要读源码呢？其实从源码中，可以学到很多东西。...其源码质量也是非常优秀，它使用 Java 来开发底层的基础设施和中间件，使用 Scala 来开发Spark 内核，代码量很少并且非常精简。阅读起来会让你惊艳。...下载完成后解压到D盘根目录下 2、编译源码前的准备工作编译spark 2.1.0 源码要求 jdk1.7，maven 3.3.9+，scala 2.11.8 版本务必先安装好这三个组件，配置好环境变量...，这里不重复说明安装方式安装 git bash https://gitforwindows.org/ 从这个地址下载一路安装好即可下载编译源码必须的工具zinc（0.3.9）版本和scala（2.11.8...使用Utils.getSystemProperties 获取系统属性，并使用scala守卫过滤出其中以 "spark."

5522 0

使用ES-Hadoop插件结合spark向es插入数据

上篇文章简单介绍了ES-Hadoop插件的功能和使用场景，本篇就来看下如何使用ES-Hadoop里面的ES-Spark插件，来完成使用spark想es里面大批量插入数据。...那么就可以单独引入es-spark的包，而不需要使用fat包因为它会附加引入其他的包依赖，如果使用Hive那就单独引入es-hive的包即可。...en/elasticsearch/hadoop/current/install.html 下面看下如何使用es-spark读写es的数据： spark版本：2.1.0 Scala版本：2.11.8 es...从上面的代码量我们可以看到非常少，这是由于es-spark底层已经帮我们封装好了相关的代码，所以用起来非常简单，围绕的核心还是rdd，无论是写入es，还是从es读取数据都是通过spark的rdd做中转的...上面的代码使用spark的core来完成的，此外我门还可以使用spark sql或者spark streaming来与es对接，这个以后用到的时候再总结分享，最后使用spark操作es的时候我门还可以有非常多的配置参数设置

2.2K5 0

spark-shell --master yarn-client(异常已经解决)

org.apache.spark.repl.Main$.doMain(Main.scala:68) at org.apache.spark.repl.Main$.main(Main.scala:...version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_112) Type in expressions to have them...version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_112) Type in expressions to have them...但是还是没有解决我的问题。 2017.4.10 这个简单的问题，我竟然耗费了2天。....__/\_,_/_/ /_/\_\ version 2.1.0 /_/ Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server

1.2K2 0

如何使用scala+spark读写hbase？

最近工作有点忙，所以文章更新频率低了点，希望大家可以谅解，好了，言归正传，下面进入今天的主题：如何使用scala+spark读写Hbase 软件版本如下： scala2.11.8 spark2.1.0...关于批量操作Hbase，一般我们都会用MapReduce来操作，这样可以大大加快处理效率，原来也写过MR操作Hbase，过程比较繁琐，最近一直在用scala做spark的相关开发，所以就直接使用scala...+spark来搞定这件事了，当然底层用的还是Hbase的TableOutputFormat和TableOutputFormat这个和MR是一样的，在spark里面把从hbase里面读取的数据集转成rdd...整个流程如下：（1）全量读取hbase表的数据（2）做一系列的ETL （3）把全量数据再写回hbase 核心代码如下：从上面的代码可以看出来，使用spark+scala操作hbase是非常简单的。.../spark-hbase-connector https://github.com/hortonworks-spark/shc

1.6K7 0

linux环境不使用hadoop安装单机版spark的方法

关于spark的详细介绍, 网上一大堆，搜搜便是，下面，我们来说单机版的spark的安装和简要使用。 0. 安装jdk, 由于我的机器上之前已经有了jdk, 所以这一步我可以省掉。...你并不一定需要安装hadoop, 只需要选择特定的spark版本即可。你并不需要下载scala, 因为spark会默认带上scala shell....2. spark中有python和scala版本的, 下面，我来用scala版本的shell, 如下： ubuntu@VM-0-15-ubuntu:~/taoge/spark_calc/spark-2.2.1....__/\_,_/_/ /_/\_\ version 2.2.1 /_/ Using Scala version 2.11.8 (OpenJDK 64-Bit Server VM, Java 1.8.0...() res0: Long = 103 scala> lines.first() res1: String = # Apache Spark scala> :quit ubuntu@VM-0-15-ubuntu

1.6K3 1

Spark Streaming中使用HikariCP数据库连接池与MySQL交互

在使用Spark Streaming的应用程序时，我们可能需要将计算结果保存到MySQL中，为了高效的与MySQL进行交互，这里我们使用HikariCP这个高效的数据库连接池。...添加依赖 Gradle Gradle添加HikariCP的依赖，build.gradle文件内容如下所示 plugins { id 'idea' id 'java' id 'scala...:spark-core_2.11:2.4.0' compile 'org.apache.spark:spark-streaming_2.11:2.4.0' compile 'org.apache.spark...:3.1.0' compileOnly 'org.scala-lang:scala-compiler:2.11.8' } Maven 使用的构建工具是Maven的话，添加如下依赖到pom.xml...这里我是统计单词的频率，并插入或更新词频统计的结果到MySQL中。

4.8K20 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭