Mac 安装 ApacheFlink + Scala + SBT flink: https://ci.apache.org/projects/flink/flink-docs-release-1.8/tutorials..._2.11.tgz 测试是否安装成功 flink --version 输出: Version: 1.8.1, Commit ID: 7297bac 安装 scala scala 只有28M,直接安装也比较慢...,但是好歹包不大,不用等那么久 brew install scala@2.11 安装 SBT scala-sbt doc brew install sbt@1 也很慢: ==> Downloading...此时也会去下载 sbt,但是我们这回不用等 sbt 下载完成,直接停掉次命令。...sbt 至此顺利安装完成。
前提Spark集群已经搭建完毕,如果不知道怎么搭建,请参考这个链接: http://qindongliang.iteye.com/blog/2224797 注意提交作业,需要使用sbt打包成一个jar...,然后在主任务里面添加jar包的路径远程提交即可,无须到远程集群上执行测试,本次测试使用的是Spark的Standalone方式 sbt依赖如下: ?...demo2:使用Scala 在客户端造数据,测试Spark Sql: ?...Spark SQL 映射实体类的方式读取HDFS方式和字段,注意在Scala的Objcet最上面有个case 类定义,一定要放在 这里,不然会出问题: ?...demo3:使用Scala 远程读取HDFS文件,并映射成Spark表,以Spark Sql方式,读取top10: ?
安装 sbt 打开 terminal,检查 java 版本,安装 sbt: http://www.scala-sbt.org/release/docs/Installing-sbt-on-Mac.html...$ java -version $ brew install sbt $ sbt about Getting org.scala-sbt sbt 0.13.16 ---- 2....创建 scala project 选择 create new project: ? 选择 scala - sbt: ? 为项目命名,确认 JDK 为配置的版本: ? ---- 4....创建 scala class 新建 scala class 的方法: ? 命名: ?...同步 SBT and IntelliJ IDEA projects IntelliJ IDEA SBT 支持项目同步,当 scala 版本更新或者增加 library 时,项目可以自动更新。
(本人水平有限,希望得到大家的指正) 我们首先要做的就是需要安装sbt和scala(前提是得有java的环境,java配置的步骤几乎和这两个相同) 离线安装我们需要将提前下好的安装包下载,然后传入你的Ubuntu...和Sbt的离线安装 进入scala的官网下载压缩包 https://www.scala-lang.org/download/ sbt官网: https://www.scala-sbt.org/download...sudo mkdir /opt/scala 然后在执行解压指令: sbt_file和scala_file需要替换为你的压缩包名字 sudo tar -xzf sbt_file.tgz -C /opt.../sbt sudo tar -xzf scala_file.tgz -C /opt/scala 进入解压后的文件夹: 直到找到你的bin文件夹,然后记住该路径,scala和sbt一样的 cd /opt...=/your/path/to/scala/bin:$PATH 加入完成后按ctrl+x键,再按shift+y,按回车即可 使用指令让环境变量生效 source ~/.bashrc 这样我们的sbt和scala
1.yum install sbt 2.如果不行,则 curl https://bintray.com/sbt/rpm/rpm > bintray-sbt-rpm.repo sudo mv bintray-sbt-rpm.repo.../etc/yum.repos.d/ sudo yum install sbt sbt 二进制文件发布到 Bintray,而Bintray 方便地提供了RPM资源库。...3.手动安装,目前官网提供的是可以直接运行的地址:http://www.scala-sbt.org/download.html 下载后是个sbt目录,首先赋权限:chmod u+x sbt,再将sbt加入到...groups/public/ typesafe: http://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[module]/(scala...lock文件,这个是在~/.sbt目录下面的boot文件夹下,删除即可。
SBT是 Scala 的构建工具,全称是 Simple Build Tool, 类似 Maven 或 Gradle。...SBT 的野心很大,采用Scala编程语言本身编写配置文件,这使得它稍显另类,虽然增强了灵活性,但是对于初学者来说同时也增加了上手难度。 另外由于SBT默认从国外下载依赖,导致第一次构建非常缓慢。...Mac或Linux系统,则进入Bash执行如下命令: cd ~ mkdir .sbt cd .sbt vi repositories 然后创建 repositories 文件内容如下,并将文件拷贝到.../Linux 平台。...上通过 set 命令进行设置, set SBT_OPTS="-Dsbt.override.build.repos=true" 在 Mac/Linux 上使用 export 命令进行设置, export
对于每一个操作步骤,会分别针对Windows、Mac和Linux三个主流操作系统进行讲解, 最终帮助你快速构建一个可运行的Scala开发环境。...如果是Windows系统,则进入CMD执行如下命令: cd C:\Users\USER_NAME mkdir .sbt cd .sbt 如果是Mac或Linux系统,则进入Bash执行如下命令:... 仅适用于 Mac/Linux 平台。... 上通过 set 命令进行设置, set SBT_OPTS="-Dsbt.override.build.repos=true" 在 Mac/Linux 上使用 export 命令进行设置, export...检查当前项目的SBT构建版本是否为1.3.0, sbt:hello-scala> sbtVersion [info] 1.3.0 sbt:hello-scala> 2)确认全局仓库是否已经覆盖项目自身仓库
说道大数据和机器学习,就少不了Spark.本文主要介绍在Linux下搭建单机环境的Spark的步骤。 安装Java SE 1、下载JAVA SE linux版本。...2、下载jdk-8u131-linux-x64.tar.gz后,解压到自己指定目录。....tgz -C /opt/scala/sbt/ 3、配置sbt环境变量。...$ mkdir /opt/scala/sbt/ $ cd /opt/scala/sbt/ $ touch sbt 脚本内容如下,注意sbt-launch.jar的路径 SBT_OPTS="-Xms512M...至此,Linux下Spark单机环境已经成功搭建完毕!
在学习SCALA的过程中,我遇到了SBT(Simple Build Tool), SBT是SCALA 平台上标准的项目构建工具,当然你要用它来构建其他语言的项目也是可以的。...二.部署 1.下载并放到/usr/local wget https://piccolo.link/sbt-1.1.5.tgz``tar -xf sbt-1.1.5.tgz``mv sbt /usr/local...2.进入目录创建启动脚本 cd /usr/local/sbt vim sbt #!...$SBT_OPTS -jar /usr/local/sbt/bin/sbt-launch.jar "$@" 3.配置环境变量 vim /etc/profile export PATH=/usr/local.../sbt/:$PATH source /etc/profile 三.测试 第一次执行时,会下载一些文件包,然后才能正常使用,要确保联网了 sbt sbt-version
/java/jdk/8u112-b15/jdk-8u112-linux-x64.tar.gz?.../sbt/0.13.13/sbt-0.13.13.tgz # tar -zxvf sbt-0.13.13.tgz -C /opt/scala/ # cd /opt/scala/ # mv sbt-launcher-packaging...建立启动sbt的脚本 # mkdir /opt/scala/sbt/ # cd /opt/scala/sbt/ # touch sbt # 脚本内容如下,注意sbt-launch.jar的路径...-jar /opt/scala/sbt/bin/sbt-launch.jar "$@" 修改sbt文件权限 # chmod u+x sbt 测试sbt # sbt sbt-version Getting...org.scala-sbt sbt 0.13.13 ...
sbt类似与maven, gradle的项目管理工具,主要用在scala,也可以用在java项目,本文介绍一下常用的使用命令和语法 安装 mac brew install sbt redhat¢os...# remove old Bintray repo file sudo rm -f /etc/yum.repos.d/bintray-rpm.repo curl -L https://www.scala-sbt.org...session save 保存当前会话信息到build.sbt test执行测试, ~testQuick自动检测并执行测试 projects列出所有项目 build.sbt语法 # 设置scala...后terminal窗口会停在Getting org.scala-sbt sbt上,也不知道发生了什么。...可以用如下命令,查看程序进展tail -f $HOME/.sbt/boot/update.log 参考 sbt by example stuck at "Getting org.scala-sbt sbt
.msi文件后点击下一步就可以了 Linux安装Scala编译器 tar.gz的版本 然后解压Scala到指定目录 tar -zxvf scala-2.13.1.tar.gz -C /usr/java...:/usr/java/scala-2.13.1/bin 使用ScalaREPL Scala提供了REPL 交互式解释环境 在我们安装好scala 可以直接在命令行输入scala进入 三、通过Sbt安装...2、使用IDEA SBT开发Scala 上面我们通过Idea安装并运行了Scala的程序 我们已经可以在IDEA中开发Scala了!...: org.scala-sbt#sbt;0.13.8: not found 1.出现场景:在idea中使用sbt构建工程时,使用默认的sbt版本为0.13.8,而我本地安装的sbt版本是0.13.7,所以在仓库中找不到对应的...构建Scala 首先根据不同的系统安装Sbt Windows下载地址为https://www.scala-sbt.org/1.x/docs/Installing-sbt-on-Windows.html
2.2 基于 SBT 身份表达的应用场景 把 SBT 放到具体的应用场景,有助于我们更好地理解 SBT 的潜力。...3 - SBT 的技术实现 实现 SBT 需要新的通证标准。...考虑到未来一定会出现匀质化的数量型 SBT(如:信用分) 与非匀质化的标识型 SBT(如:勋章),使用 ERC-3525 一个通证标准,恰好可以表达出两种不同性质的 SBT。...因此,ERC-3525 虽然并非单纯为SBT而设计的标准,却天然SBT实现方面的最佳参考方案。...从 SBT 概念的来龙去脉来看,Web3 的新局面将不仅仅是 SBT 论文开宗明义所讲的去中心化社会,而将是基于 SBT 的状态互联网概念研究深入所形成的新的 Web3 世界。
SBT 一直以来都是 Scala 开发者不可言说的痛,最主要的原因就是官方文档维护质量较差,没有经过系统的、循序渐进式的整理,导致初学者入门门槛较高。...虽然也有其它构建工具可以选择(例如 Mill), 但是在短时间内基本上不可能撼动 SBT 的地位,毕竟它是 Scala 名正言顺的亲儿子。...当然还有另外一个原因可能导致其它构建工具永远没有机会,Scala 语言以其卓越的编译器著称,编译器支持的丰富特性需要和构建工具进行无缝对接,例如 Scala 的 Macro 需要和构建工具的增量编译密切配合...Windows 命令行上执行: set JAVA_OPTS="-Xmx1g -Xmx1g" 配置文件 在项目根目录下创建.jvmopts文件,内容如下: -Xmx1g -Xmx1g 命令行参数 只有用于类Linux...] Loading settings from gpg.sbt,idea.sbt ...
仅仅有一些简单的说明,对于不熟悉scala play开发的人来说。非常蛋疼。以下记录具体的安装过程。...先下载安装scala的构建工具sbt,最新版本号能够到官网查看: http://www.scala-sbt.org/0.13/tutorial/Installing-sbt-on-Linux.html...wget https://dl.bintray.com/sbt/debian/sbt-0.13.6.deb dpkg -i sbt-0.13.6.deb sudo dpkg -i sbt-0.13.6...export SBT_OPTS="$SBT_OPTS -Dhttp.proxyHost=myproxy-Dhttp.proxyPort=myport" 解压 unzip kafka-web-console...play.api.db.evolutions.EvolutionsPlugin$$anonfun$onStart$1$$anonfun$apply$1.apply$mcV$sp(Evolutions.scala
5 Ant1.9.5 构建编译打包 6 Spark1.4.0 主角 7 Intillj IDEA 开发IDE 8 SBT scala-spark专属打包构建工具 9 Centos6或Centos7 集群运行的...Linux系统 这里Hadoop已经安装完毕,并且能正常工作,Spark可以运行在Standalone模式上,所以假如你没有Hadoop环境,当然也是可以使用的。...(1)安装使用maven 下载地址 https://maven.apache.org/ (2)安装使用sbt 下载地址 http://www.scala-sbt.org/ 这里推荐用...sbt,专门针对scala项目的进行构建打包的 好吧,也许你需要一个demo来帮助你理解?...在IDEA中,创建一个Scala的SBT项目: 然后在build.sbt文件中,加入如下依赖: Java代码 name := "spark2117" version := "1.0"
还有maven,sbt等。...IntelliJ IDEA的安装,这时候需要考虑是在Linux上安装,还是在window上安装。Linux安装还是比较方便的,而且遇到问题资料也比较多一些。比如使用sbt,网速慢一些。...Linux上就比较容易解决。相信也有很多人习惯window,希望在window上安装IntelliJ IDEA....如下图并没有Scala选项,所以下面我们需要添加Scala插件 ? IntelliJ IDEA插件安装 这里我们安装Scala和sbt插件。...这时候我们就看到了Scala选项。同样安装sbt ? 这时候我们看到了Scala选项 ? 2.本地安装 Scala通过库安装经常失败。我们通过官网下载,然后本地安装。
安装 首先需要安装好Java和Scala,然后下载Spark安装,确保PATH 和JAVA_HOME 已经设置,然后需要使用Scala的SBT 构建Spark如下: $ sbt/sbt assembly.../bin/spark-shell scala> val textFile = sc.textFile("README.md") // 创建一个指向 README.md 引用 scala> textFile.count...// 对这个文件内容行数进行计数 scala> textFile.first // 打印出第一行 Apache访问日志分析器 首先我们需要使用Scala编写一个对Apache访问日志的分析器,所幸已经有人编写完成...使用SBT进行编译打包: sbt compile sbt test sbt package 打包名称假设为AlsApacheLogParser.jar。...然后在Linux命令行启动Spark: // this works $ MASTER=local[4] SPARK_CLASSPATH=AlsApacheLogParser.jar .
sbt&play没有main函数,每次使用sbt命令启动,但是就无法使用IDEA调试,本文介绍使用远程调试的方式实现 远程调试 sbt启动调试端口9999 sbt -jvm-debug 9999 run...创建远程调试 其他 sbt添加javaoption 使用-J前缀,会把参数传递给JVM sbt -J-javaagent:skywalking-agent.jar -jvm-debug 9999...run 参考 Run project with java options via sbt Debugging SBT project with Play in IntelliJ IDEA
可以看到一共有 17 行内容包含 Spark,这与通过 Linux 命令 cat ....使用 Scala 编写的程序需要使用 sbt 进行编译打包,相应的,Java 程序使用 Maven 编译打包,而 Python 程序通过 spark-submit 直接提交。...查看 Spark 和 Scala 的版本信息 安装 sbt Spark 中没有自带 sbt,需要手动安装 sbt,我们选择安装在 /usr/local/sbt 中: sudo mkdir /usr.../sbt Shell 命令 最后检验 sbt 是否可用(首次运行会处于 “Getting org.scala-sbt sbt 0.13.9 …” 的下载状态,请耐心等待。...点击查看:解决 sbt 无法下载依赖包的问题 使用 sbt 打包 Scala 程序 为保证 sbt 能正常运行,先执行如下命令检查整个应用程序的文件结构: cd ~/sparkappfind .
领取专属 10元无门槛券
手把手带您无忧上云