Mac 安装 ApacheFlink + Scala + SBT flink: https://ci.apache.org/projects/flink/flink-docs-release-1.8/tutorials..._2.11.tgz 测试是否安装成功 flink --version 输出： Version: 1.8.1, Commit ID: 7297bac 安装 scala scala 只有28M，直接安装也比较慢...，但是好歹包不大，不用等那么久 brew install scala@2.11 安装 SBT scala-sbt doc brew install sbt@1 也很慢： ==> Downloading...此时也会去下载 sbt，但是我们这回不用等 sbt 下载完成，直接停掉次命令。...sbt 至此顺利安装完成。
前提Spark集群已经搭建完毕,如果不知道怎么搭建，请参考这个链接： http://qindongliang.iteye.com/blog/2224797 注意提交作业，需要使用sbt打包成一个jar...，然后在主任务里面添加jar包的路径远程提交即可，无须到远程集群上执行测试，本次测试使用的是Spark的Standalone方式 sbt依赖如下： ?...demo2：使用Scala 在客户端造数据，测试Spark Sql： ?...Spark SQL 映射实体类的方式读取HDFS方式和字段，注意在Scala的Objcet最上面有个case 类定义，一定要放在 这里，不然会出问题： ?...demo3：使用Scala 远程读取HDFS文件，并映射成Spark表，以Spark Sql方式，读取top10： ?
安装 sbt 打开 terminal，检查 java 版本，安装 sbt： http://www.scala-sbt.org/release/docs/Installing-sbt-on-Mac.html...$ java -version $ brew install sbt $ sbt about Getting org.scala-sbt sbt 0.13.16 ---- 2....创建 scala project 选择 create new project： ? 选择 scala － sbt： ? 为项目命名，确认 JDK 为配置的版本： ? ---- 4....创建 scala class 新建 scala class 的方法： ? 命名： ?...同步 SBT and IntelliJ IDEA projects IntelliJ IDEA SBT 支持项目同步，当 scala 版本更新或者增加 library 时，项目可以自动更新。
（本人水平有限，希望得到大家的指正） 我们首先要做的就是需要安装sbt和scala(前提是得有java的环境，java配置的步骤几乎和这两个相同) 离线安装我们需要将提前下好的安装包下载，然后传入你的Ubuntu...和Sbt的离线安装 进入scala的官网下载压缩包 https://www.scala-lang.org/download/ sbt官网： https://www.scala-sbt.org/download...sudo mkdir /opt/scala 然后在执行解压指令： sbt_file和scala_file需要替换为你的压缩包名字 sudo tar -xzf sbt_file.tgz -C /opt.../sbt sudo tar -xzf scala_file.tgz -C /opt/scala 进入解压后的文件夹： 直到找到你的bin文件夹，然后记住该路径，scala和sbt一样的 cd /opt...=/your/path/to/scala/bin:$PATH 加入完成后按ctrl+x键，再按shift+y，按回车即可 使用指令让环境变量生效 source ~/.bashrc 这样我们的sbt和scala
SBT是 Scala 的构建工具，全称是 Simple Build Tool， 类似 Maven 或 Gradle。...SBT 的野心很大，采用Scala编程语言本身编写配置文件，这使得它稍显另类，虽然增强了灵活性，但是对于初学者来说同时也增加了上手难度。 另外由于SBT默认从国外下载依赖，导致第一次构建非常缓慢。...Mac或Linux系统，则进入Bash执行如下命令： cd ~ mkdir .sbt cd .sbt vi repositories 然后创建 repositories 文件内容如下，并将文件拷贝到.../Linux 平台。...上通过 set 命令进行设置， set SBT_OPTS="-Dsbt.override.build.repos=true" 在 Mac/Linux 上使用 export 命令进行设置， export
1.yum install sbt 2.如果不行，则 curl https://bintray.com/sbt/rpm/rpm > bintray-sbt-rpm.repo sudo mv bintray-sbt-rpm.repo.../etc/yum.repos.d/ sudo yum install sbt sbt 二进制文件发布到 Bintray，而Bintray 方便地提供了RPM资源库。...3.手动安装，目前官网提供的是可以直接运行的地址：http://www.scala-sbt.org/download.html 下载后是个sbt目录，首先赋权限：chmod u+x sbt,再将sbt加入到...groups/public/ typesafe: http://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[module]/(scala...lock文件，这个是在~/.sbt目录下面的boot文件夹下，删除即可。
说道大数据和机器学习，就少不了Spark.本文主要介绍在Linux下搭建单机环境的Spark的步骤。 安装Java SE 1、下载JAVA SE linux版本。...2、下载jdk-8u131-linux-x64.tar.gz后，解压到自己指定目录。....tgz -C /opt/scala/sbt/ 3、配置sbt环境变量。...$ mkdir /opt/scala/sbt/ $ cd /opt/scala/sbt/ $ touch sbt 脚本内容如下，注意sbt-launch.jar的路径 SBT_OPTS="-Xms512M...至此，Linux下Spark单机环境已经成功搭建完毕！
对于每一个操作步骤，会分别针对Windows、Mac和Linux三个主流操作系统进行讲解， 最终帮助你快速构建一个可运行的Scala开发环境。...如果是Windows系统，则进入CMD执行如下命令： cd C:\Users\USER_NAME mkdir .sbt cd .sbt 如果是Mac或Linux系统，则进入Bash执行如下命令：... 仅适用于 Mac/Linux 平台。... 上通过 set 命令进行设置， set SBT_OPTS="-Dsbt.override.build.repos=true" 在 Mac/Linux 上使用 export 命令进行设置， export...检查当前项目的SBT构建版本是否为1.3.0， sbt:hello-scala> sbtVersion [info] 1.3.0 sbt:hello-scala> 2）确认全局仓库是否已经覆盖项目自身仓库
sbt类似与maven, gradle的项目管理工具，主要用在scala，也可以用在java项目，本文介绍一下常用的使用命令和语法 安装 mac brew install sbt redhat¢os...# remove old Bintray repo file sudo rm -f /etc/yum.repos.d/bintray-rpm.repo curl -L https://www.scala-sbt.org...session save 保存当前会话信息到build.sbt test执行测试, ~testQuick自动检测并执行测试 projects列出所有项目 build.sbt语法 # 设置scala...后terminal窗口会停在Getting org.scala-sbt sbt上，也不知道发生了什么。...可以用如下命令，查看程序进展tail -f $HOME/.sbt/boot/update.log 参考 sbt by example stuck at "Getting org.scala-sbt sbt
/java/jdk/8u112-b15/jdk-8u112-linux-x64.tar.gz?.../sbt/0.13.13/sbt-0.13.13.tgz # tar -zxvf sbt-0.13.13.tgz -C /opt/scala/ # cd /opt/scala/ # mv sbt-launcher-packaging...建立启动sbt的脚本 # mkdir /opt/scala/sbt/ # cd /opt/scala/sbt/ # touch sbt # 脚本内容如下，注意sbt-launch.jar的路径...-jar /opt/scala/sbt/bin/sbt-launch.jar "$@" 修改sbt文件权限 # chmod u+x sbt 测试sbt # sbt sbt-version Getting...org.scala-sbt sbt 0.13.13 ...
在学习SCALA的过程中，我遇到了SBT(Simple Build Tool)， SBT是SCALA 平台上标准的项目构建工具，当然你要用它来构建其他语言的项目也是可以的。...二.部署 1.下载并放到/usr/local wget https://piccolo.link/sbt-1.1.5.tgz``tar -xf sbt-1.1.5.tgz``mv sbt /usr/local...2.进入目录创建启动脚本 cd /usr/local/sbt vim sbt #!...$SBT_OPTS -jar /usr/local/sbt/bin/sbt-launch.jar "$@" 3.配置环境变量 vim /etc/profile export PATH=/usr/local.../sbt/:$PATH source /etc/profile 三.测试 第一次执行时，会下载一些文件包，然后才能正常使用，要确保联网了 sbt sbt-version
.msi文件后点击下一步就可以了 Linux安装Scala编译器 tar.gz的版本 然后解压Scala到指定目录 tar -zxvf scala-2.13.1.tar.gz -C /usr/java...:/usr/java/scala-2.13.1/bin 使用ScalaREPL Scala提供了REPL 交互式解释环境 在我们安装好scala 可以直接在命令行输入scala进入 三、通过Sbt安装...2、使用IDEA SBT开发Scala 上面我们通过Idea安装并运行了Scala的程序 我们已经可以在IDEA中开发Scala了！...: org.scala-sbt#sbt;0.13.8: not found 1.出现场景：在idea中使用sbt构建工程时，使用默认的sbt版本为0.13.8，而我本地安装的sbt版本是0.13.7，所以在仓库中找不到对应的...构建Scala 首先根据不同的系统安装Sbt Windows下载地址为https://www.scala-sbt.org/1.x/docs/Installing-sbt-on-Windows.html
2.2 基于 SBT 身份表达的应用场景 把 SBT 放到具体的应用场景，有助于我们更好地理解 SBT 的潜力。...3 - SBT 的技术实现 实现 SBT 需要新的通证标准。...考虑到未来一定会出现匀质化的数量型 SBT（如：信用分） 与非匀质化的标识型 SBT（如：勋章），使用 ERC-3525 一个通证标准，恰好可以表达出两种不同性质的 SBT。...因此，ERC-3525 虽然并非单纯为SBT而设计的标准，却天然SBT实现方面的最佳参考方案。...从 SBT 概念的来龙去脉来看，Web3 的新局面将不仅仅是 SBT 论文开宗明义所讲的去中心化社会，而将是基于 SBT 的状态互联网概念研究深入所形成的新的 Web3 世界。
sbt&play没有main函数，每次使用sbt命令启动，但是就无法使用IDEA调试，本文介绍使用远程调试的方式实现 远程调试 sbt启动调试端口9999 sbt -jvm-debug 9999 run...创建远程调试 其他 sbt添加javaoption 使用-J前缀，会把参数传递给JVM sbt -J-javaagent:skywalking-agent.jar -jvm-debug 9999...run 参考 Run project with java options via sbt Debugging SBT project with Play in IntelliJ IDEA
SBT 一直以来都是 Scala 开发者不可言说的痛，最主要的原因就是官方文档维护质量较差，没有经过系统的、循序渐进式的整理，导致初学者入门门槛较高。...虽然也有其它构建工具可以选择(例如 Mill)， 但是在短时间内基本上不可能撼动 SBT 的地位，毕竟它是 Scala 名正言顺的亲儿子。...当然还有另外一个原因可能导致其它构建工具永远没有机会，Scala 语言以其卓越的编译器著称，编译器支持的丰富特性需要和构建工具进行无缝对接，例如 Scala 的 Macro 需要和构建工具的增量编译密切配合...Windows 命令行上执行： set JAVA_OPTS="-Xmx1g -Xmx1g" 配置文件 在项目根目录下创建.jvmopts文件，内容如下： -Xmx1g -Xmx1g 命令行参数 只有用于类Linux...] Loading settings from gpg.sbt,idea.sbt ...
5 Ant1.9.5 构建编译打包 6 Spark1.4.0 主角 7 Intillj IDEA 开发IDE 8 SBT scala-spark专属打包构建工具 9 Centos6或Centos7 集群运行的...Linux系统 这里Hadoop已经安装完毕，并且能正常工作，Spark可以运行在Standalone模式上，所以假如你没有Hadoop环境，当然也是可以使用的。...（1）安装使用maven 下载地址 https://maven.apache.org/ （2）安装使用sbt 下载地址 http://www.scala-sbt.org/ 这里推荐用...sbt，专门针对scala项目的进行构建打包的 好吧，也许你需要一个demo来帮助你理解？...在IDEA中，创建一个Scala的SBT项目： 然后在build.sbt文件中，加入如下依赖： Java代码 name := "spark2117" version := "1.0"
仅仅有一些简单的说明，对于不熟悉scala play开发的人来说。非常蛋疼。以下记录具体的安装过程。...先下载安装scala的构建工具sbt，最新版本号能够到官网查看： http://www.scala-sbt.org/0.13/tutorial/Installing-sbt-on-Linux.html...wget https://dl.bintray.com/sbt/debian/sbt-0.13.6.deb dpkg -i sbt-0.13.6.deb sudo dpkg -i sbt-0.13.6...export SBT_OPTS="$SBT_OPTS -Dhttp.proxyHost=myproxy-Dhttp.proxyPort=myport" 解压 unzip kafka-web-console...play.api.db.evolutions.EvolutionsPlugin$$anonfun$onStart$1$$anonfun$apply$1.apply$mcV$sp(Evolutions.scala
还有maven，sbt等。...IntelliJ IDEA的安装，这时候需要考虑是在Linux上安装，还是在window上安装。Linux安装还是比较方便的，而且遇到问题资料也比较多一些。比如使用sbt，网速慢一些。...Linux上就比较容易解决。相信也有很多人习惯window，希望在window上安装IntelliJ IDEA....如下图并没有Scala选项，所以下面我们需要添加Scala插件 ? IntelliJ IDEA插件安装 这里我们安装Scala和sbt插件。...这时候我们就看到了Scala选项。同样安装sbt ? 这时候我们看到了Scala选项 ? 2.本地安装 Scala通过库安装经常失败。我们通过官网下载，然后本地安装。
安装 首先需要安装好Java和Scala，然后下载Spark安装，确保PATH 和JAVA_HOME 已经设置，然后需要使用Scala的SBT 构建Spark如下： $ sbt/sbt assembly.../bin/spark-shell scala> val textFile = sc.textFile("README.md") // 创建一个指向 README.md 引用 scala> textFile.count...// 对这个文件内容行数进行计数 scala> textFile.first // 打印出第一行 Apache访问日志分析器 首先我们需要使用Scala编写一个对Apache访问日志的分析器，所幸已经有人编写完成...使用SBT进行编译打包： sbt compile sbt test sbt package 打包名称假设为AlsApacheLogParser.jar。...然后在Linux命令行启动Spark： // this works $ MASTER=local[4] SPARK_CLASSPATH=AlsApacheLogParser.jar .
可以看到一共有 17 行内容包含 Spark，这与通过 Linux 命令 cat ....使用 Scala 编写的程序需要使用 sbt 进行编译打包，相应的，Java 程序使用 Maven 编译打包，而 Python 程序通过 spark-submit 直接提交。...查看 Spark 和 Scala 的版本信息 安装 sbt Spark 中没有自带 sbt，需要手动安装 sbt，我们选择安装在 /usr/local/sbt 中： sudo mkdir /usr.../sbt Shell 命令 最后检验 sbt 是否可用（首次运行会处于 “Getting org.scala-sbt sbt 0.13.9 …” 的下载状态，请耐心等待。...点击查看：解决 sbt 无法下载依赖包的问题 使用 sbt 打包 Scala 程序 为保证 sbt 能正常运行，先执行如下命令检查整个应用程序的文件结构： cd ~/sparkappfind .
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
