前言 我们用IDEA创建Spark项目的时候，默认都是使用SBT作为构建工具的，那么SBT是个啥？...SBT 的野心很大，采用Scala编程语言本身编写配置文件，这使得它稍显另类，虽然增强了灵活性，但是对于初学者来说同时也增加了上手难度。 另外由于SBT默认从国外下载依赖，导致第一次构建非常缓慢。...repo.huaweicloud.com/repository/maven/ central: http://repo1.maven.org/maven2/ 忽略自身仓库 设置所有项目均使用全局仓库配置...，忽略项目自身仓库配置 该参数可以通过 Java System Property 进行设置。...方法一：修改SBT配置文件（推荐） 提醒一下， sbt-1.3.0/conf/ 目录下有两个配置文件， sbtconfig.txt 仅适用于 Windows 平台，而 sbtopts 仅适用于 Mac
1.yum install sbt 2.如果不行，则 curl https://bintray.com/sbt/rpm/rpm > bintray-sbt-rpm.repo sudo mv bintray-sbt-rpm.repo.../etc/yum.repos.d/ sudo yum install sbt sbt 二进制文件发布到 Bintray，而Bintray 方便地提供了RPM资源库。...3.手动安装，目前官网提供的是可以直接运行的地址：http://www.scala-sbt.org/download.html 下载后是个sbt目录，首先赋权限：chmod u+x sbt,再将sbt加入到...path里，source下即可使用 注意：由于网络的原因，所以当你输入sbt命令的时候，会出现卡着的情况，实际上这是在下载相关的依赖包，一定要耐心等！...lock文件，这个是在~/.sbt目录下面的boot文件夹下，删除即可。
/sbt-rpm.repo > sbt-rpm.repo sudo mv sbt-rpm.repo /etc/yum.repos.d/ sudo yum install sbt 快速使用 ➜ mkdir...sbt命令 sbt启动，进入交互式命令 help帮助 exit 退出sbt compile编译, ~compile自动检测更新后编译 run 启动 reload 重新加载build.sbt...organization := "com.example" # 自定义变量 val scalaTest = "org.scalatest" %% "scalatest" % "3.2.7" ## 配置项目...")) # 如果配置了子项目，则聚合起来；父项目上执行的命令，也会广播到子项目 .aggregate(helloCore) # 设置对子项目的依赖 .dependsOn(helloCore...scalatest" % "3.2.7" % Test, # 如果使用自定义变量，也可以用如下格式 libraryDependencies += scalaTest % Test, ) ## 配置一个子项目
在学习SCALA的过程中，我遇到了SBT(Simple Build Tool)， SBT是SCALA 平台上标准的项目构建工具，当然你要用它来构建其他语言的项目也是可以的。...二.部署 1.下载并放到/usr/local wget https://piccolo.link/sbt-1.1.5.tgz``tar -xf sbt-1.1.5.tgz``mv sbt /usr/local...2.进入目录创建启动脚本 cd /usr/local/sbt vim sbt #!...$SBT_OPTS -jar /usr/local/sbt/bin/sbt-launch.jar "$@" 3.配置环境变量 vim /etc/profile export PATH=/usr/local.../sbt/:$PATH source /etc/profile 三.测试 第一次执行时，会下载一些文件包，然后才能正常使用，要确保联网了 sbt sbt-version
2.2 基于 SBT 身份表达的应用场景 把 SBT 放到具体的应用场景，有助于我们更好地理解 SBT 的潜力。...3 - SBT 的技术实现 实现 SBT 需要新的通证标准。...考虑到未来一定会出现匀质化的数量型 SBT（如：信用分） 与非匀质化的标识型 SBT（如：勋章），使用 ERC-3525 一个通证标准，恰好可以表达出两种不同性质的 SBT。...因此，ERC-3525 虽然并非单纯为SBT而设计的标准，却天然SBT实现方面的最佳参考方案。...从 SBT 概念的来龙去脉来看，Web3 的新局面将不仅仅是 SBT 论文开宗明义所讲的去中心化社会，而将是基于 SBT 的状态互联网概念研究深入所形成的新的 Web3 世界。
下面分享在SBT使用过程中的一些常用技巧。 设置 JVM 参数 有时候我们发现 SBT 编译速度异常缓慢，甚至直接报 OutOfMemory，这时我们就需要调整 JVM 堆大小。...环境变量 设置 JAVA_OPTS 环境变量，例如在 Windows 命令行上执行： set JAVA_OPTS="-Xmx1g -Xmx1g" 配置文件 在项目根目录下创建.jvmopts文件，内容如下...用法如下，-J 后面的内容会被直接用作 JVM 参数： sbt -J-Xmx1g 另外，我们也可以通过 -D 设置 JVM 的系统属性，值得欣喜的是，sbt.bat 脚本也是支持 -D 参数的： sbt...SBT 会自动进行增量编译。...] Loading settings from gpg.sbt,idea.sbt ...
sbt&play没有main函数，每次使用sbt命令启动，但是就无法使用IDEA调试，本文介绍使用远程调试的方式实现 远程调试 sbt启动调试端口9999 sbt -jvm-debug 9999 run...创建远程调试 其他 sbt添加javaoption 使用-J前缀，会把参数传递给JVM sbt -J-javaagent:skywalking-agent.jar -jvm-debug 9999...run 参考 Run project with java options via sbt Debugging SBT project with Play in IntelliJ IDEA
下载后，解压到自己的软件安装路径上，例如我的，/usr/local/sbt，然后设置环境变量。 确认一下 sbt 配置（这个后面会细说）。...不管是导入还是创建新的 sbt 项目，都应该检查一下 IDEA 的 sbt 配置，这里以笔者的配置为例。 ?...注意需要留意的是 sbt-lauch.jar，如果不配置，那么用的是 IDEA 的内置的 sbt，为了更灵活的配置 sbt 的一些设置，建议还是使用自己下载安装的 sbt，并且设置 VM 参数，原理等同于上节说的命令行模式的参数...2.3 一些测试 为了测试 sbt 的配置是否正确了，建议利用 IDEA 创建和导入一个 sbt 项目，尤其是导入一个开源的 sbt 项目，因为这些项目相对比较复杂，sbt 的配置文件中包含了大量的插件和...3 Summary 本文主要介绍了 sbt 的配置和踩坑经历，碰到 sbt 构建失败不要轻易放弃，毕竟 sbt 的动态编译还是很爽的…
开始引入 IndexedRDD 参见 Github 的说明，在 build.sbt 中添加： //这句很关键 resolvers += "Spark Packages Repo" at "http://...scala 和 spark 版本的对照关系，版本确定为： scala-2.11.8 spark-core-2.1.0（graphx同2.1.0） 上述版本是 spark-rdd 代码库中 build.sbt...MultiputZipper Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.SparkContext.runJob Sbt...IndexedRDD 环境（示例运行正常）应该如下： scala-2.11.8 spark-core-2.1.0 graphx-2.1.0（非必须） spark-indexedrdd-0.4.0 build.sbt...才出现的这个错误，在改用 Sbt 单一管理依赖后该错误也没有复现。
sbt中的配置如下： libraryDependencies ++= Seq( // Spark dependency "com.eaio.uuid" % "uuid" % "3.2", "org.apache.spark...构建配置中的依赖部分改为： libraryDependencies ++= Seq( // Spark dependency "com.eaio.uuid" % "uuid" % "3.2", "...总结 对于Java/Scala的编译问题，我曾经特别抗拒，因为maven和sbt的配置文件很冗杂，没有Python的简洁明了。...这个需要到maven的仓库上去搜索，确认无误后再添加到配置文件中。 要学会发散、拓展思考。...当看到sbt编译失败的时候就应该根据报错信息推测出问题的原因：“依赖包版本不正确”，然后把版本指定正确就可以了。
http://hihocoder.com/problemset/problem/1337 #1337 : 平衡树·SBT 时间限制:10000ms 单点时限:1000ms 内存限制:256MB 描述...样例输入 5 I 3 I 2 Q 1 I 5 Q 2 样例输出 2 3 ---恢复内容结束--- 动态查询Ktop系列 1.对于固定的Ktop系列，可以使用 优先队列，最小堆，Treap,BST,SBT...2.动态的Ktop Treap,BST,SBT 效率： BST<Treap<SBT 解法一 使用二叉搜索树： 此方法是直接建立起二叉树，对于树不做调整，这会造成树变得很长！...BSTree.query(root, val)); 65 } 66 } 67 } 68 } 69 70 } 解法二： SBT
SBT 的野心很大，采用Scala编程语言本身编写配置文件，这使得它稍显另类，虽然增强了灵活性，但是对于初学者来说同时也增加了上手难度。...[ext] 2） 设置所有项目均使用全局仓库配置，忽略项目自身仓库配置 该参数可以通过 Java System Property 进行设置。...方法一：修改SBT配置文件（推荐） 提醒一下， sbt-1.3.0/conf/ 目录下有两个配置文件， sbtconfig.txt 仅适用于 Windows 平台，而 sbtopts...SBT_OPTS="-Dsbt.override.build.repos=true" 方法三： 传入命令行参数 执行 sbt 命令时， 直接在命令后面加上配置参数， sbt -Dsbt.override.build.repos...例如采用修改SBT配置文件方式 （推荐），则打开 sbt-1.3.0\conf\sbtconfig.txt 文件，在末尾新增如下内容： -Dsbt.override.build.repos
Mac 安装 ApacheFlink + Scala + SBT flink: https://ci.apache.org/projects/flink/flink-docs-release-1.8/tutorials...scala-sbt doc brew install sbt@1 也很慢： ==> Downloading https://github.com/sbt/sbt/releases/download/v1.2.8...此时也会去下载 sbt，但是我们这回不用等 sbt 下载完成，直接停掉次命令。...ll ~/Library/Caches/Homebrew/downloads cp Downloads/sbt-1.2.8.tgz $(brew --cache -s sbt) brew install...sbt 至此顺利安装完成。
build.sbt定义如下： import scalapb.compiler.Version.scalapbVersion import scalapb.compiler.Version.grpcJavaVersion...= 3; } message SubtractedResult { int32 nbr1 = 1; int32 nbr2 = 2; int32 result = 3; } 用sbt...在使用方sbt项目里可以用unmanagedBase指定.jar路径或者把包放到默认的lib/目录下： lazy val commonSettings = Seq( name := "using-common-protobuf-data...在上面的.sbt文件中有关路径的设置需要总结一下： 1、改变默认源代码路径: (src/main/scala， src/test/scala) scalaSource in Compile := baseDirectory.value
sbt安装后会在用户路径下看到两个文件夹。....Linux下是在~/.sbt下修改。 window下C:\Users\aboutyun\.sbt修改repositories ?...[ext], bootOnly [boot] directory: ${sbt.boot.directory-${sbt.global.base-${user.home}/.sbt}/boot/...: ${sbt.override.build.repos-false} repository-config: ${sbt.repository.config-${sbt.global.base-${...user.home}/.sbt}/repositories}
转自：http://dblab.xmu.edu.cn/blog/maven-network-problem/ cd ~/.sbt/launchers/0.13.9 unzip -q ..../sbt-launch.jar 修改 vi sbt/sbt.boot.properties 增加一个oschina库地址： [repositories] local oschina: http.../sbt-launch.jar # 删除旧的 jar -cfM ./sbt-launch.jar ....# 重新打包 ls | grep -v "sbt-launch.jar" | xargs rm -r # 解压后的文件已无用，删除
安装 sbt 打开 terminal，检查 java 版本，安装 sbt： http://www.scala-sbt.org/release/docs/Installing-sbt-on-Mac.html...$ java -version $ brew install sbt $ sbt about Getting org.scala-sbt sbt 0.13.16 ---- 2....选择 scala － sbt： ? 为项目命名，确认 JDK 为配置的版本： ? ---- 4. 创建 scala worksheet 在项目下，如图所示创建 scala worksheet： ?...打开 SBT project 的方法 在 Intelli J 的导航 file 处先关闭当前项目： ? 选择 import： ? 选择 build.sbt： ? ? ? ---- 7....可以用 terminal 执行 sbt 命令 打开 intellij 左下角的 Terminal： 输入 $ sbt >compile ?
前提Spark集群已经搭建完毕,如果不知道怎么搭建，请参考这个链接： http://qindongliang.iteye.com/blog/2224797 注意提交作业，需要使用sbt打包成一个jar...，然后在主任务里面添加jar包的路径远程提交即可，无须到远程集群上执行测试，本次测试使用的是Spark的Standalone方式 sbt依赖如下： ?
这个错误出现过若干次了，每次出现都想记录一下可是都忘了，然后下一次再遇见就又要搞很久才能解决，其实这本身是IntelliJ IDEA 2017.2的一个bug，只要修改一处配置就好了。...原错误信息 原错误出现的IDEA版本：2017.2； 原错误的出现场景：每次新建SBT项目并添加完SBT依赖之后出现； 原错误的表现：build.sbt文件内容解析全部是红的，并且sbt shell报错...[info] Loading global plugins from C:\Users\msi\.sbt\1.0\plugins [info] Loading settings from plugins.sbt...started at local:sbt-server-a45abbca777ea4158128 sbt:Visualization> [info] Defining Global / sbtStructureOptions...，勾选Use SBT Shell for ...
$ tar -zxvf jdk-8u131-linux-x64.tar.gz -C /usr/lib/java 3、配置JAVA环境变量。 打开.bashrc文件。...www.scala-lang.org/download/ 2、下载scala-2.12.2.tgz后，解压到指定的目录： $ tar -zxvf scala-2.12.2.tgz -C /opt/scala/ 3、配置...spark-2.1.1-bin-hadoop2.7.tgz后，解压到指定的目录： $ tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz -C /opt/spark/ 3、配置....tgz -C /opt/scala/sbt/ 3、配置sbt环境变量。.../sbt/bin/sbt-launch.jar "$@" 修改sbt文件的权限 $ chmod u+x sbt 5、检测sbt是否正确安装。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
