SBT 一直以来都是 Scala 开发者不可言说的痛，最主要的原因就是官方文档维护质量较差，没有经过系统的、循序渐进式的整理，导致初学者入门门槛较高。虽然也有其它构建工具可以选择(例如 Mill)， 但是在短时间内基本上不可能撼动 SBT 的地位，毕竟它是 Scala 名正言顺的亲儿子。当然还有另外一个原因可能导致其它构建工具永远没有机会，Scala 语言以其卓越的编译器著称，编译器支持的丰富特性需要和构建工具进行无缝对接，例如 Scala 的 Macro 需要和构建工具的增量编译密切配合，在和编译器对接方面，SBT 具有先天优势。既然别无选择，只能选择默默忍受。下面分享在SBT使用过程中的一些常用技巧。
IntelliJ IDEA提供了丰富的工具和功能，可以帮助开发人员提高开发效率和代码质量。它具有智能代码编辑器、代码检查、快速修复、多模块构建、重构、版本控制等功能。此外，它还支持自动化构建、测试和部署，可以轻松地将应用程序部署到云端或本地服务器上。
Scala下载地址：https://www.scala-lang.org/download/
IntelliJ IDEA 2023.2 引入 AI Assistant，通过一组由 AI 提供支持的功能助力开发。 升级的 IntelliJ 分析器现在提供编辑器内提示，使分析进程更加直观详尽。 此版本还包括有助于简化开发工作流的 GitLab 集成，以及其他多项值得关注的更新和改进，如下所述：
IntelliJ IDEA 2023.2版本已经发布！新版本带来了令人振奋的功能和改进，包括AI助手的引入，为你的开发工作提供智能驱动；IntelliJ Profiler的升级，使性能分析更加直观；以及GitLab集成，让团队协作更加高效。这次更新还涵盖了用户体验、Java改进、运行/调试、版本控制系统、Docker、数据库工具等多个方面，让你的代码质量和开发效率得到全面提升。立即升级到IntelliJ IDEA 2023.2，体验全新的开发世界！
前言 在Spark集群 + Akka + Kafka + Scala 开发(1) : 配置开发环境中，我们已经部署好了一个Spark的开发环境。 在Spark集群 + Akka + Kafka + Scala 开发(2) : 开发一个Spark应用中，我们已经写好了一个Spark的应用。 本文的目标是写一个基于akka的scala工程，在一个spark standalone的集群环境中运行。 akka是什么？ akka的作用 akka的名字是action kernel的回文。根据官方定义：akka用于r
我们知道，在集群环境节点之间进行交换的数据必须经过序列化/反序列化处理过程，而在这方面protobuf是一个比较高效、易用的模式。用户首先在.proto文件中用IDL来定义系统中各种需要进行交换的数据类型。然后用protoc编译器自动产生相关的源代码，里面包括了完整的序列化处理函数。在一个集成的系统环境内，protobuf数据必须保持与所有系统的松散耦合，不能对这些用户系统有任何依赖。这样把protobuf数据类型和相关的序列化/反序列化函数打成一个独立的包，由用户系统各自引用就是一种最佳解决方案了。
出品 | OSC开源社区（ID：oschina2013) IntelliJ IDEA 2023.1 现已发布。此版本包括对新 UI 的改进，根据从用户那里收到的反馈进行了彻底改造。此外还实现了性能增强，从而在打开项目时更快地导入 Maven 和更早地使用 IDE 功能。由于采用了 background commit checks，新版本提供了简化的 commit 过程。IntelliJ IDEA Ultimate 现在支持 Spring Security 匹配器和请求映射的导航。 其实 JetBrain
在上期讨论中我们介绍了Scala Macros，它可以说是工具库编程人员不可或缺的编程手段，可以实现编译器在编译源代码时对源代码进行的修改、扩展和替换，如此可以对用户屏蔽工具库复杂的内部细节，使他
在 IntelliJ IDEA 2023.1 中， 根据用户的宝贵反馈对新 UI 做出了大量改进。 还实现了性能增强，从而更快导入 Maven，以及在打开项目时更早提供 IDE 功能。 新版本通过后台提交检查提供了简化的提交流程。 IntelliJ IDEA Ultimate 现在支持 Spring Security 匹配器和请求映射的导航。 此版本包含一系列其他值得注意的升级和改进，如下文所述。
Gatling是一款功能强大的负载测试工具，它为易于使用，高可维护性和高性能而设计。
Spark App（用Spark APIs编写的）需要submit到Spark Cluster运行，对于Scala编写的代码，提交之前要用sbt或者maven把以下内容：
Scala Macros对scala函数库编程人员来说是一项不可或缺的编程工具，可以通过它来解决一些用普通编程或者类层次编程（type level programming）都无法解决的问题，这
要使用Spark库，你首先必须了解的东西是Spark package。它有点像Spark的包管理器。当你给Spark集群提交job时，你可以到存放Spark package的网站下载任何package。所有package都存放在这个站点。
随着大数据时代的到来，网页爬虫作为一种高效的数据收集工具，被广泛应用于互联网数据抓取和信息抽取。而知乎是一个知识分享平台，拥有大量的用户生成内容。通过爬虫获取知乎数据，企业和研究人员可以进行深入的数据分析和市场研究，了解用户的需求、兴趣和行为模式，从而为产品开发、市场定位和营销策略提供数据支持。本文将介绍如何使用Scala编程语言结合PhantomJS无头浏览器，开发一个简单的网页爬虫，以访问并抓取知乎网站上的数据。
IntelliJ IDEA 2023.2已正式发布，为IDE带来了许多令人兴奋的功能和改进。本版本的主要更新包括引入了AI Assistant，通过一组人工智能驱动的功能促进开发；IntelliJ Profiler现在提供编辑提示，使分析过程更加直观和详细；以及GitLab集成，以简化开发工作流程。用户体验方面的更新涵盖了在搜索、项目视图排序和主工具栏上的改进。Java方面的改进包括扩展Java检查、为格式字符串提供代码高亮显示和导航，以及提供更好的Javadoc注释支持等。其他方面的更新涉及运行/调试、版本控制系统、Docker、数据库工具等。
Spark简介 Spark是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发通用内存并行计算框架。Spark在2013年6月进入Apache成为孵化项目，8个月后成为Apache顶级项目，速度之快足见过人之处，Spark以其先进的设计理念，迅速成为社区的热门项目，围绕着Spark推出了Spark SQL、Spark Streaming、MLLib和GraphX等组件，也就是BDAS（伯克利数据分析栈），这些组件逐渐形成大数据处理一站式解决平台
IntelliJ IDEA 2024.1 版本引入了许多新功能和改进，旨在提高开发效率和简化开发流程。主要亮点包括全行代码完成、对 Java 22 功能的支持、新航站楼、编辑器中的粘滞线、AI 助手的改进、用户体验提升、对 Java 和 Kotlin 的多项增强、改进的版本控制系统、构建工具、运行/调试体验、框架和技术支持，以及数据库工具和 Web 开发的改进。
IntelliJ IDEA 2024.1 版本带来了全方位的功能更新和改进，针对 Java、Kotlin、Scala 等语言提供了更深层次的支持和全新的开发工具，增强的代码补全、终端重构、多语言测试覆盖等特性显著提高了开发者的工作效率。此外，AI 助手的解绑、新的编辑器功能和代码审查工具的优化进一步加强了其作为先进 IDE 的地位。
之前debug spark源码，是通过写application debug，这个不是基于spark源码本身的调试。
在软件项目开发中，依赖项管理是至关重要的一环。sbt（Simple Build Tool）作为Scala领域最常用的构建工具之一，提供了便捷的依赖项管理机制，既支持托管依赖项，也支持非托管依赖项。sbt 使用 Apache Ivy 作为其依赖管理系统，支持 Maven 和 Ivy 依赖格式。本文将对sbt的依赖管理逻辑进行一些个人观点上概述，水平有限，还请见谅。
使用gRPC作为云平台和移动前端的连接方式，网络安全应该是必须考虑的一个重点。gRPC是支持ssl/tls安全通讯机制的。用了一个周末来研究具体使用方法，实际上是一个周末的挖坑填坑过程。把这次经历记录下来与各位分享。
本文介绍了如何使用 Spark 进行大数据处理，包括概述、架构、运行、集群、资源调度、数据存储、编程模型、性能优化、高级特性、应用案例等方面的内容。
喜欢IntelliJ的玩家这两天一定很开心，因为IntelliJ IDEA 2021.1 已经正式发布！
近日，JetBrains 正式发布 IntelliJ IDEA 2021.1，这也是今年的首个新版本。开发者可以从官网或通过 Toolbox App 进行下载。当然，Ubuntu 用户们也可以在 IDE 内或者使用快照进行升级。
cmak在github上有已经编译好的安装包，我在JDK1.8环境中无法运行，于是才有了上一步的源码编译，我想使用JDK1.8编译，使得安装包可以在JDK1.8环境中运行，结果使用JDK1.8编译都编译不过，于是，只好老老实实的使用JDK11来安装cmak了。
准备环境 安装JDK8 单击这里下载并安装JDK8，安装完成后在命令行查看Java的版本号： C:\Users\Lenovo>java -version java version "1.8.0_111" Java(TM) SE Runtime Environment (build 1.8.0_111-b14) Java HotSpot(TM) 64-Bit Server VM (build 25.111-b14, mixed mode) 如果上面的命令执行报错，请手动将路径"Java安装目录/bin"
IntelliJ IDEA 2022.2 包括对远程开发功能的多项质量改进，使其更时尚、更稳定。从 v2022.2 开始，IntelliJ IDEA 使用 JetBrains Runtime 17，它在许多方面增强了 IDE 体验和性能。IntelliJ IDEA Ultimate 增加了对 Spring 6 和 Spring Boot 3 功能的支持，并为其他几个框架引入了更新。新版本提供了许多其他值得注意的升级和改进，下面将详细介绍。
SBT 是 Scala 的构建工具，全称是 Simple Build Tool， 类似 Maven 或 Gradle。 SBT 的野心很大，采用Scala编程语言本身编写配置文件，这使得它稍显另类，虽然增强了灵活性，但是对于初学者来说同时也增加了上手难度。另外由于SBT默认从国外下载依赖，导致第一次构建非常缓慢，使用体验非常糟糕！ 如果你是一名Scala初学者，本文希望帮你减轻一些第一次使用的痛苦。
Spark快速入门指南 – Spark安装与基础使用 2016-01-15 (updated: 2016-03-07) 6309 29 Apache Spark 是一个新兴的大数据处理通用引擎，提供了分布式的内存抽象。Spark 正如其名，最大的特点就是快（Lightning-fast），可比 Hadoop MapReduce 的处理速度快 100 倍。此外，Spark 提供了简单易用的 API，几行代码就能实现 WordCount。本教程主要参考官网快速入门教程，介绍了 Spark 的安装，Spar
在Ubuntu 20上离线安装Joern，由于Joern通常需要通过互联网从其官方源或GitHub等地方下载，但在离线环境中，我们需要通过一些额外的步骤来准备和安装。（本人水平有限，希望得到大家的指正）
sbt类似与maven, gradle的项目管理工具，主要用在scala，也可以用在java项目，本文介绍一下常用的使用命令和语法 安装 mac brew install sbt redhat¢os # remove old Bintray repo file sudo rm -f /etc/yum.repos.d/bintray-rpm.repo curl -L https://www.scala-sbt.org/sbt-rpm.repo > sbt-rpm.repo sudo mv sbt
关于grpc，在前面的scalaPB讨论里已经做了详细的介绍：google gRPC是一种全新的RPC框架，在开源前一直是google内部使用的集成工具。gRPC支持通过http/2实现protobuf格式数据交换。protobuf即protocol buffer，是google发明的一套全新的序列化传输协议serialization-protocol，是二进制编码binary-encoded的，相对java-object，XML，Json等在空间上占有优势，所以数据传输效率更高。由于gRPC支持http/2协议，可以实现双向通讯duplex-communication，解决了独立request/response交互模式在软件编程中的诸多局限。这是在系统集成编程方面相对akka-http占优的一个亮点。protobuf格式数据可以很方便的转换成 json格式数据，支持对外部系统的的开放协议数据交换。这也是一些人决定选择gRPC作为大型系统微服务集成开发工具的主要原因。更重要的是：用protobuf和gRPC进行client/server交互不涉及任何http对象包括httprequest,httpresponse，很容易上手使用，而且又有在google等大公司内部的成功使用经验，用起来会更加放心。
首先需要安装好Java和Scala，然后下载Spark安装，确保PATH 和JAVA_HOME 已经设置，然后需要使用Scala的SBT 构建Spark如下：
1.yum install sbt 2.如果不行，则 curl https://bintray.com/sbt/rpm/rpm > bintray-sbt-rpm.repo sudo mv bintray-sbt-rpm.repo /etc/yum.repos.d/ sudo yum install sbt sbt 二进制文件发布到 Bintray，而Bintray 方便地提供了RPM资源库。你只需要将存储库添加到你的软件包管理器将检查的地方。 3.手动安装，目前官网提供的是可以直接运行的地址：http:/
简单说，隐式转换就是：当Scala编译器进行类型匹配时，如果找不到合适的候选，那么隐式转化提供了另外一种途径来告诉编译器如何将当前的类型转换成预期类型。本文原文出处: http://blog.csdn.net/bluishglc/article/details/50866314 严禁任何形式的转载，否则将委托CSDN官方维护权益！
原创声明，禁止转载 构建微服务并不容易，特别是当微服务变得越来越多时，而且好多微服务可能由不同的团队提供和维护，这些微服务彼此交互并且变化很快。 文档、团队交互和测试是获得成功的三大法宝，但是如果用错误的方式进行，它们会产生更多的复杂性，而不是一种优势。 我们可以使用像Swagger（用于文档），Docker（用于测试环境），Selenium（用于端到端测试）等工具，但是我们最终还是会因为更改API而浪费大量时间，因为他们不是说谁适合来使用它们，或者设置合适的环境来执行集成测试，而是需要生产数据（希望是匿
在本文中将介绍 Scala 的 Play Web 开发框架。我们将会学习如何创建一个 Play 项目，使用开发工具生成我们的第一个项目以及实现自定义的功能，另外还将体验一下 Play 框架的测试能力。
有用过 sbt 开发项目的同学应该都有这样的体会，换个环境，sbt 经常会出现编译项目出错的情况，导入 IDEA 又各种报错，尤其是在 github 上找到一个 sbt 编译的项目，想 clone 下来导入 IDEA 中阅读源码，跑跑测试用例，debug 进去看看实现原理等等…
class表示module，Bundle相当于interface。用Reg()定义一个寄存器。具体如下：
问题导读 1.IntelliJ IDEA是否可以直接创建Scala工程？ 2.IntelliJ IDEA安装，需要安装哪些软件？ 3.IntelliJ IDEA如何安装插件？ 各种开发环境的搭建，其实都是听简单。甚至我们可以通过命令行来开发。而且最原始的编程，其实可以通过文本或则cmd即可。还有maven，sbt等。后来的发展过程中，为了更加方便我们编程，于是发展出来了，更高级的编程工具，Java有eclipse等工具，而Scala有IntelliJ IDEA.当然eclipse也可以写Scala代
更多详情请查看：https://blog.jetbrains.com/idea/2021/07/intellij-idea-2021-2/
一开始学Scala的时候可能会感觉各种不适应，尤其是写惯了C++/Java这样的语言后。感觉更重要的思想跟编程习惯上的改变。一旦写多了熟练使用了，那就一个字 真香！
IntelliJ IDEA 2021.2 正式发布啦！快来看看又出了哪些神器的功能~
今天 Spark + AI Summit 2019 宣布开源了 Delta Lake 这个项目，关于这个项目的背景我就不赘述了，砖厂官网有很多介绍，包括项目的 Github 地址，大家可以上去看看，我也打算测一下，并且研究一下源代码，所以今天开始写一些探索这个项目的学习笔记。
gRPC是google开源提供的一个RPC软件框架，它的特点是极大简化了传统RPC的开发流程和代码量，使用户可以免除许多陷阱并聚焦于实际应用逻辑中。作为一种google的最新RPC解决方案，gRPC具备了以下这些强项： 1、gRPC在HTTP/2协议上用protobuf取代了json实现了最佳效率 2、用IDL（Interface Definition Language），一种简单的描述语言来自动产生RPC的api源代码 3、支持blocking/non-blocking双向数据流交互，适合程序的流程
需求场景： 我们的产品需要与客户的权限系统对接，即在登录时使用客户的认证系统进行认证。集成认证的方式是调用客户提供的jar包，调用userService的authenticate方法。同时，还需要在classpath中提供密钥的key文件。 从需求看，这个集成并不复杂，且客户也提供了较翔实的接口文档与示例案例，开发工作量非常小。唯一的阻碍是客户有安全要求，内部的Jar包及其他文件都不能拷贝出来，而我们的开发环境是不能连接客户内网的。客户提供的Jar包并没有通过Maven来管理，我们只能采用直接导入的方式。在
IndexedRDD由AMPLab的Ankur Dave提出，它是Immutability和Fine-Grained updates的精妙结合。IndexedRDD是一个基于RDD的Key-Value Store，扩展自RDD[(K, V)]，可以在IndexRDD上进行高效的查找、更新以及删除。由于其并没有合并到 Spark 的主项目分支，所以在使用时需要引入特别的对其的支持。
本文介绍了Spark Streaming的用法，包括如何编写和运行基于流的应用程序，以及如何使用Spark Streaming来处理数据。此外，还介绍了Spark Streaming的API和如何使用它来执行各种操作，包括筛选和输出操作。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
