在 Shopify 中，我们将Apache Flink作为标准的有状态流媒体引擎，为我们的BFCM Live Map等各种用例提供支持。我们的 Flink 应用程序部署在利用Google Kubernetes Engine的 Kubernetes 环境中。我们的集群采用配置使用高可用性模式，配置任务管理为故障点。我们还为我们使用状态保存器作为我们使用的检查点和点写入谷歌云存储（GCS）。
如今，大数据领域的开源框架（Hadoop，Spark，Storm）都使用的 JVM，当然也包括 Flink。基于 JVM 的数据分析引擎都需要面对将大量数据存到内存中，这就不得不面对 JVM 存在的几个问题：
北京理工大学硕士毕业，2015 年加入阿里巴巴，参与阿里巴巴实时计算引擎 JStorm 的开发与设计。2016 年开始从事阿里新一代实时计算引擎 Blink SQL 的开发与优化，并活跃于 Flink 社区，于2017年2月成为ApacheFlink Committer，是国内早期 Flink Committer 之一。目前主要专注于分布式处理和实时计算，热爱开源，热爱分享。
刚开始学Spark，之前一直都是在服务器里用Spark-shell进行简单学习的，后来觉得这样实在是很不方便，于是就决定利用Eclipse ide来进行开发，不过这当中遇到了很多问题，搞了半天总算搞得差不多了，下面就记录下环境搭建的步骤方便重新配置。
JVM： JAVA本身提供了垃圾回收机制来实现内存管理 现今的GC（如Java和.NET）使用分代收集（generation collection），依照对象存活时间的长短使用不同的垃圾收集算法，以达到最好的收集性能。 以Java为例，整个Java堆可以切割成为三个部分： Young： Eden：存放新生对象。 Survivor：存放经过垃圾回收没有被清除的对象。 semi-Spaces：和Survivor做Copying collection。 Tenured：对象多次回收没有被清除，则移到该区块。 Pe
在这篇文章中，我们将讨论几个有助于提升Java应用程序性能的方法。我们首先将介绍如何定义可度量的性能指标，然后看看有哪些工具可以用来度量和监控应用程序性能，以及确定性能瓶颈。
在进行RDD操作的时候，我们需要在接下来多个行动中重用同一个RDD，这个时候我们就可以将RDD缓存起来，可以很大程度的节省计算和程序运行时间。
作者：calvinrzluo，腾讯 IEG 后台开发工程师 本文基于 Spark 2.4.4 版本的源码，试图分析其 Core 模块的部分实现原理，其中如有错误，请指正。为了简化论述，将部分细节放到了源码中作为注释，因此正文中是主要内容。 Spark Core RDD RDD(Resilient Distributed Dataset)，即弹性数据集是 Spark 中的基础结构。RDD 是 distributive 的、immutable 的，可以被 persist 到磁盘或者内存中。 对 RDD
最后一个脚本是执行另一个脚本：kafka-run-class.sh，这个脚本的内容比较复杂了。
【摘要】本文首先介绍了负载测试、基于APM工具的应用程序和服务器监控，随后介绍了编写高性能Java代码的一些最佳实践。最后研究了JVM特定的调优技巧、数据库端的优化和架构方面的调整。以下是译文。 介绍 在这篇文章中，我们将讨论几个有助于提升Java应用程序性能的方法。我们首先将介绍如何定义可度量的性能指标，然后看看有哪些工具可以用来度量和监控应用程序性能，以及确定性能瓶颈。 我们还将看到一些常见的Java代码优化方法以及最佳编码实践。最后，我们将看看用于提升Java应用程序性能的JVM调优技巧和架构调整。
作者 | Eugen Paraschiv 翻译 | 雁惊寒 【摘要】本文首先介绍了负载测试、基于APM工具的应用程序和服务器监控，随后介绍了编写高性能Java代码的一些最佳实践。最后研究了JVM特定的调优技巧、数据库端的优化和架构方面的调整。以下是译文。 介绍 在这篇文章中，我们将讨论几个有助于提升Java应用程序性能的方法。我们首先将介绍如何定义可度量的性能指标，然后看看有哪些工具可以用来度量和监控应用程序性能，以及确定性能瓶颈。 我们还将看到一些常见的Java代码优化方法以及最佳编码实践。最后，我们将看
本文旨在梳理出Spark内存管理的脉络，抛砖引玉，引出读者对这个话题的深入探讨。本文中阐述的原理基于Spark 2.1版本，阅读本文需要读者有一定的Spark和Java基础，了解RDD、Shuffle、JVM等相关概念。
摘要：本文首先介绍了负载测试、基于APM工具的应用程序和服务器监控，随后介绍了编写高性能Java代码的一些最佳实践。最后研究了JVM特定的调优技巧、数据库端的优化和架构方面的调整。以下是译文。
凡是cluster模式启动的作业，日志都没有打印在本地。因为main()直接在driver上运行
在Spark中有DataFrame这样的关系型编程接口，因其强大且灵活的表达能力，能够让用户通过非常丰富的接口对数据进行处理，有效降低了用户的使用成本。Flink也提供了关系型编程接口Table API以及基于Table API的SQL API，让用户能够通过使用结构化编程接口高效地构建Flink应用。同时Table API以及SQL能够统一处理批量和实时计算业务，无须切换修改任何应用代码就能够基于同一套API编写流式应用和批量应用，从而达到真正意义的批流统一
Scala是一门神奇的语言，作为一个JVM上的编译型语言，它居然有着自己的解释器（Java其实也有）。例如在shell上面输入scala就会进入下面的页面：
状态可以存储在Java的堆内或堆外。根据你的状态终端，Flink 也可以管理应用程序的状态，这意味着 Flink 可以处理内存管理（可能会溢出到磁盘，如果有必要），以允许应用程序存储非常大的状态。默认情况下，配置文件 flink-conf.yaml 为所有Flink作业决定其状态终端。
前言 在上一期内容中，菌哥已经为大家介绍了实时热门商品统计模块的功能开发的过程(?基于flink的电商用户行为数据分析【3】| 实时流量统计）。本期文章，我们需要学习的是恶意登录监控模
弹性分布式数据集（RDD）作为Spark最根本的数据抽象，是只读的分区记录（Partition）的集合，只能基于在稳定物理存储中的数据集上创建，或者在其他已有的RDD上执行转换（Transformation）操作产生一个新的RDD。转换后的RDD与原始的RDD之间产生的依赖关系，构成了血统（Lineage）。凭借血统，Spark保证了每一个RDD都可以被重新恢复。但RDD的所有转换都是惰性的，即只有当一个返回结果给Driver的行动（Action）发生时，Spark才会创建任务读取RDD，然后真正触发转换的执行。
常常总有人问我，在现有的语言里面，有什么好的推荐？我说：“Java。” 他们很惊讶：“什么？Java！” 所以我现在来解释一下。 Java超越了所有咒骂它的“动态语言” 也许是因为年轻人的逆反心理，人们都不把自己的入门语言当回事。很早的时候，计算机系的学生用Scheme或者Pascal入门，现在大部分学校用Java。这也许就是为什么很多人恨Java，瞧不起用Java的人。提到Java，感觉就像是爷爷那辈人用的东西。大家都会用Java，怎么能显得我优秀出众呢？于是他们说：“Java老气，庞大，复杂，臃肿。我更
有些人问我，在现有的语言里面，有什么好的推荐？我说：“Java。” 他们很惊讶：“什么？Java！” 所以我现在来解释一下。
最近，单位领导要求我研究一下geotrellis(GITHUB地址：https://github.com/geotrellis/geotrellis，官网http://geotrellis.io/)，于是我只能接受这个苦逼的任务。 官网中写到：GeoTrellis is a geographic data processing engine for high performance applications.可以看出这个框架主要是用来进行地理信息数据的高性能快速处理，当然是个很有用的东西，但是怎么学习之，是
有些人问我，在现有的语言里面，有什么好的推荐？我说：“Java。” 他们很惊讶：“什么？Java！” 所以我现在来解释一下。 Java超越了所有咒骂它的“动态语言” 也许是因为年轻人的逆反心理，人们都
前言： 这篇文章是基于我看过的一篇论文，主要是关于函数式数据结构，函数式堆（优先级队列）， 我会以自己的理解写下来，然后论文中出现的代码将会使用scala这们语言。 论文链接： Optimal Purely Functional Priority Queues，另外一个链接： 论文。 这里有个好网站介绍：coursera，全球在线课程，各种课程都有。 scala这们语言的一些学习资料： scala的教程： scala turorials（文档和更高阶的教程这个网站
最近在拜读许老师的《大数据处理框架Apache Spark设计与实现》，之前看豆瓣评分很高，阅读了一下果然通俗易懂，在这里记录一下相关的笔记，补充了一些个人理解，如有不对还请指正。参考链接：https://github.com/JerryLead/SparkInternals
第二章 变量2.1 变量是程序的基本组成单位2.2 Scala 变量的介绍2.2.1 概念2.2.2 Scala 变量使用的基本步骤2.3 Scala 变量的基本使用2.4 Scala 变量使用说明2.4.1 变量声明基本语法2.4.2 注意事项2.5 Scala 程序中 +号 的使用2.6 Scala 数据类型2.6.1 scala 数据类型体系一览图2.6.2 scala 数据类型列表2.7 整数类型2.7.1 基本介绍2.7.2 整型的类型2.7.3 整型的使用细节2.8 浮点类型2.8.1 基本介绍2.8.2 浮点型的分类2.8.3 浮点型使用细节2.9 字符类型：Char2.9.1 基本介绍2.9.2 案例演示2.9.3 字符类型使用细节2.9.4 字符类型本质探讨2.10 布尔类型：Boolean2.11 Unit 类型、Null 类型和 Nothing 类型2.11.1 基本说明2.11.2 使用细节和注意事项2.12 值类型转换2.12.1 值类型隐式转换2.12.2 自动类型转换细节说明2.12.3 高级隐式转换和隐式函数2.12.4 强制类型转换2.13 值类型转换练习题2.14 值类型和 String 类型的转换2.14.1 介绍2.14.2 基本数据类型转 String 类型2.14.3 String 类型转基本数据类型2.14.4 注意事项2.15 标识符的命名规范2.15.1 标识符概念2.15.2 标识符的命名规则(要记住)2.15.3 标识符举例说明2.15.4 标识符命名注意事项2.15.5 Scala 关键字2.16 作业01
最新全家桶激活码获取方法：https://docs.qq.com/doc/DS3hpVWFnQ2ZGVnhH
内存泄漏（memory leak），指由于疏忽或错误造成程序未能释放已经不再使用的内存的情况。
问题导读 1.Scala中有哪些常见符号？ 2.本文讲了哪些符号？ 3.你对符号的理解是什么？ 4.<-,->,=>,Int=,_ 它们含义是什么？用在什么地方？ 当我们学习spark的时候，我们知道spark是使用Scala语言开发的，由于语言是相通的，所以对于传统程序员【Java，.net，c等】，我们能看懂Scala程序是没有问题的。但是当我们看到它的时候，却傻眼了。那么多符号，左箭头，右箭头，下划线等等搞得摸不着头脑。 看来如果想顺利的学习，我们必须学一下Scala了。很多都是从变量定义，函
SBT 一直以来都是 Scala 开发者不可言说的痛，最主要的原因就是官方文档维护质量较差，没有经过系统的、循序渐进式的整理，导致初学者入门门槛较高。虽然也有其它构建工具可以选择(例如 Mill)， 但是在短时间内基本上不可能撼动 SBT 的地位，毕竟它是 Scala 名正言顺的亲儿子。当然还有另外一个原因可能导致其它构建工具永远没有机会，Scala 语言以其卓越的编译器著称，编译器支持的丰富特性需要和构建工具进行无缝对接，例如 Scala 的 Macro 需要和构建工具的增量编译密切配合，在和编译器对接方面，SBT 具有先天优势。既然别无选择，只能选择默默忍受。下面分享在SBT使用过程中的一些常用技巧。
Scala确是一门神奇的语言，从语言特性上来说远比Java、Python更加学院派，Martin大大作为一名教授，使得每个Scala新的特性大多会有一篇博士论文作为支持，不像Python，只有一个PEP提案。看来语言的发明者是教授确实好处很多，但是带来的坏处也不言而喻，曲高而和寡，叫好而不叫座。例如扎根Scala里的函数式编程思想，使用val表示不变量还好理解，高阶函数和惰性求值也还好，稍微思考下也能勉强理解能用了，monoid是什么鬼？可应用和可遍历的函子又是啥？相信读者大部分也一脸迷糊了。这就是Scala，用Scala写Java的程序也还好，毕竟Scala兼容Java，允许程序员龟缩在自己的一亩三分地，抱怨着“学不动了”，更甚者，作为一个允许在Jvm上的，静态类型的编译语言，Scala也能让你写出Python的感觉。
在享用了这么久kafka提供的各种福利后, 咱们也来精进一下,看看kafka的各部分实现,知其然也知一点所以然; 题目起得有点大,其实完全是临时起意,希望能坚持下去; 本身其实不是java程序员,scala也是半吊子, 但是特别喜欢scala啊~~~ Kafka最近的版本更新有点快, 但是这一系列文章是基于kafka 0.9.1版本; 这里的文章不会事无巨细,但求将主脉络理清. ---- Kafka的网络层模型概述 这个模型其实一点也不神秘,很质朴,很清晰,也很好用,引用源码中的一句话: The thre
如果你之前是一名 Java 程序员，并了解 Java 语言的基础知识，那么你能很快学会 Scala 的基础语法。
无论对于Java程序员还是大数据研发人员，JVM是必须掌握的技能之一。既是面试中经常问的问题，也是在实际业务中对程序进行调优、排查类似于内存溢出、栈溢出、内存泄漏等问题的关键。笔者将按下图分多篇文章详细阐述JVM：
“开头的标识符为保留的 Scala 编译器产生的标志符使用，应用程序应该避免使用”$"开始的标识符，以免造成冲突。
引言 对于大部分应用开发者来说，Java编译器指的是JDK自带的javac指令。这一指令可将Java源程序编译成.class文件，其中包含的代码格式我们称之为Java bytecode（Java字节码）。这种代码格式无法直接运行，但可以被不同平台JVM中的interpreter解释执行。由于interpreter效率低下，JVM中的JIT compiler（即时编译器）会在运行时有选择性地将运行次数较多的方法编译成二进制代码，直接运行在底层硬件上。Oracle的HotSpot VM便附带两个用C++实现的
JVM Java Virtual Machine JDK Java Development Kit JRE Java Runtime Environment 看上图官方的介绍讲的很清楚
在JVM生态下流行的语言有好几种，最出名的应该就是Scala和Kotlin了。最近准备除了Java本身之外在学习一种JVM生态下的语言，Scala和Kotlin都是候选语言。
继续学习，这一篇主要是通过scala来吐槽java的，同样是jvm上的语言，差距咋就这么大呢？ 作为一个有.NET开发经验的程序员，当初刚接触java时，相信很多人对java语言有以下不爽（只列了极小一部分）： 1. 一堆的setter/getter方法，没有c#中的property属性概念 2. 方法的参数值，不能设置缺省值 3. 不定个数参数的写法太单一 ... 然后java的拥护者讲出一堆大道理，说这样设计是如何如何有道理，各种洗脑，时间长了，也就被迫习惯了。要不是遇到scala，我还真就信了，你看看
第一篇 理解 Java GC 中我们学习了不同GC算法的处理过程，GC是如何工作的，什么是年轻代和老年代，JDK7中的5种GC类型，以及每种GC类型对性能的影响。
更多详情请查看：https://blog.jetbrains.com/idea/2021/07/intellij-idea-2021-2/
在前文的末尾，我们分析了静态内存管理器StaticMemoryManager的优缺点，并指出统一内存管理器UnifiedMemoryManager能够弥补它的缺点，同时也是目前Spark内存管理的事实标准。本文尽可能深入地剖析UnifiedMemoryManager的具体实现。
IntelliJ IDEA 2021.2 正式发布啦！快来看看又出了哪些神器的功能~
如果应用程序的执行时间越来越长，或者操作系统的执行速度越来越慢，这可能是内存泄漏的迹象。换句话说，正在分配虚拟内存，但在不再需要时不会返回。最终应用程序或系统内存不足，应用程序异常终止。
变量是一种使用方便的占位符，用于引用计算机内存地址，变量创建后会占用一定的内存空间。
Null 值由来已久，它最早是由 Tony Hoare 图方便而创造的，后来被证明这是个错误，而他本人也对此进行了道歉，并称之为「十亿美金错误」1。
1.实时分析 在我们开始之前，让我们来看看美国社交媒体比较有名的企业每分钟产生的数据量。
部分由于Linkerd的性能数字和一流的安全审计报告，最近对Linkerd2-proxy（Linkerd使用的底层代理）的兴趣激增。作为一名Linkerd2维护者，我大部分时间都在Linkerd2-proxy上工作，所以这个主题非常贴近我的内心。在本文中，我将更详细地介绍Linkerd2-proxy是什么以及它是如何工作的。
如果你是一个c++程序员，现在正在学习Java，你会发现这两种流行的面向对象编程语言有很多相似之处。这两种语言都支持抽象、封装、类、对象和其他OOP概念。但是，也有一些细微的差别。Java和c++都有构造函数，它们在Java中的工作方式与在c++中的工作方式相同。但是，他们的名字是不一样的。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
