异步编程有点难以理解，这东西感觉不符合常理，因为我们思考都是按照串行的逻辑，事都是一件一件办，步子迈大了，咔，容易扯着蛋。但在异步计算的情况下，充分利用cpu资源，而任务回调往往分散在代码片段中，需要理解其中的意义，可不是一件容易的事。
在编程的时候，常常会遇到需要并行处理一些代码，最原始的做法就是创建不同的线程进行处理，但是线程之间的同步处理非常麻烦而且容易出错，如果要同时得到几个线程的结果并且通过这些结果进行进一步的计算，则需要共享变量或者进行线程间通信，无论如何都非常难以处理。另外，直接使用线程也使得代码灵活性不高，比如在双核机器上可能只希望使用两个线程执行代码，到了四核机器上就希望最多能有四个线程了。Future 能够提供一个高层的抽象，将计算任务的并发化和计算最终的执行方式分离，使得这类处理更为方便。Future 作为一个代理对象代表一个可能完成也可能未完成的值 1，通过对 future 进行操作，能够获取内部的计算是否已经完成，是否出现异常，计算结果是什么等信息。
以下示例代码是用Scala写的，不过本文所讲的话题并不仅限于Scala，任何有Future/Promise支持的语言都是适用的。
在Scala中编写一个爬虫程序来爬取店铺商品并进行可视化处理，需要使用Selenium和Jsoup库来操作网页。在这个例子中，我们将使用多线程来提高爬取速度。
Flink程序是实现分布式集合转换的常规程序（例如，过滤，映射，更新状态，加入，分组，定义窗口，聚合）。最初从源创建集合（例如，通过从文件，kafka主题或从本地的内存集合中读取）。结果通过接收器返回，接收器可以例如将数据写入（分布式）文件或标准输出（例如，命令行终端）。 Flink程序可以在各种环境中运行，独立运行或嵌入其他程序中。执行可以在本地JVM中执行，也可以在许多计算机的集群上执行。
摘要：R是数据科学家中最流行的编程语言和环境之一，在Spark中加入对R的支持是社区中较受关注的话题。作为增强Spark对数据科学家群体吸引力的最新举措，最近发布的Spark 1.4版本在现有的Scala/Java/Python API之外增加了R API（SparkR）。SparkR使得熟悉R的用户可以在Spark的分布式计算平台基础上结合R本身强大的统计分析功能和丰富的第三方扩展包，对大规模数据集进行分析和处理。本文将回顾SparkR项目的背景，对其当前的特性作总体的概览，阐述其架构和若干技术关键点，最后进行展望和总结。
本文是我在中生代技术群分享的话题《创业一年经历的技术风雨》中的第三部分《研发团队总结的技术实践》。若要阅读第二部分《技术团队的管理》，请移步中生代技术群公众号。 与大多数团队相比，因为我们使用了小众的Scala，可以算得上是“捞偏门”了，所以总结的技术实践未必具有普适性，但对于同为Scala的友朋，或许值得借鉴一二。Scala社区发出的声音还是太小，有点孤独——“鹦其鸣也，求其友声”。 这些实践不是书本上的创作，而是在产品研发中逐渐演化而来，甚至一些实践会非常细节。不过，那个优秀的产品不是靠这些细节堆砌出来
Flink程序是执行分布式集合转换(例如，filtering, mapping, updating state, joining, grouping, defining windows, aggregating)的常规程序。集合创建于原始的数据源(例如，通过从文件读取，kafka主题或从本地内存集合中进行创建)。通过sinks返回结果，例如将数据写入（分布式）文件或标准输出(例如，命令行终端)。Flink程序以各种上下文运行，独立或嵌入其他程序中。执行可能发生在本地JVM或许多机器的集群上。取决于数据源的类
在本文中，我们将演示如何在Scala的集合上使用exists函数，该函数适用于Scala的可变（Mutable）和不可变（Immutable）集合。
摘要：R是非常流行的数据统计分析和制图的语言及环境，有调查显示，R语言在数据科学家中使用的程度仅次于SQL，但大数据时代的海量数据处理对R构成了挑战。 摘要：R是数据科学家中最流行的编程语言和环境之一，在Spark中加入对R的支持是社区中较受关注的话题。作为增强Spark对数据科学家群体吸引力的最新举措，最近发布的Spark 1.4版本在现有的Scala/Java/Python API之外增加了R API（SparkR）。SparkR使得熟悉R的用户可以在Spark的分布式计算平台基础上结合R本身强大的统计
一个传统的Futrue代表一个异步计算的结果：一个可能完成也可能没有完成输出结果的计算。一个Future可以用在进度计算，或者说是 一个提供给我们结果的服务的承诺。一个ListenableFuture允许注册当你在计算完成的时候的回调，或者计算已经完成了。这个简单的增强让高效支持多种操作成为可能。而Future接口并不能支持。ListenbleFuture中添加的基本操作是addListener（Runnable , Executor ），它指出了当未来计算完成时，指定的Runnable会在指定的Executor中运行。
在scala中可以方便的实现异步操作，这里是通过Future来实现的，和java中的Future很相似，但是功能更加强大。
Traversable 遍历 Iterable 迭代 Set无序集合 Sequence序列 Map映射
使用 LightBend 平台（包括 Scala 和 Akka）的一个主要好处是简化了并发软件的编写过程。本文讨论了 LightBend 平台，特别是 Akka 如何在并发应用程序中处理共享内存。
第一章：基础 1、声明变量：val name1，name2: String=”hello” val不可变变量，var可变。 2、常用类型：Byte、Char、Short、Int、Long、Float、Double、Boolean。但是不像Java这里是是实实在在的类，具有方法。 3、+-*/等操作符其实是方法:a + b类似于a.+(b).Scala中可以将方法调用的.省略：如1.to(10) 类似于1 to 10。 4、没有++操作符，因为Scala中大部分的算术类型都是不可变的如Int类型。 5、Sca
高阶函数通常来讲就是函数的函数，也就是说函数的输出参数是函数或者函数的返回结果是函数。在Scala中函数是一等公民。
Flink DataStream 应用程序所处理的事件以数据对象的形式存在。函数调用时会传入数据对象，同时也可以输出数据对象。因此，Flink 在内部需要能够处理这些对象。当通过网络传输或者读写状态后端、检查点以及保存点时，需要对它们进行序列化和反序列化。为了能够更高效的做到这一点，Flink 需要详细了解应用程序处理的数据类型。Flink 使用类型信息的概念来表示数据类型，并为每种数据类型生成特定的序列化器、反序列化器以及比较器。
python因为其全局解释器锁GIL而无法通过线程实现真正的平行计算。这个论断我们不展开，但是有个概念我们要说明，IO密集型 vs. 计算密集型。 IO密集型：读取文件，读取网络套接字频繁。 计算密集型：大量消耗CPU的数学与逻辑运算，也就是我们这里说的平行计算。 而concurrent.futures模块，可以利用multiprocessing实现真正的平行计算。 核心原理是：concurrent.futures会以子进程的形式，平行的运行多个python解释器，从而令python程序可以利用多核CPU来
本次 Scala 之旅教程包含了对于大多数 Scala 特性的简单介绍。主要针对 Scala 这门语言的初学者。
继 Spark 之后，UC Berkeley AMP 实验室又推出一重磅高性能AI计算引擎——Ray，号称支持每秒数百万次任务调度。那么它是怎么做到的呢？在试用之后，简单总结一下：
问题导读 1.Scala中有哪些常见符号？ 2.本文讲了哪些符号？ 3.你对符号的理解是什么？ 4.<-,->,=>,Int=,_ 它们含义是什么？用在什么地方？ 当我们学习spark的时候，我们知道spark是使用Scala语言开发的，由于语言是相通的，所以对于传统程序员【Java，.net，c等】，我们能看懂Scala程序是没有问题的。但是当我们看到它的时候，却傻眼了。那么多符号，左箭头，右箭头，下划线等等搞得摸不着头脑。 看来如果想顺利的学习，我们必须学一下Scala了。很多都是从变量定义，函
变量是一种使用方便的占位符，用于引用计算机内存地址，变量创建后会占用一定的内存空间。
Future是Java 5添加的类，用来描述一个异步计算的结果。你可以使用isDone方法检查计算是否完成，或者使用get阻塞住调用线程，直到计算完成返回结果，你也可以使用cancel方法停止任务的执行。
第一次接触futures模块是在tornado中，tornado4.0版本使用futures频率很高，因为tornado本身的corouting的异步功能，是需要逻辑里面所调用的模块本身就支持异步才可以实现，而futures模块恰恰支持异步。在futures模块中，我们关心的是Executor和Future这两个类。
Python中进行并发编程一般使用threading和multiprocessing模块，不过大部分的并发编程任务都是派生一系列线程，从队列中收集资源，然后用队列收集结果。在这些任务中，往往需要生成线程池，concurrent.futures模块对threading和multiprocessing模块进行了进一步的包装，可以很方便地实现池的功能。
随着 JavaScript 使用的不断增加，异步事件驱动的应用程序变得越来越流行。 但是，许多开发者经常面临的一个问题是：在异步环境中进行依赖于结果的操作。
Scala入门 Scala简介 ps：在最新的薪资调查中，Scala程序员的工资是平均最高的Scala工资。 Scala是一门多范式的编程语言，一种类似java的编程语言，设计初衷是实现可伸缩的语言 、并集成面向对象编程和函数式编程的各种特性。Scala的官网地址为：http://www.Scala-lang.org/ Scala有几项关键特性表明了它的面向对象的本质。例如，Scala中的每个值都是一个对象，包括基本数据类型（即布尔值、数字等）在内，连函数也是对象。另外，类可以被子类化，而且Scal
----------------------------------------------------------------------------- python
按照Erik的介绍，我们可以把Promise当作装载Future对象的邮箱/容器。
Scala入门 Scala简介 ps：在最新的薪资调查中，Scala程序员的工资是平均最高的Scala工资。 Scala是一门多范式的编程语言，一种类似java的编程语言，设计初衷是实现可伸缩的语言 、并集成面向对象编程和函数式编程的各种特性。Scala的官网地址为：http://www.Scala-lang.org/ Scala有几项关键特性表明了它的面向对象的本质。例如，Scala中的每个值都是一个对象，包括基本数据类型（即布尔值、数字等）在内，连函数也是对象。另外，类可以被子类化，而且Scala还提供
5年前，Scala 似乎曾要成为编程语言中下一个佼佼者，因为它能够优雅得使用面向对象编程范式进行函数编程。 现如今，随着像 LinkedIn 和 Yammer 这些公司的弃用，Scala 的光环正逐渐黯淡。 2012 年的 TIOBE 编程语言受欢迎度排行榜上，Scala 排名第 13 位；2016 年 8 月竟下降到第 32 位，现在只有不到 6% 的编程社区在使用它。 不祥的预兆：Lightbend，Scala 的母公司，在先前的 Scala 版本上发布了一款使用 Java API 的新框架。 有趣的是
隐式类是在scala 2.10中引入的，隐式类指的是用implicit关键字修饰的类。在对应的作用域内，带有这个关键字的类的主构造函数可用于隐式转换。
几年前，一篇表述“10个Scala函数式单行代码”的文章非常受欢迎，并且随后立马出现了其他的语言版本，例如Haskell版本，Ruby版本，Groovy版本，Clojure版本，Python版本，C#版本，F#版本，CoffeeScript版本等。
DataSet 和 RDD 类似, 但是DataSet没有使用 Java 序列化或者 Kryo序列化, 而是使用一种专门的编码器去序列化对象, 然后在网络上处理或者传输.
3.4 Spark通信机制 前面介绍过，Spark的部署模式可以分为local、standalone、Mesos、YARN等。 本节以Spark部署在standalone模式下为例，介绍Spark的通信机制（其他模式类似）。 3.4.1 分布式通信方式 先介绍分布式通信的几种基本方式。 1. RPC 远程过程调用协议（Remote Procedure Call Protocol, RPC）是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC假定某些传输协议的存在，如TCP或UD
因为none值和0等，在判断语句中都类似false，可能跟正常情况冲突。python更推崇抛出异常的方式来处理特殊情况。所以异常情况可以直接抛出自定义的异常，让外面处理，没有异常，都是正常值。
作为一种在Java虚拟机（JVM）上运行的静态类型编程语言，Scala结合了面向对象和函数式编程的特性，使它既有强大的表达力又具备优秀的型态控制。
Option 是一个表示有可能包含值的容器。 Option 本身是泛型的，并且有两个子类： Some[T] 或 None
Scala简介 “Scala是一门现代的多范式编程语言，志在以简练、优雅及类型安全的方式来表达常用编程模式。它平滑地集成了面向对象和函数语言的特性。” Scala意在伸缩性，语言的伸缩性受许多因素影响，范围从语法细节到控件的抽象构造。如果我们一定要说出Scala中有助伸缩性的一个方面，我们会把面向对象和函数式编程的组合拣出来（呵呵，不厚道了一把，这的确是两个方面，但是纠缠在了一起）。 Scala在把面向对象和函数式编程熔合成一套语言的设计方面比其他众所周知的语言都走得更远。比方说，其他语言或许把对象和方
3.将features和plugins两个文件夹拷贝到eclipse安装目录中的” dropins/scala”目录下。进入dropins，新建scala文件夹，将两个文件夹拷贝到“dropins/scala”下
并发编程是刚需，尤其是在多 I/O 操作时，多线程，协程，多进程三路英雄各显神通。多线程，协程属于并发操作，多进程属于并行操作，那么你是否清楚了什么是并发，什么是并行？
编程语言中最为基础的一个概念是控制结构，几乎任何代码都无时无刻不涉及到，其实也就无外乎3种：顺序、分支和循环。本文就来介绍Scala中控制结构，主要是分支和循环。
最近，出版社邀请我作为分享导师为Bruce Eckel的大作OnJava录制部分视频，视频内容主要面向Java初学者。录制到14.4章节，书中详细介绍了Java 8引入的Optional类型，我忽然想起很早以前写的一篇文章《并非Null Object这么简单》。
去年年底，在公司大佬的带领下，我们结合架构守护的需要，对代码进行了简单的建模。在过去的几个月里，我一直工作在相关的事项上，不断地优化、改进相关的模型：
之前，学习过了使用for表达式来遍历集合。我们接下来将学习scala的函数式编程，使用foreach方法来进行遍历、迭代。它可以让代码更加简洁。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
