tail 集合最后一个数据last，除过最后一个元素的初始数据init 反转reverse 取前（后）n 个元素 take(n) takeRight(n) 去掉前（后）n 个元素...Map操作： 过滤 filter(过滤条件)：遍历一个集合并从中获取满足指定条件的元素组成一个新的集合 映射map(自定义映射函数)：将集合中的每一个元素映射到某一个函数 扁平化flatten 将集合中集合元素拆开...，去掉里层集合，放到外层中来....相当于先进行 map 操作，在进行 flatten 操作 分组 groupBy(分组规则) 按照指定的规则对集合的元素进行分组 Reduce操作： 简化/规约 reduce 对所有数据做一个处理，规约得到一个结果...：将集合中出现的相同的单词，进行计数，取计数排名前三的结果 分析过程 图片来源于网络 实操代码： 经典版本的wordCount object Test_CommonWordCount
WordCount WordCount是一个最简单的分布式应用实例，主要功能是统计输入目录中所有单词出现的总次数。..."), Seq(System.getenv("SPARK_TEST_JAR"))) 因为我这是在本地写的可能没有涉及这些参数。...我们要从HDFS上读取文本数据，可以使用SparkContext中的textFile函数将输入文件转换为一个RDD，该函数采用的是 例如源码HdfsWordCount.scala Hadoop中的TextInputFormat...sc.hadoopRDD(conf,inputFormatClass,classOf[Text],classOf[Text] 步骤3：通过RDD转换算子操作和转换RDD，对于WordCount而言，首先需要从输入数据中每行字符串中解析出单词...，然后将相同单词放到一个桶中，最后统计每个桶中每个单词出现的频率，举例如下： valline= hadoopRdd.flatMap{ case(key,value) => value.toString
类名 - 对于所有的类名的第一个字母要大写。 如果需要使用几个单词来构成一个类的名称，每个单词的第一个字母要大写。...示例：class MyFirstScalaClass 方法名称 - 所有的方法名称的第一个字母用小写。 如果若干单词被用于构成方法的名称，则每个单词的第一个字母应大写。...混合标志符由字符数字标志符后面跟着一个或多个符号组成，比如 unary_+ 为 Scala 对+方法的内部实现时的名称。字面量标志符为使用"定义的字符串，比如 x yield。...你可以在"之间使用任何有效的 Scala 标志符，Scala 将它们解释为一个 Scala 标志符，一个典型的使用为 Thread 的 yield 方法， 在 Scala 中你不能使用 Thread.yield...println("comma: " + s1 + ", " + s2) 六、Scala 包 定义包 Scala 使用 package 关键字定义包，在Scala将代码定义到某个包中有两种方式
统计单词出现次数 groupBy方法可以将序列转换成Map，适合用在需要按某个属性进行统计的情况。...将序列中单词首字母大写 map可以把序列转换成另一个序列，在map方法中定义各个元素的转换过程。...将序列拼接成字符串 mkString方法用于将序列拼接成字符串，第1个参数是起始符号，第2个参数是分隔符，第3个参数是结束符号。...最大值，最小值和求和 这在Scala中轻而易举，直接调用min，max和sum方法。...读取文本文件 在Scala中读取文本文件相当轻松。
什么是正则表达式 正则表达式(regular expression)描述了一种字符串匹配的模式（pattern），可以用来检查一个串是否含有某种子串、将匹配的子串替换或者从某个串中取出符合某个条件的子串等...所获取的匹配可以从产生的Matches集合得到，在VBScript中使用SubMatches集合，在JScript中则使用$0…$9属性。要匹配圆括号字符，请使用“(”或“)”。 (?...预查不消耗字符，也就是说，在一个匹配发生后，在最后一次匹配之后立即开始下一次匹配的搜索，而不是从包含预查的字符之后开始。 (?!...注意:只有连字符在字符组内部时,并且出现在两个字符之间时,才能表示字符的范围; 如果出字符组的开头,则只能表示连字符本身. [^a-z] 负值字符范围。匹配任何不在指定范围内的任意字符。...，表示非贪婪模式，当开始匹配到aaaacb已经满足了要求，找打了第一个；接下来开始再次匹配，匹配到了ab；再次匹配到了adceb 在贪婪模式的例子中，程序会找到最长的那个符合要求的字符串 在最后的例子中
在DataSet数据有限的情况下，对于一个DataStream元素的数量可以是无界的。 这些集合在某些关键方面与常规Java集合不同。首先，它们是不可变的，这意味着一旦创建它们就无法添加或删除元素。...Desc: */ object SocketWindowWordCountScala { def main(args: Array[String]) : Unit = { // 定义一个数据类型保存单词出现的次数...flink是懒加载的，所以必须调用execute方法，上面的代码才会执行 env.execute("streaming word count"); } /** * 主要为了存储单词以及单词出现的次数...您可以检查Web界面以验证作业是否按预期运行： 单词在5秒的时间窗口（处理时间，翻滚窗口）中计算并打印到stdout。...监视TaskManager的输出文件并写入一些文本nc（输入在点击后逐行发送到Flink）： 三.
值得注意的是Scala中的类型关键字均为大写开头的单词，例如整型写作Int。 变量类型推断是Scala语言的一大特色，在前篇入门介绍文章中也给予解释，后续也将多次提及，此处暂且略过。...和String的方式），而在Scala中二者则截然不同：String类型是一个字符串，用双引号表示，即便双引号之内仅有单个字符时也是一个String类型；而Char类型仅能是单个字符，用单引号表示，例如一个...1隐式转换为了字符串"1"，而后完成字符串拼接 val res2: String = C1 最后，值得补充的是，Scala中所有类型的顶级父类（超类）是Any，而所有类型的子类是Nothing。...而所有类型的公共交集，则自然是Nothing，因为不存在一种数据既是字符串、又是数值，同时还是布尔类型等等。 03 变量/标识符命名规范 最后，简单介绍Scala中的变量命名规范。...Scala变量命名用驼峰式命名，具体又区分大驼峰和小驼峰，其中大驼峰是所有单词均首字母大写，例如类名；而小驼峰则是除第一个单词以后的单词均首字母大写，例如狭义的变量和函数方法名。 ?
Trie中每个节点有一个特殊标记作为结束符号，通过该标记可以判断当前节点是否是一个字符串的终结节点。... 当end>0时表示结束节点 private int end=0; //从根节点到该结束节点组成的字符串的重复数量 即单词列表中每个单词的词频 private int...} Trie树中是否包某个前缀 //以某个字符串开头 比如字符串列表中有[abb,abbb],则ab返回true public boolean startWith(String word... 当end>0时表示结束节点 private int end=0; //从根节点到该结束节点组成的字符串的重复数量 即单词列表中每个单词的词频 private int...false 根节点前序遍历,获取所有单词和它出现的次数 abb出现几次:1 b出现几次:1 ba出现几次:1 bdd出现几次:1 abbc出现几次:1 ab出现几次:2 以ab开头的前缀出现几次：4 包含
（pattern），可以用来检查一个串是否含有某种子串、将匹配的子串替换或者从某个串中取出符合某个条件的子串等。...所获取的匹配可以从产生的Matches集合得到，在VBScript中使用SubMatches集合，在JScript中则使用$0…$9属性。要匹配圆括号字符，请使用“(”或“)”。 (?...预查不消耗字符，也就是说，在一个匹配发生后，在最后一次匹配之后立即开始下一次匹配的搜索，而不是从包含预查的字符之后开始。 (?!...注意:只有连字符在字符组内部时,并且出现在两个字符之间时,才能表示字符的范围; 如果出字符组的开头,则只能表示连字符本身. ^a-z 负值字符范围。匹配任何不在指定范围内的任意字符。...，表示非贪婪模式，当开始匹配到aaaacb已经满足了要求，找到了第一个；接下来开始再次匹配，匹配到了ab；再次匹配到了adceb 在贪婪模式的例子中，程序会找到最长的那个符合要求的字符串 在最后的例子中
类名 - 对于所有的类名的第一个字母要大写。 如果需要使用几个单词来构成一个类的名称，每个单词的第一个字母要大写。...示例：class MyFirstScalaClass 方法名称 - 所有的方法名称的第一个字母用小写。 如果若干单词被用于构成方法的名称，则每个单词的第一个字母应大写。...混合标志符由字符数字标志符后面跟着一个或多个符号组成，比如 unary_+ 为 Scala 对+方法的内部实现时的名称。字面量标志符为使用"定义的字符串，比如 `x` `yield`。...你可以在"之间使用任何有效的 Scala 标志符，Scala 将它们解释为一个 Scala 标志符，一个典型的使用为 Thread 的 yield 方法， 在 Scala 中你不能使用 Thread.yield...例如 val s = "菜鸟教程"; println(s) ---- Scala 包 定义包 Scala 使用 package 关键字定义包，在Scala将代码定义到某个包中有两种方式： 第一种方法和
类名 - 对于所有的类名的第一个字母要大写。 如果需要使用几个单词来构成一个类的名称，每个单词的第一个字母要大写。...示例：class MyFirstScalaClass 方法名称 - 所有的方法名称的第一个字母用小写。 如果若干单词被用于构成方法的名称，则每个单词的第一个字母应大写。...包 定义包 Scala 使用 package 关键字定义包，在Scala将代码定义到某个包中有两种方式： 第一种方法和 Java 一样，在文件的头定义包名，这种方法就后续所有代码都放在该包中。...在字符或字符串中，反斜线和后面的字符序列不能构成一个合法的转义序列将会导致 编译错误。...在 Scala 中，使用关键词 "var" 声明变量，使用关键词 "val" 声明常量。
\ R\ Scala\ 还有一个目录： 复制代码 Data\ 它包含一个 Python 脚本，该脚本在读取大量文件时生成测试用例所需的 NetCDF4 文件。...在后续的每个项中，前一个项中每个整数出现的次数连接到该整数的前面。如，一个项 1223，接下来将会是 112213 ，或“一个 1，两个 2，一个 3”。...文件中的唯一单词 我们打开一个任意文件，并计算其中唯一单词的数量，假设单词如下： 复制代码 ab Ab aB a&*(-b: 17;A#~!...表 UQW-1.0：在 Xeon 节点上计算文件中的唯一单词所用的时间。...字符串操作： 与其他语言相比，Java 和 Scala 在操作大型字符串时，似乎具有显著的性能。 数值计算： 与其他语言相比，R 在使用递归时似乎具有显著的性能。
将单词计数结果发送给MainActor MainActor等待所有的WordCountActor都已经成功返回消息，然后进行结果合并 步骤1 | 获取文件列表 实现思路 在main方法中读取指定目录...中获取到的消息（封装到一个Future列表中） 在WordCountActor中接收并打印消息 参考代码: MainActor.scala ?...单词计算后的结果 实现步骤 定义一个样例类封装单词计数结果 将单词计数结果发送给MainActor MainActor中检测所有WordActor是否均已返回，如果均已返回，则获取并转换结果 打印结果...因为该部分已经在WordCountActor已经编写过，所以抽取这部分一样的代码到一个工具类中，再调用合并得到最终结果。...实现步骤 创建一个用于单词合并的工具类 抽取重复代码为一个方法 在MainActor调用该合并方法，计算得到最终结果，并打印 参考代码 WordCountUtil.scala ?
1.1.3 步骤 IDEA 创建项目 导入 Flink 所需的 Maven 依赖 创建 scala 单例对象，添加 main 方法 获取 Flink 批处理运行环境 构建一个 collection 源...使用 flink 操作进行单词统计 打印 1.1.4 实现 在 IDEA 中创建 flink-base 项目 导入 Flink Maven 依赖 分别在 main 和 test 目录创建 scala 文件夹...添加 main 方法 获取批处理运行环境 val env = ExecutionEnvironment.getExecutionEnvironment 构建一个 collection 源 val wordDataSet...其中需要用到一个方法，writeAsText()：TextOuputFormat - 将元素作为字符串写入行。字符串是通过调用每个元 素的 toString()方法获得的。...下一篇博客，我们将学习Flink中的 Transformation 转换算子，敬请期待|ू･ω･` ) 如果以上过程中出现了任何的纰漏错误，烦请大佬们指正?
"\n"); 这创建了一个字符串类型的 DataStream。...在本示例中，我们的目的是每统计每个单词在特定时间窗口中出现的次数，比如说5秒一个窗口。...我们首先要将字符串数据解析成单词和次数（使用Tuple2表示），第一个字段是单词，第二个字段是次数，次数初始值都设置成了1。...我们为每个key每个窗口指定了 reduce 聚合函数，相同单词的出现次数相加，最终得到一个结果数据流，每5秒内的每个单词出现的次数。...输入字符串解析为 DataStream> wordsCount = text.flatMap(new FlatMapFunction
（英语：Regular Expression，在代码中常简写为regex、regexp或RE），计算机科学的一个概念。 正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本。...目的 给定一个正则表达式和另一个字符串，我们可以达到如下的目的： 给定的字符串是否符合正则表达式的过滤逻辑（称作“匹配”）： 可以通过正则表达式，从字符串中获取我们想要的特定部分。...(pattern) 匹配pattern并获取这一匹配。所获取的匹配可以从产生的Matches集合得到，在VBScript中使用SubMatches集合，在JScript中则使用$0…$9属性。...预查不消耗字符，也就是说，在一个匹配发生后，在最后一次匹配之后立即开始下一次匹配的搜索，而不是从包含预查的字符之后开始。 (?!...注意:只有连字符在字符组内部时,并且出现在两个字符之间时,才能表示字符的范围; 如果出字符组的开头,则只能表示连字符本身. [^a-z] 负值字符范围。匹配任何不在指定范围内的任意字符。
我们需要copy一份words数组，如果当前子串s与copy数组中某个字符串匹配，那么就将对应的字符串从copy数组中删除，然后继续去看区间剩余子串匹配情况。...只有当copy数组中最后元素都被删除时，才表明当前滑动区间满足题意。...words数组中每个字符串出现的次数，一个记录当前滑动窗口中每一个字符串出现的次数。...哈希容器作用体现: 判断当前子串的出现次数是否超过了对应words数组中该串出现的次数。 图解: 我们把 words 存到一个 HashMap 中。 然后遍历当前滑动区间的每个单词。...第一个单词在 HashMap1 中，然后我们把 foo 存到 HashMap2 中。
，用buzz单词替代任何可以被五整除的数字。...put（c，binary） 5、使用in检查集合和区间的成员 使用in运算符来检查一个值是否在区间中，或者它的逆运算!in来检查这个值是否不在这个区间中。...Scala") //和“Java” <= “Kotlin” && “Kotlin” <= “Scala”一样 //true 字符串在这里是按字母比较的，因为那是String类是这样实现Comparable...in同样适用于集合 println(“Kotlin” in setOf(“Java”, “Scala”，“hello”)) //这个集没有“Kotlin”字符串 //false kotlin不包含在集合里面...in运算符来检查某个值是否属于某个区间。 3、..包含起始值和结束值。
Flink入门案例需求：读取本地数据文件，统计文件中每个单词出现的次数。...步骤如下：1、打开IDEA，创建空项目2、在IntelliJ IDEA 中安装Scala插件使用IntelliJ IDEA开发Flink，如果使用Scala api 那么还需在IntelliJ IDEA...源为"scala":在"FlinkScalaCode"模块Maven pom.xml中引入Scala依赖包，这里使用的Scala版本为2.12.10。...二、案例数据准备在项目"MyFlinkCode"中创建"data"目录，在目录中创建"words.txt"文件，向文件中写入以下内容，方便后续使用Flink编写WordCount实现代码。...，还可以在Flink配置文件(flink-conf.yaml)中设置execution.runtime-mode参数来指定对应的模式，也可以在集群中提交Flink任务时指定execution.runtime-mode
Tag : 「双向 BFS」 字典 wordList 中从单词 beginWord 和 endWord 的 转换序列 是一个按下述规格形成的序列： 序列中第一个单词是 beginWord 。...序列中最后一个单词是 endWord 。 每次转换只能改变一个字母。 转换过程中的中间单词必须是字典 wordList 中的单词。...= endWord wordList 中的所有字符串 互不相同 基本分析 根据题意，每次只能替换一个字符，且每次产生的新单词必须在 wordList 出现过。...当枚举到新单词 str 时，需要先检查是否已经存在与「哈希表」中，如果不存在则更新「哈希表」并将新单词放入队列中。...总结 这本质其实是一个「所有边权均为 1」最短路问题：将 beginWord 和所有在 wordList 出现过的字符串看做是一个点。每一次转换操作看作产生边权为 1 的边。
领取专属 10元无门槛券
手把手带您无忧上云
