首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

聊聊Scala

Scala确是一门神奇的语言,从语言特性上来说远比Java、Python更加学院派,Martin大大作为一名教授,使得每个Scala新的特性大多会有一篇博士论文作为支持,不像Python,只有一个PEP提案。看来语言的发明者是教授确实好处很多,但是带来的坏处也不言而喻,曲高而和寡,叫好而不叫座。例如扎根Scala里的函数式编程思想,使用val表示不变量还好理解,高阶函数和惰性求值也还好,稍微思考下也能勉强理解能用了,monoid是什么鬼?可应用和可遍历的函子又是啥?相信读者大部分也一脸迷糊了。这就是Scala,用Scala写Java的程序也还好,毕竟Scala兼容Java,允许程序员龟缩在自己的一亩三分地,抱怨着“学不动了”,更甚者,作为一个允许在Jvm上的,静态类型的编译语言,Scala也能让你写出Python的感觉。

02
您找到你想要的搜索结果了吗?
是的
没有找到

Spark 整体介绍

Spark 是一个大数据运算框架,使用了DAG调度程序,比基于Hadoop MapReduce 运行速度提高了100倍以上     Spark 是一个通用框架,对于不同的运行场景都提供了对于的解决方案:         基于流式运算的 Spark Streaming框架         基于SQL 语法的 Spark SQL框架         基于图运算的 GraphX 框架         基于人工智能与机器学习的 MLlib 框架     Spark 可运行在 Yarn 框架上,还可以运行在独立的集群,Mesos,kubernetes 等集群上面,访问HDFS,HBase,Hive等上百种数据源     Spark 支持 Scala,Java,Python及R语言的快速编写     Spark 角色分为 HMaster,Worker俩种角色,Spark 启动命令为 Spark-Submit(简称Driver),      Spark 运算框架可以不基于Hadoop 框架进行数据运行,所以在配置conf文件时,不涉及 Hadoop 相关东西,在运算时,         如果数据存储或者需要写入到HDFS时,需要指定数据读取/写入命令         如果只是Local模式运行(调试模式),可以不基于HDFS     提示:[集群在运行过程中,涉及SSH访问,所以集群配置时一定需要免密登陆方可执行]     Spark 集群安装                 1. 配置文件修改             spart-env.xml    配置HMaster IP,端口             slave.sh 配置workers ip地址         2. 启动Spark集群             start-all.sh     Spark 高可用安装         可以采用,也可以不采用,根据自身条件而定         1. 安装Zookeeper 集群及配置Zookper集群,修改HMaster IP端口为Zookeeper 地址,并且启动             spart-env.xml         2. 启动Spark 集群             start-all.sh         3. 配置HMaster StandBy 进程 并且启动             hmaster-start.sh     提交Spark Sample任务         1.spart-submit classpath jarpath      Spark任务执行流程         Spark任务执行流程与Yarn任务执行流程类型         1. 首先客户端编写配置Configuration信息,打包Jar包,发起任务到HMaster         2. HMaster根据用户下发的任务信息,配置Worker个数及Worker对应的内存及CPU等,并且启动Worker;         3. Worker根据HMaster下发参数信息,并且与Client交互,获取对应的jar包等信息,然后启动Executor行数据处理(一个Worker下可以包含多个Executor)         4. 输出保存数据。     Yarn与Spark的对比         Yarn    ResourceManager   DataManager   YarnChild    (Job/Client)/ApplicationMastor                 Spark   HMaster           Worker        Executor    SparkSubmit     SparkShell 执行         SparkShell 可以理解为Spark的交互式编程窗口,在启动SparkShell那一瞬间,Spark任务已经启动,每个Work已经分配内存及CPU,等待执行任务,一般不采用SparkShell执行任务,不推荐。     Scala编写Spark                                     Spark对Scala的支持最好,Spark是用Scala语言开发的,所以Spark中包含了很多Scala特有的语法,这一点是其他语言所不能比拟的,所以编写Spark任务推荐使用Scala。         Spark 任务入口为SparkContext,首选需要创建SparkContent,然后就可以按照Spark任务执行流程进行编写,指定MapTask执行操作,ReduceTask执行操作,数据输入,数据输出等。

01

面向对象的Java实现

1-1:封装 a.为什么需要封装(封装可以是数据方便维护、增加实用性、方便扩展等等。通过面向对象的思想,模拟现实生活中的事物。) b.什么是封装(封装就是将属性私有化,提供共有的方法访问私有属性) c.如何实现封装 例如: package s2java.sg.ch01; public class AccpTeacher3{ private String name;//教员姓名 private int age;//年龄 public String getName(){ return name; } public void setName(String MyName){ name=MyName; } public int getAge(){ return age; } public void setAge(int age){ if(age<22){ System.out.println("错误!最小年龄应为22岁!"); this.age=22;//若果不符合年龄要求,则赋予默认值 }else{ this.age=age; } } /* *返回自我介绍的内容 */ public String introduction(){ return "大家好!我是"+name+",我今年"+age+"岁"; } } 1-2:构造方法 a.为什么需要构造方法(使用构造方法可以给属性赋值。而且,实例化一个对象实际上就是去调用这个对象的构造方法。) b.什么是构造方法(构造方法负责对象成员的初始化工作,为实例变量赋予合适的初始值。) 构造方法必须满足以下语法规则:方法名与类名相同和没有返回类型。或者会所二名同、无返型。 c.带参数的构造方法(带参数的构造方法可以在构造方法中传递参数。) 在使用带参数的构造方法示例化对象时,传递的值和构造方法的参数应当在个数、次序和类型上互相匹配。 例如:AccpTeacher6 teacher=new AccpTeacher6("李名",23,"本科","咨询师"); 通过调用带参数的构造方法,在创建对象时,一并完成了对象成员的初始化工作,简化了对象初始化的代码。 1-3:方法重载 a.生活中的方法重载 例如: 一个司机可以驾驶不同的车子,虽然驾驶的行为实现各不相同,但是这些 操作都称为驾驶。驾驶这一行为就构成了生活中的方法重载。 b.方法重载的代码示例 例如: public static int max(int a,int b) public static int max(long a,long b) public static int max(float a,foat b) public static int max(double a,double b) 多次调用Math类的max()方法,分别进行不同的取最大值的操作。 例如: public class Test{ public static void main(String[] args){ Math.max(1,2); Math.max(1.0F,2.F); Math.max(1.0,2); } } c.构造方法重载(构造方法重载是方法重载的一个典型特例) 例如: package s2Java.sg.ch02; public class AccpTeacher7{ private String name;//教员姓名 private String school="北京中心";//所在中心 public AccpTeacher7(String name){ this.name=name;//设定教员姓名 } public AccpTeacher7(String name,String school){ this.name=name;//设定教员姓名 this.school=school;//设定教员的所在中心 } public String introduction(){ return "大家好!我是"+school+"的"+name; } } 例如: package s2java.sg.ch01; public class AccpTeacher7Test{ public static void main(String[] args){ AccpTeacher7 teacher1=new AccpTeacher7("李明"); System.out.println(teacher1.introduction()); AccpTeacher

01
领券