首页
学习
活动
专区
工具
TVP
发布

Golang开发

专栏作者
289
文章
263322
阅读量
38
订阅数
2019-09-20
从CPU发明到现在,有非常多种架构,从我们熟悉的X86,ARM,到不太熟悉的MIPS,IA64等
羊羽shine
2019-09-24
6130
HBase的部署
本文的HBase安装是在Hadoop已经安装好的基础上实现的,所以之前要导出JAVA_HOME、HADOOP_HOME( 单机模式不需要,伪分布式模式和分布式模式需要)等环境变量以及配置好SSH互信等。 0 公共配置 导出HBase的环境变量
羊羽shine
2019-09-24
5520
DataFrame常用API操作
以列的(列名,列的类型。列值)的形式构成的分布式数据集,按照列赋予不同名称,约等于关系数据库的数据表
羊羽shine
2019-08-27
1.2K0
Hadoop序列化
把内存中对象转换成字节序列(或其他数据传输协议)以便于存储到磁盘(持久化)和网络传输
羊羽shine
2019-08-26
3720
Spark MLlib
机器学习是用数据或以往的经验,并以此来优化程序的性能指标。 机器学习本质思想:使用现有的数据,训练出一个模型,然后在用这个模型去拟合其他的数据,给未知的数据做出一个预测结果。机器学习是一个求解最优化问题的过程。老师教学生,学生举一反三,考试成绩是学习效果的预测。 分类:人脸识别判断性别 聚类 :发掘相同类型的爱好和兴趣。物以类聚人以群分 回归: 预测分析价格
羊羽shine
2019-08-25
5970
Hadoop伪分布式配置
http://localhost:50070/dfshealth.html#tab-overview
羊羽shine
2019-08-24
6770
RDD和DataFrame转换
在利用反射机制推断RDD模式时,需要首先定义一个case class,因为,只有case class才能被Spark隐式地转换为DataFrame。
羊羽shine
2019-08-23
1.2K0
Spark SQL
官方地址 http://spark.apache.org/sql/ Spark SQL是Spark用来处理结构化数据的一个模块,它提供了2个编程抽象:DataFrame和DataSet,并且作为分布式SQL查询引擎的作用。
羊羽shine
2019-08-22
6940
RDD操作——文件数据读写
要加载本地文件,必须采用“file:///”开头的这种格式。执行上上面这条命令以后,并不会马上显示结果,因为,Spark采用惰性机制,只有遇到“行动”类型的操作,才会从头到尾执行所有操作。
羊羽shine
2019-08-22
5770
RDD操作—— 键值对RDD(Pair RDD)
“键值对”是一种比较常见的RDD元素类型,分组和聚合操作中经常会用到。 Spark操作中经常会用到“键值对RDD”(Pair RDD),用于完成聚合计算。普通RDD里面存储的数据类型是Int、String等,而“键值对RDD”里面存储的数据类型是“键值对”。
羊羽shine
2019-08-21
2.8K0
Scala基础——List
:: (两个冒号)操作符是右结合的,如果要构建一个列表List(1,2,3,4),实际上也可以采用下面的方式,Nil表示空列表。
羊羽shine
2019-08-20
5470
RDD操作—— 行动(Action)操作
行动操作是真正触发计算的地方。Spark程序执行到行动操作时,才会执行真正的计算,从文件中加载数据,完成一次又一次转换操作,最终,完成行动操作得到结果。
羊羽shine
2019-08-20
1.4K0
Scala基础——模式匹配
当需要从多个分支进行选择的场景,类似Java中的switch语句,不需要使用break停止代码执行。
羊羽shine
2019-08-20
5360
Hadoop——Hive
官方地址http://hive.apache.org/ 简单,容易上手提供了类似SQL查询语言HQL 为超大数据集设计的计算、存储拓展能力 统一的元数据管理
羊羽shine
2019-08-19
3870
Scala基础——隐式转换
Scala的隐式转换,其实最核心的就是定义隐式转换函数,即implicitconversion function。定义的隐式转换函数,只要在编写的程序内引入,就会被Scala自动使用。Scala会根据隐式转换函数的签名,在程序中使用到隐式转换函数接收的参数类型定义的对象时,会自动将其传入隐式转换函数,转换为另外一种类型的对象并返回。这就是“隐式转换”。 通常建议将隐式转换函数的名称命名为“one2one”的形式。 隐式转换函数与普通函数唯一的语法区别就是,要以implicit开头,而且最好要定义函数返回类型。
羊羽shine
2019-08-16
6790
Scala基础——容器操作
遍历foreach list 遍历 var l = List(1,2,3,4,5) l.foreach(i=>println(i)) map 遍历 var m = Map("tony" -> 80, "bob" -> 90) m.foreach(kv => println(kv._1, kv._2)) 映射map val l = List("hive","hadoop","spark") val books= l.map(s=>s.toUpperCase) for(x
羊羽shine
2019-08-14
3300
Spark——RDD转换操作
RDD的转换过程是惰性求值的,也就是,整个转换过程只记录轨迹,并不会发生真正的计算,只有遇到了行动操作时,才会触发真正的计算。
羊羽shine
2019-08-14
8490
Scala基础——特质(trait)
java通过接口实现多重继承,scala没有接口通过trait关键字实现多重继承。 特质类似于抽象类的定义,trait可以定义抽象方法,也可以定义具体实现的方法,不需要使用abstract关键字。特质可以使用extends继承其他特质
羊羽shine
2019-08-12
3470
Scala基础——Map(映射)
Scala映射(Map)是一组键/值对的对象。键在映射中是唯一的,但值不一定是唯一的。映射也称为哈希表。映射有两种,不可变的和可变的。默认情况下,Scala使用不可变映射(Map)。如果要使用可变集合(Map),则需要明确导入scala.collection.mutable.Map类
羊羽shine
2019-08-12
3840
Scala基础——高阶函数
在非函数式编程语言里,函数的定义包含了“函数类型”和“值”两种层面的内容。但是,在函数式编程中,函数是“头等公民”,可以像任何其他数据类型一样被传递和操作,也就是说,函数的使用方式和其他数据类型的使用方式完全一致了。这时,我们就可以像定义变量那样去定义一个函数,由此导致的结果是,函数也会和其他变量一样,开始有“值”。就像变量的“类型”和“值”是分开的两个概念一样,函数式编程中,函数的“类型”和“值”也成为两个分开的概念,函数的“值”,就是“函数字面量”。 整数字面量
羊羽shine
2019-08-09
3510
点击加载更多
社区活动
Python精品学习库
代码在线跑,知识轻松学
【玩转EdgeOne】征文进行中
限时免费体验,发文即有奖~
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品·最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档