羊羽shine

LV1
订阅了专栏

腾讯云自媒体分享计划

3 文章3.2K 关注者
关注了用户

腾讯云自媒体分享计划

腾讯 · 产品运营 (已认证)

申请条件:至少有 20 篇或以上符合投稿要求可迁入腾讯云专栏的原创技术文章。

3 文章0 回答3.3K 关注者
发表了文章

2019-09-20

从CPU发明到现在,有非常多种架构,从我们熟悉的X86,ARM,到不太熟悉的MIPS,IA64等

羊羽shine
单片机ARMLinux
发表了文章

HBase的部署

本文的HBase安装是在Hadoop已经安装好的基础上实现的,所以之前要导出JAVA_HOME、HADOOP_HOME( 单机模式不需要,伪分布式模式和分布式模...

羊羽shine
ZooKeeperHBase分布式数据库大数据Bash
发表了文章

DataFrame常用API操作

以列的(列名,列的类型。列值)的形式构成的分布式数据集,按照列赋予不同名称,约等于关系数据库的数据表

羊羽shine
APIJavaScalaPython数据库
发表了文章

Hadoop序列化

把内存中对象转换成字节序列(或其他数据传输协议)以便于存储到磁盘(持久化)和网络传输

羊羽shine
文件存储
发表了文章

Spark MLlib

机器学习是用数据或以往的经验,并以此来优化程序的性能指标。 机器学习本质思想:使用现有的数据,训练出一个模型,然后在用这个模型去拟合其他的数据,给未知的数据做...

羊羽shine
API编程算法spark监督学习机器学习
发表了文章

Hadoop伪分布式配置

http://localhost:50070/dfshealth.html#tab-overview

羊羽shine
XMLHTTPYarnNode.js大数据
发表了文章

RDD和DataFrame转换

在利用反射机制推断RDD模式时,需要首先定义一个case class,因为,只有case class才能被Spark隐式地转换为DataFrame。

羊羽shine
sparkSQL
发表了文章

Spark SQL

官方地址 http://spark.apache.org/sql/ Spark SQL是Spark用来处理结构化数据的一个模块,它提供了2个编程抽象:Data...

羊羽shine
Python分布式sparkSQL
发表了文章

RDD操作——文件数据读写

要加载本地文件,必须采用“file:///”开头的这种格式。执行上上面这条命令以后,并不会马上显示结果,因为,Spark采用惰性机制,只有遇到“行动”类型的操作...

羊羽shine
编程算法
发表了文章

RDD操作—— 键值对RDD(Pair RDD)

“键值对”是一种比较常见的RDD元素类型,分组和聚合操作中经常会用到。 Spark操作中经常会用到“键值对RDD”(Pair RDD),用于完成聚合计算。普通...

羊羽shine
HadoopC 语言spark
发表了文章

Scala基础——List

:: (两个冒号)操作符是右结合的,如果要构建一个列表List(1,2,3,4),实际上也可以采用下面的方式,Nil表示空列表。

羊羽shine
发表了文章

RDD操作—— 行动(Action)操作

行动操作是真正触发计算的地方。Spark程序执行到行动操作时,才会执行真正的计算,从文件中加载数据,完成一次又一次转换操作,最终,完成行动操作得到结果。

羊羽shine
sparkMapReduce缓存编程算法
发表了文章

Scala基础——模式匹配

当需要从多个分支进行选择的场景,类似Java中的switch语句,不需要使用break停止代码执行。

羊羽shine
编程算法
发表了文章

Hadoop——Hive

官方地址http://hive.apache.org/ 简单,容易上手提供了类似SQL查询语言HQL 为超大数据集设计的计算、存储拓展能力 统一的元数据管...

羊羽shine
HiveSQL
发表了文章

Scala基础——隐式转换

Scala的隐式转换,其实最核心的就是定义隐式转换函数,即implicitconversion function。定义的隐式转换函数,只要在编写的程序内引入,就...

羊羽shine
Scala
发表了文章

Scala基础——容器操作

羊羽shine
编程算法MapReduce
发表了文章

Spark——RDD转换操作

RDD的转换过程是惰性求值的,也就是,整个转换过程只记录轨迹,并不会发生真正的计算,只有遇到了行动操作时,才会触发真正的计算。

羊羽shine
发表了文章

Scala基础——特质(trait)

java通过接口实现多重继承,scala没有接口通过trait关键字实现多重继承。 特质类似于抽象类的定义,trait可以定义抽象方法,也可以定义具体实现的方...

羊羽shine
面向对象编程

个人简介

个人成就

扫码关注云+社区

领取腾讯云代金券