加米谷大数据

加米谷大数据实战经验分享,大数据项目分享,大数据开发培训等
217 篇文章
52 人订阅

存储

加米谷大数据

Spark的适用场景

从Spark的设计理念(基于内存的迭代计算框架)出发,其最适合有迭代运算的或者需要多次操作特定数据集的应用场合。并且迭代次数越多,读取的数据量越大,Spark的...

751
加米谷大数据

大数据的五大发展趋势

近几年大数据被越来越广泛的运用到各个领域,也得到了企业对大数据人才的重视,许多公司开始或正在实施和扩展大数据技术应用,大数据在行业内的火爆程度,已经是互联网公司...

943
加米谷大数据

你应该了解的十个Hadoop的应用场景

在线旅游:目前全球范围内 80%的在线旅游网站都是在使用 Cloudera 公司提供的 Hadoop发行版,其中 SearchBI 网站曾经报道过的 Exped...

613
加米谷大数据

Hadoop环境中管理大数据存储八大技巧

传统化集中式存储存在已有一段时间。但大数据并非真的适合集中式存储架构。Hadoop设计用于将计算更接近数据节点,同时采用了HDFS文件系统的大规模横向扩展功能。

954
加米谷大数据

Hadoop的优点和缺点有哪些?

2、Hadoop通过可用的计算机集群分配数据,完成存储和计算任务,这些集群可以方便地扩展到数以千计的节点中,具有高扩展性。

1192
加米谷大数据

常见的七种Hadoop和Spark项目案例你们了解了吗

大数据中比较火爆的Hadoop、Spark和Storm,最常见的七种项目你们是否已经了解到位了呢,下面一起了解一下吧

1594
加米谷大数据

Hadoop环境中管理大数据存储八大技巧

传统化集中式存储存在已有一段时间。但大数据并非真的适合集中式存储架构。Hadoop设计用于将计算更接近数据节点,同时采用了HDFS文件系统的大规模横向扩展功能。...

1733
加米谷大数据

数据分析师的完整流程与知识结构体系

一个数据分析流程,应该包括以下几个方面,建议收藏此图仔细阅读。完整的数据分析流程:

1243
加米谷大数据

大数据的核心是什么?云技术和BI?

关于大数据和云计算的关系人们通常会有误解。而且也会把它们混起来说,分别做一句话直白解释就是:云计算就是硬件资源的虚拟化;大数据就是海量数据的高效处理。如果做一个...

1441
加米谷大数据

大数据技术的四个应用方向

在大数据时代的背景之下,新一代信息技术的应用会源源不断地产生大量数据,比如移动互联网、物联网、数字家庭、电子商务等。

2513
加米谷大数据

Hadoop环境中管理大数据存储八大技巧

传统化集中式存储存在已有一段时间。但大数据并非真的适合集中式存储架构。Hadoop设计用于将计算更接近数据节点,同时采用了HDFS文件系统的大规模横向扩展功能。

1182
加米谷大数据

Redis数据类型及应用场景

通常我们都把数据存到关系型数据库中,但为了提升应用的性能,我们应该把访频率高且不会经常变动的数据缓存到内存中。Redis 没有像 MySQL 这类关系型数据库那...

1132
加米谷大数据

加米谷大数据携手成都商报财富沙龙第四期:区块链技术专题沙龙如期举行

6月28日下午,由成都商报主办、加米谷大数据机构和茂烨智能控股公司共同承办的大型全民公益活动——“商报财富沙龙”第四期如期顺利举行。

1222
加米谷大数据

Redis数据存储优化机制详解

将一个对象存储在hash类型中会占用更少的内存,并且可以更方便的存取整个对象。省内存的原因是新建一个hash对象时开始是用zipmap来存储的。这个zipmap...

1142
加米谷大数据

Spark RDD Map Reduce 基本操作

RDD是Spark中的抽象数据结构类型,任何数据在Spark中都被表示为RDD。从编程的角度来看,RDD可以简单看成是一个数组。和普通数组的区别是,RDD中的数...

1482
加米谷大数据

大数据技术hive介绍

1.hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce...

2781
加米谷大数据

Hive的数据类型

本文介绍hive的数据类型,数据模型以及文件存储格式。这些知识大家可以类比关系数据库的相关知识。

1342
加米谷大数据

HDFS的特点分析以及如何存储数据

HDFS采用Master/Slave的架构来存储数据,这种架构主要由四个部分组成,分别为HDFS Client、NameNode、DataNode和Second...

1181
加米谷大数据

HDFS的7个设计特点

1.Block的放置:默认不配置。一个Block会有三份备份,一份放在NameNode指定的DataNode,另一份放在与指定DataNode非同一Rack上的...

821
加米谷大数据

技术分享 | Kafka之Log存储方法

Kafka中的Message是以topic为基本单位组织的,不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topi...

3518

扫码关注云+社区

领取腾讯云代金券