腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

加米谷大数据

加米谷大数据实战经验分享，大数据项目分享，大数据开发培训等

专栏作者

296

文章

345720

阅读量

61

订阅数

Hadoop3的新增功能介绍

hadoop 容器存储 yarn node.js

Hadoop 3.x版本是Hadoop版本中的下一个重要里程碑。关于Hadoop 3.x在Hadoop 2.x基础上增强了哪些功能，很多人都在考虑这个问题。因此，在本文中，我们将介绍Hadoop3中的新增功能以及它与旧版本的区别。

加米谷大数据

2020-06-02

9890

IT大数据入门学习，ElasticSearch 术语

es 网络安全存储 node.js Elasticsearch Service

主要介绍 ElasticSearch 的基本概念，学习文档、索引、集群、节点、分片等概念。

加米谷大数据

2020-03-10

3140

大数据入门须知的51个大数据术语(2)

数据库 sql 存储

一种数据处理模型，该模型在Map阶段对数据进行过滤和排序，然后对该数据执行功能，并在Reduce阶段返回输出。

加米谷大数据

2020-02-14

7880

BI系统存在哪些问题，怎么解决？

大数据存储数据库 sql hadoop

在BI系统里面，核心的模块是Cube，Cube是一个更高层的业务模型抽象，在Cube之上可以进行多种操作，大部分BI系统都基于关系型数据库，关系型数据库使用SQL语句进行操作。

加米谷大数据

2019-12-23

1.3K0

大数据平台架构的组成

大数据数据库 sql 存储 spark

是指以处理海量数据存储、计算及不间断流数据实时计算等场景为主的一套基础设施。典型的包括Hadoop系列、Spark、Storm、Flink以及Flume/Kafka等集群。

加米谷大数据

2019-10-15

2.6K0

大数据学习：HDFS是个啥？

大数据存储 hadoop

HDFS集群包含单个NameNode(主服务器)，它管理文件系统命名空间并控制客户端对文件的访问权限。它维护和管理文件系统元数据;例如由哪些块构成文件，以及存储这些块的数据节点。

加米谷大数据

2019-09-29

6460

Spark的适用场景

spark 存储网站大数据数据处理

从Spark的设计理念（基于内存的迭代计算框架）出发，其最适合有迭代运算的或者需要多次操作特定数据集的应用场合。并且迭代次数越多，读取的数据量越大，Spark的应用效果就越明显。

加米谷大数据

2019-06-05

3.7K0

大数据的五大发展趋势

hadoop 存储大数据数据分析数据库

近几年大数据被越来越广泛的运用到各个领域，也得到了企业对大数据人才的重视，许多公司开始或正在实施和扩展大数据技术应用，大数据在行业内的火爆程度，已经是互联网公司必不可少的一项技术配置，甚至受到了更大的重视。大数据工程师的薪资待遇和发展前景都是不可限量的!大数据这么火，那大数据还有哪些发展趋势

加米谷大数据

2019-04-19

5150

你应该了解的十个Hadoop的应用场景

在线旅游：目前全球范围内 80%的在线旅游网站都是在使用 Cloudera 公司提供的 Hadoop发行版，其中 SearchBI 网站曾经报道过的 Expedia 也在其中。

加米谷大数据

2019-04-19

3810

Hadoop环境中管理大数据存储八大技巧

hadoop 分布式大数据虚拟化存储

传统化集中式存储存在已有一段时间。但大数据并非真的适合集中式存储架构。Hadoop设计用于将计算更接近数据节点，同时采用了HDFS文件系统的大规模横向扩展功能。

加米谷大数据

2019-04-19

1.3K0

Hadoop的优点和缺点有哪些？

hadoop yarn node.js 存储大数据

2、Hadoop通过可用的计算机集群分配数据，完成存储和计算任务，这些集群可以方便地扩展到数以千计的节点中，具有高扩展性。

加米谷大数据

2019-04-19

4.4K0

常见的七种Hadoop和Spark项目案例你们了解了吗

spark hadoop sas 存储

大数据中比较火爆的Hadoop、Spark和Storm，最常见的七种项目你们是否已经了解到位了呢，下面一起了解一下吧

加米谷大数据

2019-01-09

5380

Hadoop环境中管理大数据存储八大技巧

hadoop 大数据分布式存储

传统化集中式存储存在已有一段时间。但大数据并非真的适合集中式存储架构。Hadoop设计用于将计算更接近数据节点，同时采用了HDFS文件系统的大规模横向扩展功能。

加米谷大数据

2019-01-09

1.5K0

数据分析师的完整流程与知识结构体系

数据分析数据挖掘编程算法数据库存储

一个数据分析流程，应该包括以下几个方面，建议收藏此图仔细阅读。完整的数据分析流程：

加米谷大数据

2019-01-09

7710

大数据的核心是什么？云技术和BI？

大数据数据处理数据分析数据库存储

关于大数据和云计算的关系人们通常会有误解。而且也会把它们混起来说，分别做一句话直白解释就是：云计算就是硬件资源的虚拟化;大数据就是海量数据的高效处理。如果做一个更形象的解释，云计算相当于我们的计算机和操作系统，将大量的硬件资源虚拟化之后再进行分配使用;大数据则相当于海量数据的“数据库”。

加米谷大数据

2019-01-09

1.2K0

大数据技术的四个应用方向

存储大数据数据分析

在大数据时代的背景之下，新一代信息技术的应用会源源不断地产生大量数据，比如移动互联网、物联网、数字家庭、电子商务等。

加米谷大数据

2019-01-09

2.8K0

Hadoop环境中管理大数据存储八大技巧

大数据存储 hadoop

传统化集中式存储存在已有一段时间。但大数据并非真的适合集中式存储架构。Hadoop设计用于将计算更接近数据节点，同时采用了HDFS文件系统的大规模横向扩展功能。

加米谷大数据

2019-01-08

1.7K0

Redis数据类型及应用场景

云数据库 Redis 存储数据库缓存

通常我们都把数据存到关系型数据库中，但为了提升应用的性能，我们应该把访频率高且不会经常变动的数据缓存到内存中。Redis 没有像 MySQL 这类关系型数据库那样强大的查询功能，需要考虑如何把关系型数据库中的数据，合理的对应到缓存的 key-value 数据结构中。

加米谷大数据

2018-07-26

7780

加米谷大数据携手成都商报财富沙龙第四期：区块链技术专题沙龙如期举行

大数据区块链人工智能分布式存储

6月28日下午，由成都商报主办、加米谷大数据机构和茂烨智能控股公司共同承办的大型全民公益活动——“商报财富沙龙”第四期如期顺利举行。

加米谷大数据

2018-07-25

3730

Redis数据存储优化机制详解

云数据库 Redis 存储数据结构

将一个对象存储在hash类型中会占用更少的内存，并且可以更方便的存取整个对象。省内存的原因是新建一个hash对象时开始是用zipmap来存储的。这个zipmap其实并不是hash table，但是zipmap相比正常的hash实现可以节省不少hash本身需要的一些元数据存储开销。尽管zipmap的添加，删除，查找都是O(n)，但是由于一般对象的field数量都不太多。所以使用zipmap也是很快的,也就是说添加删除平均还是O(1)。如果field或者value的大小超出一定限制后，redis会在内部自动将zipmap替换成正常的hash实现。这个限制可以在配置文件中指定（默认配置在redis根目录下的redis.conf中）：

加米谷大数据

2018-07-25

7600

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态