挖掘大数据

113 篇文章
60 人订阅

全部文章

挖掘大数据

Kafka定时清除过期数据

Kafka将数据持久化到了硬盘上,允许你配置一定的策略对数据清理,清理的策略有两个,删除和压缩。

5696
挖掘大数据

零基础学习大数据,搭建Hadoop处理环境

由于Hadoop需要运行在Linux环境中,而且是分布式的,因此个人学习只能装虚拟机,本文都以VMware Workstation为准,安装CentOS7,具...

2K10
挖掘大数据

Spark学习笔记——共享变量

通常,当传递给Spark操作(例如map or reduce)的函数在远程集群节点上执行时,它可以在函数中使用的所有变量的单独副本上工作。这些变量被复制到每个机...

24210
挖掘大数据

另类大数据:中国有嘻哈的rapper们都在唱些什么?

2017年下半年,钱多、戏多、话题多的《中国有嘻哈》突然带火了一众rapper,原来格格不入的嘻哈音乐突然变成了主流。数据统计显示,截至9月7日,《中国有嘻哈》...

2407
挖掘大数据

常见的3种Hive参数配置方法

Hive提供三种可以改变环境变量的方法,分别是:(1)、修改${HIVE_HOME}/conf/hive-site.xml配置文件;(2)、命令行参数;(3)、...

22410
挖掘大数据

入门必读:Hadoop新手学习指导

零基础学习hadoop,没有想象的那么困难,也没有想象的那么容易。从一开始什么都不懂,到能够搭建集群,开发。整个过程,只要有Linux基础,虚拟机化和java基...

2195
挖掘大数据

时代的需要:越来越多的Java工程师开始转向hadoop?

Hadoop是Apache软件基金会的顶级开源项目,是由原雅虎公司Doug Cutting根据Google发布的学术论文而创建的开源项目。Doug Cuttin...

1969
挖掘大数据

详解使用hadoop2.6.0搭建5个节点的分布式集群(附代码)

我们使用hadoop2.6.0版本配置Hadoop集群,同时配置NameNode+HA、ResourceManager+HA,并使用zookeeper来管理...

2397
挖掘大数据

Hadoop基础教程——Hadoop单机版搭建

最近闲来无事,和朋友一起想学习Hadoop,最晚弄机器的弄到两点多,今天一起动手安装Hadoop的环境,刚开始也是一头雾水,Hadoop官网的教程我也是醉了,说...

2699
挖掘大数据

EasyStack郭长波连任OpenStack基金会独立董事

美国时间1月12日,OpenStack基金会的个人独立董事选举结果揭晓,EasyStack开源社区负责人郭长波通过选举,连任个人独立董事,将继续推动中国力量话语...

1925
挖掘大数据

如何成为一名10x的数据分析师?

不知道大家以前听没听说过“10x Developer”这个词,如果你连听都还没听说过,那可真是时候考虑放弃自己的程序猿事业了。就像传说一样,一些程序猿的战斗力能...

2178
挖掘大数据

Win7下Eclipse开发hadoop应用程序环境搭建

在Linux下使用安装Eclipse来进行hadoop应用开发,但是大部分Java程序员对linux系统不是那么熟悉,所以需要在windows下开发hadoop...

2228
挖掘大数据

Hadoop生态圈和各组件的启动、关闭脚本介绍

Hadoop生态圈各组件的启动及关闭脚本,虽然有些使用频率不高,不容易记住,这里特地整理出来,大家可以先保存,用的时候就方便了。

2127
挖掘大数据

处理海量数据的10种常见方法

本文将介绍10种处理海量数据问题的常见方法,也可以说是对海量数据的处理方法进行一个简单的总结,希望对你有帮助。

21010
挖掘大数据

大数据初学者该如何快速入门?

很多人都知道大数据很火,就业很好,薪资很高,想往大数据方向发展。但该学哪些技术,学习路线是什么样的呢?用不用参加大数据培训呢?如果自己很迷茫,为了这些原因想往大...

1.1K6
挖掘大数据

10种受欢迎的数据挖掘的实用分析方法

数据挖掘又称数据库中的知识发现,是目前人工智能和数据库领域研究的热点问题,本文将介绍数据挖掘中十种实用分析方法。

1825
挖掘大数据

Apache NiFi 简介及Processor实战应用

Apache NiFi是什么?NiFi官网给出如下解释:“一个易用、强大、可靠的数据处理与分发系统”。通俗的来说,即Apache NiFi 是一个易于使用、功能...

88710
挖掘大数据

收藏!6道常见hadoop面试题及答案解析

你准备好面试了吗?呀,需要Hadoop面试题知识!不要慌!这里有一些可能会问到的问题以及你应该给出的答案。

3098
挖掘大数据

10个大数据误区,看看你中了几个?

刚接触大数据的朋友最容易产生以下误解,下面就让我把这些误解分别介绍一下,看看你有没有进入这些误区。

1965
挖掘大数据

ambari安装指南

(一)准备工作 1、准备几台机器 10.1.51.100 ambariserver 本地mirrorserver及ambari server都在这一台机器 10...

1968

扫码关注云+社区