挖掘大数据-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

挖掘大数据

专栏成员

113

文章

200524

阅读量

71

订阅数

零基础学习大数据，搭建Hadoop处理环境

linux hadoop apache

由于Hadoop需要运行在Linux环境中，而且是分布式的，因此个人学习只能装虚拟机，本文都以VMware Workstation为准，安装CentOS7，具体的安装此处不作过多介绍，只作需要用到的知识介绍。

挖掘大数据

2018-01-19

3.5K3

入门必读：Hadoop新手学习指导

java 大数据 hadoop 运维

零基础学习hadoop，没有想象的那么困难，也没有想象的那么容易。从一开始什么都不懂，到能够搭建集群，开发。整个过程，只要有Linux基础，虚拟机化和java基础，其实hadoop并没有太大的困难。下面整理一下整个学习过程，给大家一个参考。

挖掘大数据

2018-01-19

9270

详解使用hadoop2.6.0搭建5个节点的分布式集群（附代码）

数据处理 hadoop 分布式

我们使用hadoop2.6.0版本配置Hadoop集群，同时配置NameNode+HA、ResourceManager+HA，并使用zookeeper来管理Hadoop集群

挖掘大数据

2018-01-19

1.1K0

Hadoop基础教程——Hadoop单机版搭建

最近闲来无事，和朋友一起想学习Hadoop，最晚弄机器的弄到两点多，今天一起动手安装Hadoop的环境，刚开始也是一头雾水，Hadoop官网的教程我也是醉了，说的牛头不对马嘴，最后只能通过各种百度解决了问题，最后把安装的一些操作都记录下来，希望可以帮助到后来人

挖掘大数据

2018-01-19

1.3K0

Hadoop生态圈和各组件的启动、关闭脚本介绍

Hadoop生态圈各组件的启动及关闭脚本，虽然有些使用频率不高，不容易记住，这里特地整理出来，大家可以先保存，用的时候就方便了。

挖掘大数据

2018-01-17

1.3K0

收藏！6道常见hadoop面试题及答案解析

你准备好面试了吗？呀，需要Hadoop面试题知识！不要慌！这里有一些可能会问到的问题以及你应该给出的答案。

挖掘大数据

2018-01-16

2.6K0

浅析Hadoop大数据分析与应用

大数据 spark hadoop apache

为了满足日益增长的业务变化，京东的京麦团队在京东大数据平台的基础上，采用了Hadoop等热门的开源大数据计算引擎，打造了一款为京东运营和产品提供决策性的数据类产品-北斗平台。

挖掘大数据

2018-01-16

1.1K0

详解Hadoop HA 如何运作

hadoop 系统架构大数据分布式

最近对于Hadoop技术有比较大的兴趣，但由于接触时间不长，很多技术细节认识不够，作为一个技术人员，本着追根溯源的精神，还是有必要吃透，也为自己的工作沉淀一些经验总结。网上关于Hadoop HA的资料多集中于怎么搭建HA，对于HA为什么要这么做描述甚少，所以本文对于HA是如何搭建的暂不介绍，主要是介绍HA是怎么运作，QJM又是怎么发挥功效的。

挖掘大数据

2018-01-16

1.6K0

最佳实践分析：IBM Cognos 11如何链接Hadoop

大数据标志着业务分析的新时代到来，各商业组织现在有机会就数据在容量、速度和多样性的传统处理能力不足问题上作出更加明智的决策。IBM 具有得天独厚的优势, 可以提供全面的技术和服务, 从大数据中吸取可操作的洞察力，通过与如IBM InfoSphere BigInsights 为代表的Hadoop技术互链, IBM Cognos 商业智能现在可以轻松访问非结构化源数据, 从而使业务分析人员能够接触到大量非结构化数据中发现的关键洞察。

挖掘大数据

2018-01-10

1.3K0

Hadoop的正确打开方式

数据处理 spark hadoop

关于 Hadoop 所谓的消亡，以及它跌落神坛的报道数不胜数。有很多人放马后炮说，Hadoop 从一开始就没有意义。还有人说“Hadoop 对于小型，临时的工作来说很慢”、“ Hadoop 很难”、“

挖掘大数据

2018-01-09

7270

Hadoop3.0分布式集群安装知识

挖掘大数据

2018-01-08

2K0

Spotify个性化推荐服务Discover Weekly：智能学习如何为你推荐音乐

本文介绍了Spotify的音乐推荐系统，以及如何利用机器学习来实现个性化推荐。作者主要介绍了三种推荐模型：协同过滤、自然语言处理和原始音频模型。协同过滤模型通过分析用户的历史收听记录，找到相似的用户，从而推荐相似用户喜欢的歌曲；自然语言处理模型通过分析歌曲的元数据，提取出歌曲的特征，然后与用户的历史收听记录进行匹配，推荐相似歌曲；原始音频模型则通过对音频的分析，提取出歌曲的特征，然后与用户的历史收听记录进行匹配，推荐相似歌曲。最后，作者总结了Spotify的推荐系统，并表达了对技术的敬畏之情。

挖掘大数据

2017-12-29

2.5K0

大数据小课堂：七种常见的Hadoop和Spark项目案例

spark hadoop 大数据

本文介绍了七种常见的Hadoop和Spark项目案例，包括数据整合、专业分析、Hadoop服务、流分析、复杂事件处理、ETL流和更换或增加SAS。这些项目涵盖了大数据处理的各个方面，如数据整合、专业分析和流处理等。

挖掘大数据

2017-12-22

9570

如何读懂大数据平台—写给大数据开发初学者的话 | 附教程

hadoop 大数据机器学习

本文介绍了大数据平台在机器学习方面的应用，包括数据存储、数据处理、数据建模、模型验证、模型部署、数据服务、数据治理等方面。同时，还介绍了机器学习框架和算法，以及如何在大数据平台上实现机器学习。

挖掘大数据

2017-12-21

4.8K3

60款顶级大数据开源工具汇总

hadoop 大数据开源

本文介绍了大数据技术及其在编程和数据库方面的应用。文章首先介绍了大数据的定义、特点和挑战，然后详细讲解了大数据的生态系统，包括数据存储、处理和分析的工具和技术。最后，文章展望了大数据的未来发展方向，包括流式计算、实时分析和机器学习等方面。

挖掘大数据

2017-12-20

3.5K0

Eclipse连接Hadoop集群和WordCount实战

挖掘大数据

2017-12-20

2.3K0

如何搭建Hadoop伪分布式集群？

hadoop 分布式

本文介绍了如何搭建Hadoop伪分布式集群。首先，下载并解压Hadoop压缩包；然后，配置Hadoop并启动HDFS和YARN服务；最后，使用jps命令查看进程是否存在，并访问HDFS和YARN的管理界面。

挖掘大数据

2017-12-20

1K0

干货：最受欢迎编程语言c与大数据开发实践

该文介绍了如何使用Hadoop MapReduce来处理大数据集，通过一个示例来展示了如何使用Mapper和Reducer来处理数据。该示例包括对输入数据集的预处理、Mapper和Reducer的编写以及Hadoop集群的配置。

挖掘大数据

2017-12-20

1.5K0

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态