腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

分布式系统和大数据处理

专栏作者

103

文章

162628

阅读量

30

订阅数

玩转电商系统：深入剖析智慧电商平台

分布式存储缓存 hadoop 大数据

因为本人最近几年都在从事电商相关的工作，因此购买了这本书，主要是想了解大型的电商系统应该包括哪些组成部分，以弥补自身知识的不足。

2018-09-30

2.3K0

大数据常用组件默认端口号

大数据 hadoop yarn mapreduce hive

.colspan{ background:#f4f4f4; font-weight: bold;}

2018-09-30

2.3K0

安装和配置Hadoop集群(3节点)

hadoop 大数据分布式存储 yarn

在安装和配置Hadoop(单节点) 这篇文章中，已经进行了Hadoop单机伪集群模式的部署。生产环境中，Hadoop都是以集群方式进行安装和部署的，否则，就不需要使用Hadoop了，分布式存储和分布式运算是Hadoop提供的核心功能。这篇文章将在单机安装的基础上，进行3个节点Hadoop集群的安装，因此如果你还没有单机安装过Hadoop，那么请先查看一下单机安装的这篇文章。

2018-09-30

7.5K1

安装和配置Hive

hive 大数据 mapreduce 存储 hadoop

直接通过MapReduce来对存储在Hadoop HDFS上的数据进行查询和分析比较繁琐而且还需要编程。Hive是一个数据仓库系统，构建在HDFS之上，它提供了类似SQL的语法（HQL），可以将HQL翻译成MapReduce作业进行查询，使得对数据的管理和检索更为便利。

2018-09-28

1.8K0

安装和配置Hadoop(单节点)

hadoop 大数据 yarn mapreduce linux

Hadoop生态圈仍处于欣欣向荣的发展态势，不断涌现新的技术和名词。Hadoop的HDFS、YARN、MapReduce仍是最基础的部分，这篇文章记录了如何一步步在linux上安装单节点的Hadoop，之后就可以在它上面做一些练习了。截至目前（2018.7.16），Hadoop的最新版本是3.0.3，但使用最新版本的问题是：当你遇到问题时，所能找到的资料或者书籍都是针对较晚版本的。因此，对一项技术，如果没有达到特别熟悉，安装次新、或者次次新版本是一个相对稳妥的做法。所以，我选择安装的是2.9.1版本。

2018-09-28

2.7K0

安装和配置Spark(单节点)

spark 大数据 apache linux hadoop

Apache Spark被称为第三代大数据处理平台，也当前应用最广泛的大数据处理方案，这篇文章将介绍如何在Linux系统（Cent OS7）上以单机模式（Stand alone）模式安装Apache Spark。当前的最新稳定版是2.3.1。

2018-09-28

3.6K0

linux上安装JDK8

linux jdk 开源 java hadoop

很多的开源项目都是使用java语言开发的，都需要在服务器上安装java才能运行起来。这篇文章简单介绍了在linux上安装java的步骤。

2018-09-28

4.6K0

配置Hadoop集群客户端

spark 面向对象编程 hadoop hive ssh

在Hadoop和Spark集群搭建好了以后，如果我们需要向集群中发送、获取文件，或者是执行MapReduce、Spark作业，通常是搭建一个外围的、集群的客户端，在这个客户端上进行操作。而不是直接在集群的NameNode或者DataNode上进行。此时，集群和客户端的结构如下图所示（简化图，没有考虑NameNode的高可用），本文将介绍如何快速搭建一个集群客户端（有时也叫gateway）。

2018-08-22

3.4K0

安装和配置Hadoop集群(3节点)

yarn 大数据 ssh hadoop windows

在安装和配置Hadoop(单节点) 这篇文章中，已经进行了Hadoop单机伪集群模式的部署。生产环境中，Hadoop都是以集群方式进行安装和部署的，否则，就不需要使用Hadoop了，分布式存储和分布式运算是Hadoop提供的核心功能。这篇文章将在单机安装的基础上，进行3个节点Hadoop集群的安装，因此如果你还没有单机安装过Hadoop，那么请先查看一下单机安装的这篇文章。

2018-08-21

2.7K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态