腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

IT技术精选文摘

专栏作者

542

文章

765639

阅读量

136

订阅数

Hadoop完全分布式搭建

hadoop 网络安全 xml zookeeper jdk

一、介绍 Hadoop2.0中，2个NameNode的数据其实是实时共享的。新HDFS采用了一种共享机制，Quorum Journal Node（JournalNode）集群或者Nnetwor

2018-06-22

1.3K0

单集群10万节点走进腾讯云分布式调度系统VStation

分布式 hadoop

云计算并非无中生有的概念，它将普通的单台PC计算能力通过分布式调度软件连接起来。其最核心的问题是如何把一百台、一千台、一万台机器高效地组织起来，灵活进行任务调度和管理，从而像使用单台机器一样方便地使用多台机器。目前，业界已存在多种分布式调度实现方案，比较知名的有 Hadoop YARN、Mesos、Google Borg 等。区别于以上调度系统，腾讯云的 VStation 从诞生之初，便肩负着大规模调度、海量并发和支持异构计算的历史使命，历经五年的打磨和历练，VStation 通过消息压缩、镜像缓存、快照

2018-05-30

2.7K0

大数据查询——HBase读写设计与实践

大数据 hbase hadoop 分布式

背景介绍本项目主要解决 check 和 opinion2 张历史数据表（历史数据是指当业务发生过程中的完整中间流程和结果数据）的在线查询。原实现基于 Oracle 提供存储查询服务，随着数据量的不断增加，在写入和读取过程中面临性能问题，且历史数据仅供业务查询参考，并不影响实际流程，从系统结构上来说，放在业务链条上游比较重。本项目将其置于下游数据处理 Hadoop 分布式平台来实现此需求。下面列一些具体的需求指标：数据量：目前 check 表的累计数据量为 5000w+ 行，11GB；opinion 表的

2018-01-30

1.3K0

教你玩转Hadoop分布式集群搭建，进击大数据

hadoop 大数据

终于要开始玩大数据了，之前对haoop生态几乎没有太多的了解，现在赶鸭子上架，需要完全使用它来做数据中心，这是我的haoop第一篇文章，以后估计会写很多大数据相关的文章。 Hadoop的搭建有三种方式，单机版适合开发调试;伪分布式版，适合模拟集群学习;完全分布式，生产使用的模式。这篇文件介绍如何搭建完全分布式的hadoop集群，一个主节点，三个数据节点为例来讲解。基础环境环境准备 1、软件版本四台服务器配置，系统：centos6.5、内存：1G、硬盘：20G 四台服务器分配的IP地址：192.168.

2018-01-30

7880

Apache Hadoop入门

数据库 hadoop spark

介绍本文要介绍的Apache Hadoop是一个使用简单高级编程模型实现的对大型数据集进行分布式存储和处理的软件框架。文章涵盖了Hadoop最重要的概念，对其架构的描述，并指导如何使用它，以及在Hadoop上编写和执行各种应用程序。简而言之，Hadoop是Apache Software Foundation的开源项目，可以安装在一组标准机器上，以便这些机器可以通信并协同工作来存储和处理大型数据集。近年来，Hadoop已经非常成功，因为它有能力有效地处理大数据。它允许公司将其所有数据存储在一个系统中，并对

2018-01-30

1.5K0

Kafka消费者架构

kafka 编程算法 hadoop

Kafka消费者组您可以通过用例或功能将消费者组合成消费者组。一个消费者组可能负责将记录传送到高速的、基于内存的微服务，而另一个消费者组将这些记录传输到Hadoop。消费者组有自己的名称以便于从其它消费者组中区分出来。消费者组具有唯一的ID。每个消费者组是一个或多个Kafka主题的订阅者。每个消费者组维护其每个主题分区的偏移量。如果您需要多个订阅者，那么您有多个消费者组。一个记录只交付给消费者组中的一个消费者。消费者组中的每个消费者处理记录，并且该组中只有一个消费者将获得相同的记录。消费组内的

2018-01-30

1.4K0

没有更多了

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战，赢鹅厂证书、公仔好礼！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态