腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

云计算D1net

专栏作者

2308

文章

2671692

阅读量

105

订阅数

云中巨象——作为一种服务的Hadoop

hadoop 存储 sql 私有网络大数据

Ashish Thusoo， Qubole的CEO和联合创始人，最近在 Enterprise Data World Conference (EDW)上谈到了作为一种服务产品的“云中巨象” Hadoop 。大数据作为服务而不是一个产品会成为一个趋势，Hadoop作为一种服务提供，旨在帮助机构处理大规模运行的Hadoop服务的挑战和成本。这些基于云服务的解决方案也可以从云服务的其他功能中获益，如动态配置、计算和存储的灵活性以及在多个地区的可用性。 Ashish在开始谈论时说到，现在数据的性质，包括海里的交互数据

2018-03-26

6160

能否利用Hadoop搭建完整的云计算平台？

Hadoop并不完全代表云计算，所以，要用Hadoop搭建完整的云计算平台，答案是不够。我们常说云计算，实际上还是通过计算机的大规模或者说海量处理来为生活中各式各样的人和各行各业服务——所以，核心在“服务”。关于服务，展开来就是常用的那3种(也是事实上的标准)：SaaS,PaaS,IaaS。对云计算来说，公有和私有，虚拟和存储，这其实是相对讨论的核心。回头说Hadoop。在Google三大论文的直接刺激下，Hadoop社区兴起，而在众多的开源实现中，Hadoop(主项目)可以说是所有已知云计算方面开源项目

2018-03-21

1.7K0

主流云技术解读：重点不在开发而在架构

hadoop openstack 数据库云计算 nosql

云技术可以使用的语言有java,c++等。云技术的开发，并没有发展什么新语言，而是在其他语言的基础上,比如Java语言。与其他技术，最显著的区别，不是在开发上，而是在于架构上，最显著的特点是分布式。云计算技术：这里只是列出我所知道的，希望大家对云计算技术有所了解：一、首先让大家明白什么是云端，所谓云端需要两层理解: (1)服务不在本地，这一层可以理解为服务器 (2)它和普通的服务器是不一样的，这些云端的服务器的资源是共享的，一旦一个服务器不能承受，将会把任务分配给其他机器。二、云技术与其他技术的区别

2018-03-21

1.2K0

如何为Hadoop选择最佳弹性MapReduce框架

hadoop python java api mapreduce

亚马逊Web服务的弹性MapReduce是一项基于Hadoop的实施，它可允许你运行大型的预处理工作，如格式转换和数据聚合等。虽然我们可以选择很多的编程语言来对这些任务进行编码，但是时间紧张的开发人员更需要一个能够最大限度减少编码开销的编程框架。Mrjob、 Dumbo 以及 PyDoop 是三个基于Python可满足以上需求的弹性MapReduce框架。那么，为什么诸如Java或Apache Pig之类的流行编程语言无法胜任这项任务呢？亚马逊的弹性MapReduce（EMR）任务一般都是采用Java语言

2018-03-19

1.3K0

为什么不改进MapReduce，而要取代它？

hadoop mapreduce

MapReduce的高延迟已经成为Hadoop发展的瓶颈，为当前的MapReduce寻找性能更高的替代品已成为Hadoop社区的一个共识。 MapReduce 有关MapReduce框架，最早要追溯到Google，Google将这个框架与灵活、可扩展性存储结合到一起，用以解决各类数据处理和分析任务。后来Doug Cutting和Mike Cafarella在2005年联合创立了Apache Hadoop时，采用的就是这个架构。类似的项目，比如Apache Pig和Apache Hive，它们将专门的查询转

2018-03-16

1.7K0

2014年大数据与云计算的预测

大数据数据库 hadoop

在2013年，我们看到了越来越多的大数据项目走出概念验证阶段，进入了生产和实施阶段。大数据并不是一个全新的思路了;企业们知道需要解决它，由这些大数据可以产生出很多有益的见解（或一些集成的障碍）。然而，云计算却处于一个截然不同的阶段，远远超过了初始的炒作阶段，进入了一个混合部署的新时代，在这一新时代中云计算显然地扩展到了数据中心中。在2014年，我们可以期待大数据和云计算的发展： 1、大数据和云计算一同成长：大多数组织知道他们应该使用云计算平台，但云计算到大数据的主要贡献将会转移。不久，云计算将

2018-03-16

2.4K0

看2014年云计算和大数据的发展

大数据 hadoop

在2013年，我们看到了越来越多的大数据项目走出概念验证阶段，进入了生产和实施阶段。大数据并不是一个全新的思路了;企业们知道需要解决它，由这些大数据可以产生出很多有益的见解（或一些集成的障碍）。然而，云计算却处于一个截然不同的阶段，远远超过了初始的炒作阶段，进入了一个混合部署的新时代，在这一新时代中云计算显然地扩展到了数据中心中。在2014年，我们可以期待大数据和云计算的发展： 1、大数据和云计算一同成长：大多数组织知道他们应该使用云计算平台，但云计算到大数据的主要贡献将会转移。不久，云计算将成

2018-03-16

7540

六个超大规模Hadoop部署案例

hadoop 大数据数据挖掘

Hadoop的优点很多，但也并非十全十美。这次我们介绍eBay、Orbitz Worldwide、Facebook、Infchimps等大型网络公司实际部署Hadoop的案例，希望从这些真实的案例当中，能给大家一点启示。【编者按】近年来，大数据分析很受欢迎，现有的数据挖掘和分析技术往往不能完美胜任大数据的处理任务，虽然搭建Hadoop集群，不能完美解决所有问题，但是Hadoop集群最大的优点就是它非常适合处理分布广泛且非结构化的大数据。中关村在线的这篇文章从六个超大规模Hadoop部署的实际案例出发，

2018-03-16

8150

开源Hadoop发展迅猛用户与厂商各取所需

hadoop 开源大数据企业 linux

就大数据的核心而言，Hadoop是一个用于有效存储和处理大数据的开源架构。多年来，开源初创公司Cloudera和Hortonworks在Hadoop市场一直占有绝对地位，诸如Oracle、微软以及其他

2018-03-16

5860

大数据Hadoop解决方案的形势

大数据 hadoop

根据最新的Forrest报告，有很多公司都在努力挖掘他们拥有的大量数据，包括结构化、非结构化、半结构化以及二进制数据等，探索对数据的深入利用。下面是报告结论的其中一点：大多数公司估计他们只分析了已有数据的12%，剩余88%还没有被充分利用。大量的数据孤岛和分析能力的缺乏是造成这种局面的主要原因。另外一个难题是如何判断数据是否有价值。尤其是在大数据时代，你必须采集并存储这些数据。一些看起来与业务无关的数据，如手机GPS数据，将来也可能是座金矿。所以，大量公司都寄希望于使用Hadoop解决如下

2018-03-16

5090

大数据公司Cloudera获得一轮投资

大数据 hadoop

为企业级市场提供大数据系统处理的创业公司 Cloudera 刚获得一轮 1.6 亿美元的融资，此轮融资由 T. Powe Price 领投，Google Ventures 等跟投。 Cloudera 于 2008 年正式成立，它利用 Hadoop 这一开源技术帮助公司搭建他们的大数据系统，Hadoop 可以利用一些价格低廉的硬件就完成大量的数据分析，所以非常受大小企业欢迎。Cloudera 的创始团队包括前 Google、Facebook、Yahoo 以及 Oracle 的员工和高级工程师。目前，很多大公

2018-03-16

5690

开源框架Hadoop发布新版本

分布式计算开源框架Hadoop近日发布了今年的第一个版本Hadoop-2.3.0，新版本不仅增强了核心平台的大量功能，同时还修复了大量bug。新版本对HDFS做了两个非常重要的增强：支持异构的存储层次通过数据节点为存储在HDFS中的数据提供了内存缓存功能借助于HDFS对异构存储层次的支持，我们将能够在同一个Hadoop集群上使用不同的存储类型。此外我们还可以使用不同的存储媒介——例如商业磁盘、企业级磁盘、SSD或者内存等——更好地权衡成本和收益。如果你想更详细地了解与该增强相关的

2018-03-16

9420

Cloud Foundry剥离促进PaaS市场日益活跃

openstack 开源 linux 企业 hadoop

寻求产业标准的企业IT专家在开始部署新的技术之前，会发现不和谐的方案，新开源PaaS基金会加重了这种倾斜。Cloud Foundry基金会上周从Pivotal剥离，向现有的方案下了挑战书，旨在创建开源平台即服务(PaaS)产品，包括针对OpenStack和红帽的OpenShift平台开发的产品。Cloud Foundry在Apache 2.0下已经拥有了开源PaaS许可，但是现在其以前的持有方Pivotal允许其他厂商协作，参与其Cloud Foundry的治理。基金会成员包括EMC、惠普、IBM

2018-03-16

8670

基于大数据分析系统Hadoop的13个开源工具

大数据 hadoop 开源 apache 分布式

Hadoop是由Apache基金会开发的一个大数据分布式系统基础架构，最早版本是2003年原Yahoo! Doug Cutting根据Google发布的学术论文研究而来。用户可以在不了解分布式底层细节的情况下，轻松地在Hadoop上开发和运行处理海量数据的应用程序。低成本、高可靠、高扩展、高有效、高容错等特性让Hadoop成为最流行的大数据分析系统，然而其赖以生存的HDFS和MapReduce组件却让其一度陷入困境——批处理的工作方式让其只适用于离线数据处理，在要求实时性的场景下毫无用武之地。因此，各

2018-03-15

1.7K0

Hadoop崛起对数据仓库有多大的影响

hadoop nosql 存储数据库大数据

在过去三年，Hadoop生态系统已经大范围扩展，很多主要IT供应商都推出了Hadoop连接器，以增强Hadoop的顶层架构或是供应商自己使用的Hadoop发行版。鉴于Hadoop的部署率呈指数级的增长

2018-03-15

1K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态