腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

PPV课数据科学社区

专栏作者

2119

文章

2428867

阅读量

187

订阅数

【平台】详细总结 Hive VS 传统关系型数据库

hive 数据库存储 mapreduce

本文思路，看图说话，一张图，清晰总结二者区别下面对图中的各条做详细总结 1 查询语言不做赘述 2 数据存储位置不做赘述 3 数据格式 Hive：Hive

2018-04-25

1.3K0

技术丨从Hadoop到Spark，看大数据框架发展之路

hadoop 大数据 mapreduce spark java

谈到大数据框架，不得不提Hadoop和 Spark，今天我们进行历史溯源，帮助大家了解Hadoop和Spark的过去，感应未来。在Hadoop出现前人们采用什么计算模型呢？是典型的高性能 HPC workflow，它有专门负责计算的compute cluster，cluster memory很小，所以计算产生的任何数据会存储在storage中，最后在Tape里进行备份，这种workflow主要适用高速大规模复杂计算，像核物理模拟中会用到。 HPC workflow在实际应用中存在一些问题，这些问题

2018-04-24

9760

【学习】基本排序算法及其在MapReduce的应用

编程算法 mapreduce

　1 文档说明　　该文档为学习基本排序算法过程中的学习笔记，大部分内容从网络上其他渠道也能得到，仅用于记录备忘之用。　　冒泡、选择、插入三种作为基本的排序算法是必须要掌握的，而在MapReduce的实际应用中。在Map阶段，k-v溢写时，采用的正是快排;而溢出文件的合并使用的则是归并;在Reduce阶段，通过shuffle从Map获取的文件进行合并的时候采用的也是归并;最后阶段则使用了堆排作最后的合并过程。　　所以快排、归并以及堆排是必须要掌握的排序算法，这都在MapReduce内部使用的排序算法，

2018-04-23

7860

浅谈开源大数据平台的演变

开源大数据 hadoop mapreduce 分布式

一说到开源大数据处理平台，就不得不说此领域的开山鼻祖Hadoop，它是GFS和MapReduce的开源实现。虽然在此之前有很多类似的分布式存储和计算平台，但真正能实现工业级应用、降低使用门槛、带动业界大规模部署的就是Hadoop。得益于MapReduce框架的易用性和容错性，以及同时包含存储系统和计算系统，使得Hadoop成为大数据处理平台的基石之一。 Hadoop能够满足大部分的离线存储和离线计算需求，且性能表现不俗；小部分离线存储和计算需求，在对性能要求不高的情况下，也可以使用Hadoop实现。因此

2018-04-23

1.1K0

数据太大？你该了解Hadoop分布式文件系统

hadoop mapreduce node.js 分布式大数据

1、联网设备增加数据量随之上升大数据时代来了。当所有人都争吵着这件事情的时候，当所有企业都看好大数据的发展前景的时候，却都很少关注这些数据从哪儿来，我们有没有足够优秀的技术能力处理这些数据。　　联网设备增加数据量随之上升　　网络的发展无疑为我们迎接大数据时代、智能计算时代铺好了路。根据研究公司的预测，全球联网设备正在增加，在部分国家，人均联网设备早已超过2台;如此大量的联网设备和不断提高的网络速度都在让社会的数据量快速增长，智慧城市、平安城市的实现也是以视频监控等视频数据为基础，成为大数据时

2018-04-23

7680

【译文】Spark高速实时分析

spark apache hadoop mapreduce

Apache Hadoop是一个成熟的开发框架,它有庞大的生态系统,并得到了Cloudera,Hortonworks,雅虎等重要参与者的支持和贡献。Apache Hadoop为企业管理各种规模的数据提供了工具。在过去,Hadoop的批量处理特性使得使用MapReduce就足以满足大部分企业的处理需求。然而,越来越多的数据需要更快速的处理，这些需求来自于流技术、物联网和实时分析等领域的快速发展。这些新的需求需要新的处理模式，现在,Apache Spark作为可以满足这些需求的一项重要新技术,已经获得相

2018-04-20

5510

【了解】Spark和Hadoop是友，非敌

hadoop spark mapreduce 大数据 sql

Spark 在 6 月份取得了激动人心的成绩。在圣何塞举办的 Hadoop 峰会上，Spark 成了人们经常提及的话题和许多演讲的主题。IBM 还在 6 月 15 号宣布，将对 Spark 相关的技术进行巨额投资。这一声明帮助推动了旧金山 Spark 峰会的召开。在这里，人们会看到有越来越多的工程师在学习 Spark，也有越来越多的公司在试验和采用 Spark。对 Spark 的投资和采用形成了一个正向循环，迅速推动这一重要技术的成熟和发展，让整个大数据社区受益。然而，人们对 Spark 的日益关注让

2018-04-20

7350

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态