PPV课数据科学社区-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

PPV课数据科学社区

专栏成员

2119

文章

2528424

阅读量

188

订阅数

【平台】HBase学习总结

hbase 数据库 hadoop nosql 存储

HBase的下载与安装 (HBase是一种数据库：Hadoop数据库，它是一种NoSQL存储系统，专门设计用来快速随机读写大规模数据。本文介绍HBase的下载与安装的整个过程。) 一、HBase的下载 1.登录HBase官网http://hbase.apache.org/，可看到如图1所示的页面：图1 登录HBase官网的页面 2.点击图1中的红色小框中的“here”，进入如图2所示的页面。图2 下载链接 3.点击图2中的红色小框中的链接，进入如图3所示的下载页面。图3 下载

2018-04-25

3.2K1

Apache Hadoop 3.0新版本介绍及未来发展方向

过去十年，Apache Hadoop从无到有，从理论概念演变到如今支撑起若干全球最大的生产集群。接下来的十年，Hadoop将继续壮大，并发展支撑新一轮的更大规模、高效和稳定的集群。我们此次将向大家全

2018-04-25

1.1K0

实用 | Apache Hadoop 3.0.0-alpha2版本发布

作者：Andrew Wang，Ray Chiang Andrew Wang是Cloudera公司HDFS团队的一名软件工程师、Apache Hadoop PMC成员和提交者，同时也是Hadoop 3的发布经理。 Ray Chiang是Cloudera公司RM团队的一名软件工程师，同时也是Apache Hadoop提交者。链接：http://blog.cloudera.com/blog/2017/02/apache-hadoop-3-0-0-alpha2-released/ ◆◆◆ Apache Had

2018-04-24

6630

【工具】大数据在线分析利器：Hue

Hue百科： Hue 是一种基于Apche hadoop基础平台的在线开源数据分析接口，参见 gethue.com Hue的主要功能: 提供SQL 接口：Hive, Impala, MySql, Po

2018-04-24

2.9K0

技术丨从Hadoop到Spark，看大数据框架发展之路

hadoop 大数据 mapreduce spark java

谈到大数据框架，不得不提Hadoop和 Spark，今天我们进行历史溯源，帮助大家了解Hadoop和Spark的过去，感应未来。在Hadoop出现前人们采用什么计算模型呢？是典型的高性能 HPC workflow，它有专门负责计算的compute cluster，cluster memory很小，所以计算产生的任何数据会存储在storage中，最后在Tape里进行备份，这种workflow主要适用高速大规模复杂计算，像核物理模拟中会用到。 HPC workflow在实际应用中存在一些问题，这些问题

2018-04-24

1K0

【学习】2分钟读懂大数据框架Hadoop和Spark的异同

大数据 hadoop spark apache

　　谈到大数据，相信大家对 Hadoop 和 Apache Spark 这两个名字并不陌生。但我们往往对它们的理解只是停留在字面上，并没有对它们进行深入的思考，下面不妨跟我一块看下它们究竟有什么异同。

2018-04-23

7620

震撼可视化，4分钟看完世界5500年版图演变(视频)

数据分析大数据 hadoop

导读：人类历史进展？国家版图如何变化？5500年厚重的历史如何被压缩到4分钟内？请观看视频，感受可视化的魅力。超震撼 | 地学最前沿的16幅动图来源：腾讯视频 1、回复“数据分析师”查看数据分

2018-04-23

1.4K0

精华版PPT丨大数据与信息安全报告

大数据安全数据分析 hadoop

近日，中国信息化百人会发布了《大数据与信息安全》报告。报告指出，大数据的发展将会带来国际层面、国家安全、社会政治、国民经济、军事安全、个人隐私等方面的信息安全挑战，报告对未来大数据与信息安全的发展提出

2018-04-23

1.7K0

【聚焦】后Hadoop时代的大数据架构

hadoop 大数据 nosql sql

提到大数据分析平台，不得不说Hadoop系统，Hadoop到现在也超过10年的历史了，很多东西发生了变化，版本也从0.x进化到目前的2.6版本。我把2012年后定义成后Hadoop平台时代，这不是说不用Hadoop，而是像NoSQL （Not Only SQL）那样，有其他的选型补充。我在知乎上也写过Hadoop的一些入门文章如何学习Hadoop - 董飞的回答，为了给大家有个铺垫，简单讲一些相关开源组件。背景篇 Hadoop: 开源的数据分析平台，解决了大数据（大到一台计算机无法进行存储，一台计算机无

2018-04-23

9140

浅谈开源大数据平台的演变

开源大数据 hadoop mapreduce 分布式

一说到开源大数据处理平台，就不得不说此领域的开山鼻祖Hadoop，它是GFS和MapReduce的开源实现。虽然在此之前有很多类似的分布式存储和计算平台，但真正能实现工业级应用、降低使用门槛、带动业界大规模部署的就是Hadoop。得益于MapReduce框架的易用性和容错性，以及同时包含存储系统和计算系统，使得Hadoop成为大数据处理平台的基石之一。 Hadoop能够满足大部分的离线存储和离线计算需求，且性能表现不俗；小部分离线存储和计算需求，在对性能要求不高的情况下，也可以使用Hadoop实现。因此

2018-04-23

1.1K0

如何让Hadoop结合R语言做统计和大数据分析？

hadoop r 语言

有奖转发活动回复“抽奖”参与《2015年数据分析/数据挖掘工具大调查》有奖活动。 R是GNU的一个开源工具，具有S语言血统，擅长统计计算和统计制图。由Revolution Analytics发起的一个开源项目RHadoop将R语言与Hadoop结合在一起，很好发挥了R语言特长。广大R语言爱好者借助强大工具RHadoop，可以在大数据领域大展拳脚，这对R语言程序员来说无疑是个喜讯。作者从一个程序员的角度对R语言和Hadoop做了一次详细的讲解。以下为原文：前言写过几篇关于RHadoop的技术性文章

2018-04-23

1.2K0

【职业】与大数据相关的工作职位有哪些？

大数据数据处理数据分析 hadoop

上一篇我们回答了《现在学习大数据晚吗？》，我们陆续收到了大家的一些反馈，针对大家的问题，我们后续会继续挑一些有代表性的问题继续回答。在回答《与大数据相关的工作职位有哪些？》，让我们先看一段对话：小袁：我是一只苦逼的程序猿，俗称技术屌丝男，还属于码农阶段，起早贪黑不分时间，没房没车没对象，每天除了代码，就是BUG，觉得暗无天日，没有钱途，现在想换相关的职业，不知道DOCTOR V有什么可以介绍的？ Doctor V：云计算的实现，咱们迎来了大数据时代，而基于数据处理和开发，有几个职位想必你会感兴趣，

2018-04-23

3.4K0

数据挖掘系列（5）使用mahout做海量数据关联规则挖掘

hadoop 编程算法开源分布式数据挖掘

上一篇介绍了用开源数据挖掘软件weka做关联规则挖掘，weka方便实用，但不能处理大数据集，因为内存放不下，给它再多的时间也是无用，因此需要进行分布式计算，mahout是一个基于hadoop的分布式数据挖掘开源项目（mahout本来是指一个骑在大象上的人）。掌握了关联规则的基本算法和使用，加上分布式关联规则挖掘后，就可以处理基本的关联规则挖掘工作了，实践中只需要把握业务，理解数据便可游刃有余。安装mahout 　　骑在大象上的侠士必然需要一头雄纠纠的大象，不过本文不解绍大象hadoop，所以我假定已经

2018-04-23

7760

【学习】Facebook的实时Hadoop系统

hadoop 大数据

Facebook 在今年六月 SIGMOD 2011 上发表了一篇名为“Apache Hadoop Goes Realtime at Facebook”的会议论文 (pdf)，介绍了 Facebook 为了打造一个实时的 HBase 系统使用到的独门秘技。由于该论文提到的应用场景与小弟负责的系统要解决的问题域有相似之处，因而抽时间仔细阅读了这篇论文。下面便是结合论文的内容，谈一谈我的一些看法和感想，如有谬误，敬请指正。这篇 10 页的长文主要的内容是 Facebook 在 Hadoop 系统上的

2018-04-23

1K0

【学习】大数据和Hadoop生态圈，Hadoop发行版和企业级应用

hadoop 大数据

本文转自张子良的博客Hadoop develop，张子良，金融大数据专家，提供大数据方案咨询，技术咨询和企业内训。第一章大数据和Hadoop生态圈本章主要内容：理解大数据的挑战了解Hadoop生态圈了解Hadoop发行版使用基于Hadoop的企业级应用你可能听别人说过，我们生活在“大数据”的环境中。技术驱动着当今世界的发展，计算能力飞速增长，电子设备越来越普遍，因特网越来越容易接入，与此同时，比以往任何时候都多的数据正在被传输和收集。企业正在以惊人的速度产生数据。仅Facebook

2018-04-23

1K0

工具 | 大数据系列（5）——Hadoop集群MYSQL的安装

大数据 hadoop 云数据库 SQL Server

文|指尖流淌前言有一段时间没写文章了，最近事情挺多的，现在咱们回归正题，经过前面四篇文章的介绍，已经通过VMware安装了Hadoop的集群环境，相关的两款软件VSFTP和SecureCRT也已经正常安装了。本篇主要介绍在大数据应用中比较常用的一款软件Mysql，我相信这款软件不紧紧在大数据分析的时候会用到，现在作为开源系统中的比较优秀的一款关系型开源数据库已经被很多互联网公司所使用，而且现在正慢慢的壮大中。在大数据分析的系统中作为离线分析计算中比较普遍的两种处理思路就是：1、写程序利用mapp

2018-04-23

1.3K0

大数据系列（1）——Hadoop集群坏境搭建配置

大数据 hadoop

文|指尖流淌前言关于时下最热的技术潮流，无疑大数据是首当其中最热的一个技术点，关于大数据的概念和方法论铺天盖地的到处宣扬，但其实很多公司或者技术人员也不能详细的讲解其真正的含义或者就没找到能被落地实施的可行性方案，更有很多数据相关的项目比如弄几张报表，写几个T-SQL语句就被冠以“大数据项目”，当然了，时下热门的话题嘛，先把“大数据”帽子扣上，这样才能显示出项目的高大上，得到公司的重视或者高层领导的关注。首先，关于大数据的概念或者架构一直在各方争议的背景下持续的存在着。目前，关于大数据项目可以真正

2018-04-23

2K0

【聚焦】Office 2016的数据可视化大杀器

数据可视化数据分析大数据 hadoop

---- ---- ---- ---- ---- ---- 做不了心机婊，做不了绿茶婊，你还能做信息图表！转载自公众号:我懂个P PPV课其他精彩文章： ---- 1、回复“干货”查看干货数据分析师完整知识结构 2、回复“答案”查看大数据Hadoop面试笔试题及答案 3、回复“设计”查看这是我见过最逆天的设计，令人惊叹叫绝 4、回复

2018-04-23

1K0

【学习】使用hadoop进行大规模数据的全局排序

hadoop 大数据

1. Hellow hadoop~~! Hadoop（某人儿子的一只虚拟大象的名字）是一个复杂到极致，又简单到极致的东西。说它复杂，是因为一个hadoop集群往往有几十台甚至成百上千台low cost的计算机组成，你运行的每一个任务都要在这些计算机上做任务的分发，执行中间数据排序以及最后的汇总，期间还包含节点发现，任务的重试，故障节点替换等等等等的维护以及异常情况处理。谁叫hadoop集群往往都是由一些平民计算机组成，没事儿罢个工什么的，实在是再寻常不过的事情。而说其简单，则是因为，上面说到的那些

2018-04-23

9340

【学习】公司的大数据业务为什么都基于Hadoop方案

hadoop 大数据开源分布式

　　一、可以帮助我们解决什么问题　　现在不管是在国内外的大公司，对于大数据都是非常的渴望，会想尽所有的办法搜集一切的数据，由于现代信息的不对称从而导致不断的数据变化，大量的信息是可以通过数据分析获取

2018-04-23

6050

点击加载更多

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态