腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

奇点大数据

专栏作者

243

文章

215754

阅读量

50

订阅数

RHadoop应用（1）

hadoop 存储 r 语言开源 hbase

使用RHadoop结合hdfs存储R语言输入数据 1 R语言是著名的开源统计分析和绘图语言，但限于功能，只能进行单机存储数据和计算，通过hadoop的功能可以存储更多的数据和并行计算。 Rhadoop包括rhdfs、rmr2、rhbase等R语言插件，rhdfs插件可以加载hdfs文件系统，rmr2可以使用mapreduce做并行计算。这里先使用rhdfs来简单介绍下r语言怎样读取较大的文件 2 首先安装rhdfs插件，由于R语言要调用java 因此需要安装rjava插件 install.package

2018-04-11

6900

提高hadoop的可靠性(下)

hadoop zookeeper 存储

在Hadoop集群中，Namenode的可用性直接影响了Hadoop整个集群的可用性，目前有很多可选方案，基本上以NFS+zookeeper实现，但是仍然存在单点，因此官方引入了QJM解决方案。这里以Hadoop2.6.3为例，来看下如何解决数据单点问题。首先先来了解以下QJM实现的原理，NameNode节点存储数据包括edits_* 的事务文件以及fsimage_*的内存镜像，同步只需要事务文件，因此QJM采用JournalNode来同步记录主NameNode的事务，并同步到

2018-04-11

5950

大数据变现十日谈之一：大数据变现的本质

大数据 hadoop 数据挖掘机器学习编程算法

大数据变现十日谈之一：大数据变现的本质大数据火热已经有至少两三年的样子了。不管每个人心中对大数据都是什么一个印象，这个词起码到现在我们已经不那么陌生了。从学习Hadoop到学习各种数据挖掘机器学习算法，再到人工智能，这些无一不是广义大数据所讨论的一个子范畴。大数据能否成为盈利工具？答案是肯定的。我们使用Hadoop或者Spark这些框架进行分布式计算，目的是为了缩短计算和统计的时间，为运营与决策提供数据成本更为低廉和具有时效性。我们使用机器学习算法对数据进行深度的挖掘和处理，是为了深埋于其中的数据量

2018-04-11

6500

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态