首页
学习
活动
专区
工具
TVP
发布

奇点大数据

专栏作者
243
文章
213594
阅读量
50
订阅数
人工智能与大数据的完美结合
人工智能(AI)已经存在几十年了。然而,最近随着“大数据”的出现,它得到了越来越多的关注。维基百科对人工智能的释义如下:
刀刀老高
2018-07-24
4230
RHadoop应用(1)
使用RHadoop结合hdfs存储R语言输入数据 1 R语言是著名的开源统计分析和绘图语言,但限于功能,只能进行单机存储数据和计算,通过hadoop的功能可以存储更多的数据和并行计算。 Rhadoop包括rhdfs、rmr2、rhbase等R语言插件,rhdfs插件可以加载hdfs文件系统,rmr2可以使用mapreduce做并行计算。 这里先使用rhdfs来简单介绍下r语言怎样读取较大的文件 2 首先安装rhdfs插件,由于R语言要调用java 因此需要安装rjava插件 install.package
刀刀老高
2018-04-11
6820
Flume:流式数据收集利器
在数据生命周期里的第一环就是数据收集。收集通常有两种办法,一种是周期性批处理拷贝,一种是流式收集。今天我们就说说流式收集利器Flume怎么使用。 使用flume收集数据保存到多节点 by 尹会生 1 使用flume 收集数据到hdfs 由于工作的需要,领导要求收集公司所有在线服务器节点的文本数据,进行存储分析,从网上做了些比较,发现flume 是个简单实现,而且非常强大的工具,这里介绍给大家 首先下载软件:http://flume.apache.org flume是著名的开源数据收集系统
刀刀老高
2018-04-11
1.2K0
提高hadoop的可靠性(下)
在Hadoop集群中,Namenode的可用性直接影响了Hadoop整个集群的可用性,目前有很多可选方案,基本上以NFS+zookeeper实现,但是仍然存在单点,因此官方引入了QJM解决方案。这里以Hadoop2.6.3为例,来看下如何解决数据单点问题。 首先先来了解以下QJM实现的原理,NameNode节点存储数据包括edits_* 的事务文件以及fsimage_*的内存镜像,同步只需要事务文件,因此QJM采用JournalNode来同步记录主NameNode的事务,并同步到
刀刀老高
2018-04-11
5870
最新训练神经网络的五大算法
作者: Alberto Quesada 译者: KK4SBB 神经网络模型的每一类学习过程通常被归纳为一种训练算法。训练的算法有很多,它们的特点和性能各不相同。 问题的抽象   人们把神经网络的学习
刀刀老高
2018-04-10
2K0
没有更多了
社区活动
Python精品学习库
代码在线跑,知识轻松学
【玩转EdgeOne】征文进行中
限时免费体验,发文即有奖~
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品·最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档