首页
学习
活动
专区
工具
TVP
发布

数据饕餮

专栏作者
217
文章
196293
阅读量
60
订阅数
Hadoop2.2.0 eclipse插件编译及Ecliipse配置说明(图文版)
  最近在做一个城商行项目的POC测试it版本,涉及到编译Linux64bti的源码和开发插件使用,作为笔记分享给大家。
数据饕餮
2019-01-14
3390
Hadoop专业解决方案-第1章 大数据和Hadoop生态圈
  非常感谢Hadoop专业解决方案群:313702010,兄弟们的大力支持,在此说一声辛苦了,经过两周的努力,已经有啦初步的成果,目前第1章 大数据和Hadoop生态圈小组已经翻译完成,在此对:译者:贾艳成 QQ:496830205 表示感谢。
数据饕餮
2019-01-14
5890
基于Hadoop的云盘系统客户端技术难点之二 HDFS文件访问控制
  Hadoop开源技术框架在实际业务应用中,其早期的安全机制饱受诟病,具体到HDFS应用方面的问题,主要包括以下几个方面:
数据饕餮
2019-01-14
7900
招募贴:Hadoop专业解决方案招募义务翻译人员
招募贴:Hadoop专业解决方案招募义务翻译人员,英文原著名称:《Wrox.Professional.Hadoop.Solutions》。愿意参与到此项工作中来的请加群:313702010
数据饕餮
2019-01-14
4520
胖子哥的大数据之路(五)- 数据资源-垄断的壁垒
  昨天接触到一个客户,政府背景,行业应用,某部委直属的下属企业,算是垄断行业,依托政府资源,手里面掌握着全国XX行业所有的数据。原以为是大数据平台的一个营销对象,聊半天才发现,原来这也是一个被我们误认为甲方的乙方,我们反倒成了他们心目中的甲方。因为对方是想基于我们来进行数据产品的营销,当然他们只有原始数据,至于基于原始数据之上的数据分析和商业价值挖掘,包括目标客户和业务方向的定位,他们也不得而知。其实也并非无所知,基于多家厂商的咨询,积累对行业的认知已经不是什么秘密的秘密,商家出力,卖家得利的事,自然他们也是有的。所以思考的业务切入点很多,想法也是很多,谈起来,大有海阔天空的味道,当然并没有任何一点是可以落地实施,或者说无从实施的。当时我真正感兴趣的地方却只有两点:
数据饕餮
2019-01-14
3900
hadoop开发库webhdfs使用介绍
Hadoop1.0版本已经提供了对Web方式访问的全面支持,包括读写和文件管理,用户可以使用curl模拟Http消息进行测试,下面是WebHDFS提供的操作列表功能清单:
数据饕餮
2019-01-14
6420
Hadoop专业解决方案-第12章 为Hadoop应用构建企业级的安全解决方案
  非常感谢Hadoop专业解决方案群:313702010,兄弟们的大力支持,在此说一声辛苦了,春节期间,项目进度有所延迟,不过元宵节以后大家已经步入正轨, 目前第12章 为Hadoop应用构建企业级的安全解决方案已经翻译完成,在此对:译者:杨有鹏 不莱梅狗  78280847 表示感谢。
数据饕餮
2019-01-14
1.2K0
Hadoop专业解决方案-第一章 大数据和Hadoop生态圈
  非常感谢Hadoop专业解决方案群:313702010,兄弟们的大力支持,在此说一声辛苦了,经过两周的努力,已经有啦初步的成果,目前第1章 大数据和Hadoop生态圈小组已经翻译完成,在此对:译者:贾艳成 QQ:496830205 表示感谢。
数据饕餮
2019-01-14
5170
基于Hadoop开发网络云盘系统架构设计方案第一稿
  云计算技术的发展,各种网络云盘技术如雨后春笋,层出不穷,百度、新浪、网易都推出了自己的云盘系统,本文基于开源框架Hadoop设计实现了一套自己的网络云盘系统,方案为初步设计方案,不断完善中。
数据饕餮
2019-01-14
1.6K0
基于Hadoop的云盘系统客户端技术选型说明
  伴随云计算技术的发展,云盘系统不断涌现,百度、360、金山等都推出了各自的云盘产品,而云盘存储的模式也越来越被用户所接受,也有越来越多的公司跃跃欲试,想在云存储领域大展拳脚,有一番作为。但是开源Hadoop平台实现语言Java和操作系统Linux的限制,Windows用户桌面版云盘客户端的开发成为了一道不可逾越的屏障。
数据饕餮
2019-01-14
1.5K0
基于Hadoop的云盘系统客户端技术难点之一 上传和下载效率优化
基于任何平台实现的云盘系统,面临的首要的技术问题就是客户端上传和下载效率优化问题。基于Hadoop实现的云盘系统,受到Hadoop文件读写机制的影响,采用Hadoop提供的API进行HDFS文件系统访问,文件读取时默认是顺序、逐block读取;写入时是顺序写入。
数据饕餮
2019-01-14
1.3K0
基于Hadoop的云盘系统客户端技术难点之三 小文件存储优化
首先明确概念,这里的小文件是指小于HDFS系统Block大小的文件(默认64M),如果使用HDFS存储大量的小文件,将会是一场灾难,这取决于HDFS的实现机制和框架结构,每一个存储在HDFS中的文件、目录和块映射为一个对象存储在NameNode服务器内存中,通常占用150个字节。如果有1千万个文件,就需要消耗大约3G的内存空间。如果是10亿个文件呢,简直不可想象。这里需要特别说明的是,每一个小于Block大小的文件,存储是实际占用的存储空间仍然是实际的文件大小,而不是整个block大小。
数据饕餮
2019-01-14
9650
大数据工具篇之Hive与HBase整合完整教程
  最近的一次培训,用户特意提到Hadoop环境下HDFS中存储的文件如何才能导入到HBase,关于这部分基于HBase Java API的写入方式,之前曾经有过技术文章共享,本文就不再说明。本文基于Hive执行HDFS批量向HBase导入数据,讲解Hive与HBase的整合问题。这方面的文章已经很多,但是由于版本差异,可操作性不大,本文采用的版本均基于以下版本说明中的版本。
数据饕餮
2019-01-14
6210
一张图测试你的Hadoop能力-Hadoop能力测试图谱
  看到一张图,关于Hadoop技术框架的图,基本上涉及到Hadoop当前应用的主要领域,感觉可以作为测试Hadoop开发人员当前能力和水平的比较好的一个工具,特此分享给大家。如果你能够明白说出每一个技术框架的功能、应用场景和设计架构,那么恭喜你,已经正式步入Hadoop应用开发的世界了。
数据饕餮
2019-01-14
4630
Hadoop专业解决方案-第13章 Hadoop的发展趋势
  非常感谢Hadoop专业解决方案群:313702010,兄弟们的大力支持,在此说一声辛苦了,经过两周的努力,已经有啦初步的成果,目前第13章 Hadoop的发展趋势小组已经翻译完成,在此对:hbase-深圳-18361、旅人AQUARION表示感谢。
数据饕餮
2019-01-14
6260
Hadoop专业解决方案之构建Hadoop企业级应用
 大数据面对挑战是你必须重新思考构建数据分析应用的方式。传统方式的应用构建是基于数据存储在不支持大数据处理的基础之上。这主要是因为一下原因:
数据饕餮
2019-01-14
4680
Hadoop文件系统支持释疑之S3
  Hadoop版本提供了对多种文件系统的支持,但是这些文件系统是以何种方式实现的,其实现原理是什么以前并没有深究过。今天正好有人咨询我这个问题:Hadoop对S3的支持原理是什么?特此总结一下。Hadoop支持的文件系统包括:  
数据饕餮
2019-01-14
1.1K0
没有更多了
社区活动
Python精品学习库
代码在线跑,知识轻松学
【玩转EdgeOne】征文进行中
限时免费体验,发文即有奖~
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品·最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档