腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
数据饕餮
专栏作者
举报
217
文章
196293
阅读量
60
订阅数
订阅专栏
申请加入专栏
全部文章
大数据
数据库
存储
hadoop
数据分析
python
知识图谱
编程算法
hbase
http
模型
开源
ide
linux
人工智能
企业
机器人
aigc
深度学习
爬虫
数据处理
windows
人脸识别
数据挖掘
java
xml
入门
node.js
eclipse
github
mapreduce
分布式
架构设计
产品设计
数据仓库
NLP 服务
机器学习
html
git
api
中文分词
unix
文件存储
大数据处理套件 TBDS
电商
数据安全
jvm
hive
数据可视化
系统架构
prompt
部署
其他
c++
.net
云数据库 Redis
打包
神经网络
TDSQL MySQL 版
网络安全
jdk
zookeeper
uml
安全
https
chatgpt
etl
编码
产品
产品经理
程序员
工具
工作流
函数
互联网
基础
开源框架
配置
数据采集
费用中心
腾讯云学堂
php
bootstrap
json
android
云数据库 SQL Server
oracle
nosql
flask
tomcat
搜索引擎
lucene/solr
apache
bash 指令
tornado
云函数
存储网关
云直播
访问管理
云数据库 MongoDB
人脸核身
弹性 MapReduce
云推荐引擎
mongodb
图像处理
人脸支付
网站
数据备份
混合云存储
金融
渲染
url 安全
yarn
互联网金融
shell
正则表达式
面向对象编程
opencv
unity
ftp
keras
tcp/ip
scrapy
rpc
kernel
socket编程
微信
物联网
数据结构
信息流
云计算
sdk
es
项目管理
app
bi
block
colors
data
db
diagram
dimensions
gan
it
lifecycle
matrix
max
min
model
monitor
na
openai
patch
process
random
reference
return
server
status
sudo
sum
table
word
笔记
编译
测试
代理
翻译
管理
规范化
解决方案
开发
客户端
框架
流量
前端
权限
软件
实践
实时计算
数据
算法
网络
系统设计
异常
隐私
源码
终端
主机
搜索文章
搜索
搜索
关闭
Hadoop2.2.0 eclipse插件编译及Ecliipse配置说明(图文版)
打包
hadoop
eclipse
ide
最近在做一个城商行项目的POC测试it版本,涉及到编译Linux64bti的源码和开发插件使用,作为笔记分享给大家。
数据饕餮
2019-01-14
339
0
Hadoop专业解决方案-第1章 大数据和Hadoop生态圈
大数据
hadoop
非常感谢Hadoop专业解决方案群:313702010,兄弟们的大力支持,在此说一声辛苦了,经过两周的努力,已经有啦初步的成果,目前第1章 大数据和Hadoop生态圈小组已经翻译完成,在此对:译者:贾艳成 QQ:496830205 表示感谢。
数据饕餮
2019-01-14
589
0
基于Hadoop的云盘系统客户端技术难点之二 HDFS文件访问控制
node.js
hadoop
访问管理
安全
Hadoop开源技术框架在实际业务应用中,其早期的安全机制饱受诟病,具体到HDFS应用方面的问题,主要包括以下几个方面:
数据饕餮
2019-01-14
790
0
招募贴:Hadoop专业解决方案招募义务翻译人员
hadoop
mapreduce
hbase
大数据
存储
招募贴:Hadoop专业解决方案招募义务翻译人员,英文原著名称:《Wrox.Professional.Hadoop.Solutions》。愿意参与到此项工作中来的请加群:313702010
数据饕餮
2019-01-14
452
0
胖子哥的大数据之路(五)- 数据资源-垄断的壁垒
大数据
hadoop
昨天接触到一个客户,政府背景,行业应用,某部委直属的下属企业,算是垄断行业,依托政府资源,手里面掌握着全国XX行业所有的数据。原以为是大数据平台的一个营销对象,聊半天才发现,原来这也是一个被我们误认为甲方的乙方,我们反倒成了他们心目中的甲方。因为对方是想基于我们来进行数据产品的营销,当然他们只有原始数据,至于基于原始数据之上的数据分析和商业价值挖掘,包括目标客户和业务方向的定位,他们也不得而知。其实也并非无所知,基于多家厂商的咨询,积累对行业的认知已经不是什么秘密的秘密,商家出力,卖家得利的事,自然他们也是有的。所以思考的业务切入点很多,想法也是很多,谈起来,大有海阔天空的味道,当然并没有任何一点是可以落地实施,或者说无从实施的。当时我真正感兴趣的地方却只有两点:
数据饕餮
2019-01-14
390
0
hadoop开发库webhdfs使用介绍
http
hadoop
云推荐引擎
Hadoop1.0版本已经提供了对Web方式访问的全面支持,包括读写和文件管理,用户可以使用curl模拟Http消息进行测试,下面是WebHDFS提供的操作列表功能清单:
数据饕餮
2019-01-14
642
0
Hadoop专业解决方案-第12章 为Hadoop应用构建企业级的安全解决方案
数据安全
hadoop
非常感谢Hadoop专业解决方案群:313702010,兄弟们的大力支持,在此说一声辛苦了,春节期间,项目进度有所延迟,不过元宵节以后大家已经步入正轨, 目前第12章 为Hadoop应用构建企业级的安全解决方案已经翻译完成,在此对:译者:杨有鹏 不莱梅狗 78280847 表示感谢。
数据饕餮
2019-01-14
1.2K
0
Hadoop专业解决方案-第一章 大数据和Hadoop生态圈
hadoop
非常感谢Hadoop专业解决方案群:313702010,兄弟们的大力支持,在此说一声辛苦了,经过两周的努力,已经有啦初步的成果,目前第1章 大数据和Hadoop生态圈小组已经翻译完成,在此对:译者:贾艳成 QQ:496830205 表示感谢。
数据饕餮
2019-01-14
517
0
基于Hadoop开发网络云盘系统架构设计方案第一稿
数据库
hadoop
云计算技术的发展,各种网络云盘技术如雨后春笋,层出不穷,百度、新浪、网易都推出了自己的云盘系统,本文基于开源框架Hadoop设计实现了一套自己的网络云盘系统,方案为初步设计方案,不断完善中。
数据饕餮
2019-01-14
1.6K
0
基于Hadoop的云盘系统客户端技术选型说明
java
windows
hadoop
linux
开源
伴随云计算技术的发展,云盘系统不断涌现,百度、360、金山等都推出了各自的云盘产品,而云盘存储的模式也越来越被用户所接受,也有越来越多的公司跃跃欲试,想在云存储领域大展拳脚,有一番作为。但是开源Hadoop平台实现语言Java和操作系统Linux的限制,Windows用户桌面版云盘客户端的开发成为了一道不可逾越的屏障。
数据饕餮
2019-01-14
1.5K
0
基于Hadoop的云盘系统客户端技术难点之一 上传和下载效率优化
node.js
hadoop
api
基于任何平台实现的云盘系统,面临的首要的技术问题就是客户端上传和下载效率优化问题。基于Hadoop实现的云盘系统,受到Hadoop文件读写机制的影响,采用Hadoop提供的API进行HDFS文件系统访问,文件读取时默认是顺序、逐block读取;写入时是顺序写入。
数据饕餮
2019-01-14
1.3K
0
基于Hadoop的云盘系统客户端技术难点之三 小文件存储优化
hadoop
打包
存储
hbase
首先明确概念,这里的小文件是指小于HDFS系统Block大小的文件(默认64M),如果使用HDFS存储大量的小文件,将会是一场灾难,这取决于HDFS的实现机制和框架结构,每一个存储在HDFS中的文件、目录和块映射为一个对象存储在NameNode服务器内存中,通常占用150个字节。如果有1千万个文件,就需要消耗大约3G的内存空间。如果是10亿个文件呢,简直不可想象。这里需要特别说明的是,每一个小于Block大小的文件,存储是实际占用的存储空间仍然是实际的文件大小,而不是整个block大小。
数据饕餮
2019-01-14
965
0
大数据工具篇之Hive与HBase整合完整教程
hbase
xml
hive
java
hadoop
最近的一次培训,用户特意提到Hadoop环境下HDFS中存储的文件如何才能导入到HBase,关于这部分基于HBase Java API的写入方式,之前曾经有过技术文章共享,本文就不再说明。本文基于Hive执行HDFS批量向HBase导入数据,讲解Hive与HBase的整合问题。这方面的文章已经很多,但是由于版本差异,可操作性不大,本文采用的版本均基于以下版本说明中的版本。
数据饕餮
2019-01-14
621
0
一张图测试你的Hadoop能力-Hadoop能力测试图谱
hadoop
看到一张图,关于Hadoop技术框架的图,基本上涉及到Hadoop当前应用的主要领域,感觉可以作为测试Hadoop开发人员当前能力和水平的比较好的一个工具,特此分享给大家。如果你能够明白说出每一个技术框架的功能、应用场景和设计架构,那么恭喜你,已经正式步入Hadoop应用开发的世界了。
数据饕餮
2019-01-14
463
0
Hadoop专业解决方案-第13章 Hadoop的发展趋势
mapreduce
hadoop
非常感谢Hadoop专业解决方案群:313702010,兄弟们的大力支持,在此说一声辛苦了,经过两周的努力,已经有啦初步的成果,目前第13章 Hadoop的发展趋势小组已经翻译完成,在此对:hbase-深圳-18361、旅人AQUARION表示感谢。
数据饕餮
2019-01-14
626
0
Hadoop专业解决方案之构建Hadoop企业级应用
存储
hadoop
大数据
数据处理
大数据面对挑战是你必须重新思考构建数据分析应用的方式。传统方式的应用构建是基于数据存储在不支持大数据处理的基础之上。这主要是因为一下原因:
数据饕餮
2019-01-14
468
0
Hadoop文件系统支持释疑之S3
hadoop
ftp
Hadoop版本提供了对多种文件系统的支持,但是这些文件系统是以何种方式实现的,其实现原理是什么以前并没有深究过。今天正好有人咨询我这个问题:Hadoop对S3的支持原理是什么?特此总结一下。Hadoop支持的文件系统包括:
数据饕餮
2019-01-14
1.1K
0
没有更多了
社区活动
Python精品学习库
代码在线跑,知识轻松学
点击查看
【玩转EdgeOne】征文进行中
限时免费体验,发文即有奖~
立即参加
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品·最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档