腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
6
回答
Hadoop
namenode元数据
hadoop
、
namenode
我被
Hadoop
架构
弄糊涂了。 在
Hadoop
中
存储
什么样的文件元数据?从
Hadoop
,它说Namenode
存储
整个系统名称空间。上一次修改时间、创建时间、文件大小、所有者、权限等信息是否
存储
在Namenode中?是否只
存储
任何元数据(),元数据是否超过服务器的限制?如果用户想从
Hadoop
下载文件,他必须从Namenode下载吗?我从网上找到了下面的
架构
图片,它显示客户端可以直接将数据写入datanode吗?是真的
浏览 12
提问于2011-06-07
得票数 2
回答已采纳
1
回答
hadoop
中的数据
存储
复制与云中的雪花
hadoop
、
snowflake-cloud-data-platform
总计(
hadoop
中)=25 In 然后是如何在雪花中
存储
和复制数据。与
hadoop
相比,雪花
架构
中是否存在
存储
复制?雪花=?
浏览 2
提问于2019-07-24
得票数 0
1
回答
使用本地驱动器在Azure HDInsight上运行Spark程序
azure
、
apache-spark
、
benchmarking
、
azure-hdinsight
在EC2上,我们访问的数据被
存储
在固态硬盘上。我们在Azure上的blob中有数据。
浏览 1
提问于2016-04-04
得票数 0
3
回答
使用cassandra和
hadoop
的大数据lambda
架构
hadoop
、
cassandra
、
bigdata
我是大数据的新手,读过关于lambda-
架构
的文章。我考虑过将Cassandra数据库与
Hadoop
一起使用。如果我从物联网设备接收数据,是否应该先将数据保存在
Hadoop
中,然后保存到Cassandra?lambda
架构
在批处理层具有
Hadoop
,接收数据并将其发送到nosql数据库的服务层。为什么数据应该放在
Hadoop
的第一位?如果
Hadoop
包含原始数据,那么Cassandra中
存储
的是什么类型的数据? 流层现在是模糊的。我只是想一起了解一下C
浏览 2
提问于2016-11-22
得票数 4
1
回答
HDFS数据分发
hdfs
、
hadoop2
我对
Hadoop
很陌生,并开始学习它。关于HDFS数据的分发,我有一个问题。 我们最初将在哪里加载数据?关于Node大师?
Hadoop
是否在集群上自行分发数据?还是我们必须自己做?
浏览 2
提问于2017-05-11
得票数 0
1
回答
Hadoop
在数据放在datanodes之前是否有多个本地临时文件位置?
hadoop
、
configuration
、
hadoop2
我想我了解
Hadoop
架构
和结构的基本知识。在将数据写入datanode之前,我会得到它被缓存在本地临时文件位置中。在namenode为每个namenode指定要
存储
在哪个datanode之前,是否
存储
到集群中的所有数据(可能来自多个上载)?或者
Hadoop
甚至可以处理来自不同位置的多个同步上传(例如,多台计算机将不同的大文件上传到基于云的
Hadoop
集群) 请帮助我在任何地方找不到这些信息
浏览 4
提问于2015-01-09
得票数 0
回答已采纳
1
回答
在使用CQRS
架构
的Windows应用程序中,读写数据库的最佳选择是什么?
performance
、
azure-storage
、
cqrs
使用CQRS
架构
在Windows中构建一个应用程序,如果您在寻找最佳性能,那么读写数据库的可选
存储
解决方案是什么?改为:非正态化表
Hadoop
浏览 3
提问于2013-01-15
得票数 1
1
回答
Hadoop
前面的服务
web-services
、
hadoop
、
architecture
、
oozie
我想在
Hadoop
前面公开一个web服务,用于将数据转发到
Hadoop
生态系统。我在
Hadoop
中有两个分支,一个是慢分支,它定期处理整个数据;另一个分支是快速分支,它对每个输入进行一些计算,并为定期作业
存储
数据。如何最好地组织我的
架构
?我是
Hadoop
架构
的新手,我读过有关Oozie的文章,并且有一种感觉,它可以在某种程度上帮助我。但我不知道如何将服务与
Hadoop
连接,如何通过服务传递数据,因为
Hadoop
主要处理文件,并且是分布
浏览 0
提问于2014-09-03
得票数 0
1
回答
Hadoop
:只使用两台机器的缺点?
hadoop
、
analytics
然而,所有的数据都来自外部来源,我只有两台机器要
存储
--一台作为备份/复制。在两台机器上使用
Hadoop
是否有任何开销?如果
Hadoop
不是一个好的选择,还有其他选择吗?
浏览 2
提问于2010-02-12
得票数 2
回答已采纳
1
回答
Spark作为Mapreduce的
存储
层
hadoop
、
caching
、
apache-spark
、
mapreduce
、
distributed-computing
由于中间数据写入HDFS,具有小数据的作业从HDFS的功能中损失大于收益,并且比非
Hadoop
等效物所花费的时间要长得多。我真正想要的短期解决方案是,改变
存储
层,这样我就可以继续从map-reduce并行性中受益,但不会为
存储
层付出太多代价。在这个方向上,我正在考虑使用Spark作为
存储
层,map-reduce作业将通过Spark Context将其输出
存储
在Spark中,并且将再次从Spark Context读取输入(通过创建Spark我的问题是,这个
架构
方案有意义吗?有没有人遇到过这
浏览 0
提问于2016-12-11
得票数 0
1
回答
度量收集和分析体系结构
database
、
amazon-web-services
、
architecture
、
bigdata
、
iot
首先,不需要
存储
所有数据,因为用户只需要指定时间段的图表,因此需要一些聚合。什么样的数据库解决方案适合它?我相信没有RDMS会处理这么多的数据。那么,如何获取度量的平均数据来将其呈现给最终用户呢?AWS具有共享的时间序列数据处理
架构
: 很简单,我是这样想的: 以前有没有人做过类似的事?也许还有更简单的建筑?
浏览 0
提问于2018-11-26
得票数 1
1
回答
Hadoop
在N层
架构
中的位置是什么?
hadoop
、
database-design
、
architecture
、
hadoop2
、
bigdata
我对
Hadoop
和它的生态系统还很陌生。我想知道
Hadoop
在典型的N-Tier
架构
或任何现代
架构
中的位置和方式是什么?从
Hadoop
获得结果非常棒,但是我如何以及以何种方式编组数据结果以在我的表示层上显示它们呢?
浏览 14
提问于2016-09-03
得票数 0
回答已采纳
3
回答
Hadoop
是什么?怎么使用呢?
mapreduce
、
hadoop
听说
Hadoop
是做大数据并行计算的框架,这种跟“云计算“有什么区别?
浏览 680
提问于2017-09-28
1
回答
hdfs快照可用于恢复单元格吗?
hadoop
、
hive
、
snapshot
知道hive和hdfs一起使用一个亚稳态,是否可以将运行中的
hadoop
-hive集群中的hdfs快照恢复到一个新的
hadoop
-hive集群中?
浏览 5
提问于2014-06-18
得票数 1
1
回答
类似于SQL表的循环调度,用于跟踪最近的活动
sql
我们需要跟踪不同时间段的用户活动,如24小时,7天等。我们预计不会有很大数量的不同时期,但用户数量将非常大,可能在数百万。每晚cronjob汇总每个用户的统计数据听起来并不合理。我知道过去我曾用RRD表这样跟踪网络使用情况,但这些只是BerkeleyDB的,而且每个统计数据必须有一个文件,这是行不通的,但这个想法似乎是我想要的。有没有我忽略的模式/最佳实践?
浏览 1
提问于2011-12-31
得票数 2
回答已采纳
1
回答
Hadoop
到底是干什么用的,主要的应用场景和应用领域是什么?
hadoop
Hadoop
到底是干什么用的,主要的应用场景和应用领域是什么,主要解决的核心问题又是什么,我们个人可以用它来干什么 产生价值呢?
浏览 807
提问于2020-09-24
1
回答
我们是否将一台机器称为datanode和nodemanager?
mapreduce
、
hdfs
、
hadoop2
根据我的理解,客户端请求namenode提供数据
存储
位置的信息,这类似于请求资源的资源管理器。
浏览 123
提问于2020-07-23
得票数 0
1
回答
近图
架构
php
、
gis
、
hadoop
、
memcached
看看什么样的系统/
架构
适合传输这些数据/图像?您是否会将图像
存储
在
Hadoop
中,并使用apache/php/memcache来交付等?
浏览 1
提问于2010-05-07
得票数 0
回答已采纳
2
回答
Spark通过Mesos转到MongoDB
mongodb
、
apache-spark
、
cluster-computing
、
mesos
、
mesosphere
这是我的
架构
:这就是我问这个问题的原因。Spark安装需要设置
HADOOP
_HOME变量。这看起来像是紧密耦合!!网上的大多数帖子都在谈论MongoDB-
Hadoop
连接器。如果你强迫我把所有东西都搬到
hadoop
上,那是没有意义的。
浏览 29
提问于2016-08-17
得票数 0
1
回答
生成Avro
架构
文件并
存储
在HDFS中
centos
、
hdfs
、
avro
我正在使用avro工具从HDFS中的avro文件生成模式文件,并使用以下命令将其转储到Linux文件系统:
hadoop
jar /usr/bin/Avro/avro-tools-1.8.1.jar getschema
浏览 17
提问于2016-09-24
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Hadoop 存储-HDFS介绍
浅析Hadoop MapReduce架构
白话Hadoop架构原理
Hadoop HDFS DataNode 存储机制
大数据架构hadoop初体验
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券