腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
4
回答
火花基本面
hadoop
、
apache-spark
、
hdfs
在复习基本面时,我不太清楚一些基本的事情: 查询1.对于
分布式
处理--可以不使用HDFS - Hadoop
文件系统
而在集群上工作(比如创建自己的
分布式
文件系统
),还是需要一些基本的
分布式
文件系统
,如HDFS查询2.如果我们已经在HDFS中加载了一个文件(作为
分布式
块),那么Spark将再次将其转换为块,并在其级别上重新分发(用于
分布式
处理),或者只使用Haddop HDFS集群中的块分发。我也对此感到困惑,在DAG创建之前,很明显,在每个工作节点上工作
浏览 7
提问于2015-08-24
得票数 1
回答已采纳
1
回答
分布式
缓存和Tachyon之间有什么区别?
apache-spark
、
distributed-caching
、
distributed-cache
、
alluxio
分布式
缓存是一种存储公共请求和快速检索的方法。这两者有什么不同?
浏览 1
提问于2015-09-16
得票数 4
2
回答
如何使用Hadoop
分布式
缓存将文件放入
内存
?
hadoop
、
distributed-cache
据我所知,
分布式
缓存将文件复制到每个节点,然后映射或缩减从本地
文件系统
读取文件。我的问题是:有没有一种方法可以使用Hadoop
分布式
缓存将文件放到
内存
中,以便每个map或reduce都可以直接从
内存
中读取文件?我的MapReduce程序将一个大约1M的png图片分发到每个节点,然后每个map任务从
分布式
缓存中读取图片,并对来自map输入的另一个图片进行一些图像处理。
浏览 5
提问于2013-12-12
得票数 3
2
回答
分布式
文件系统
必须由位于不同计算机上的多个
文件系统
组成吗?
nfs
、
distributed-filesystems
分布式
文件系统
的概念是否要求
分布式
文件系统
由位于不同计算机上的多个
文件系统
组成?如果是,NFS
文件系统
是
分布式
文件系统
吗?谢谢。
浏览 0
提问于2020-03-29
得票数 1
1
回答
Hadoop Zookeeper了解
hadoop
、
bigdata
、
nodes
、
apache-zookeeper
我发现zookeeper令人困惑的主要方面是理解它如何处理节点之间的一致性,以及它如何利用其
分布式
内存
文件系统
来处理协调?在这些方面的任何帮助都将是很好的。
浏览 1
提问于2015-06-06
得票数 0
1
回答
ZooKeeper和Etcd有多好?
apache-zookeeper
、
distributed-computing
、
etcd
我最近对
分布式
开源产品很感兴趣。我发现它们似乎需要配置(协调?)ZooKeeper for Presto DB、Hive和Etcd等系统用于kubernetes,我认为理解etcd和ZooKeeper的作用是理解
分布式
系统的第一步。根据etcd的自述。我知道这些产品
浏览 2
提问于2016-04-17
得票数 4
回答已采纳
6
回答
具有切分和复制功能的树莓Pi
分布式
NoSQL数据库?
nosql
、
raspberry-pi
我正在寻找一个具有以下功能的数据库: 还有其他想法吗? PS:具有给定特性的P2P网络或
分布式
文件系统
对我来说也不错。
浏览 2
提问于2012-11-21
得票数 10
回答已采纳
1
回答
阿帕奇·伊格尼特和塔基恩有什么区别?
apache-spark
、
ignite
、
alluxio
我是Apache的新手,对于Ignite和spark集成来说,看起来Ignite提供了一个
内存
中的层,数据将跨spark应用程序存在,这是Tachyon作为
内存
文件系统
提供的功能。那么,我的问题是对于
内存
中的
文件系统
(IGFS用于点燃),Ignite和Tachyon之间有什么区别?两人之间的利弊是什么? 谢谢!
浏览 1
提问于2016-12-06
得票数 4
回答已采纳
2
回答
XFS是
分布式
文件系统
还是日志
文件系统
?
filesystem
XFS是
分布式
文件系统
还是日志
文件系统
?哪一个是真的?
浏览 0
提问于2014-11-28
得票数 5
回答已采纳
1
回答
状态是否保存在TaskManager的
内存
中,而与后端的状态无关?
apache-flink
我的意思是,当一个检查点完成时,检查点数据将保存在HDFS(chk-XXX)或RocksDB中,但是当flink作业继续运行时,taskManager将积累越来越多的属于该任务管理器的状态,它们总是保存在
内存
中吗如果它们保存在
内存
中,那么检查点数据不能太大,否则可能会发生OOM。 是否可以在TaskManager进程中使用RocksDB来保存TM的状态数据?谢谢!
浏览 18
提问于2020-09-07
得票数 0
回答已采纳
1
回答
Dremel或它的实现(比如data )如何处理
内存
中的大型柱状数据布局?
apache-drill
、
dremel
由于memory没有中央元数据存储库,所以我认为它必须是
内存
中的。 因此,当我有数十亿行时,如何处理这些数据?
浏览 4
提问于2015-08-28
得票数 0
回答已采纳
1
回答
虚拟
文件系统
是否位于
分布式
文件系统
之上?
linux
、
operating-system
、
filesystems
、
virtualfilesystem
、
distributed-filesystem
在Linux内核中,虚拟
文件系统
位于具体的
文件系统
和设备文件之上,为访问位于其下的
文件系统
提供了一个统一的接口。这些层的整体情况是怎样的? 谢谢。
浏览 5
提问于2016-03-31
得票数 0
1
回答
是
分布式
文件系统
和命名服务中间件吗?
distributed-system
、
middleware
从
分布式
系统中按库仑划分,将
分布式
系统划分为分层中间件定义为
分布式
文件系统
使程序能够与本地文件完全相同地存储和访问远程文件,从而允许用户从网络上的任何计算机访问文件。访问存储在服务器上的文件的性能和可靠性应与存储在本地磁盘上的文件相媲美。在本章中,我们为
文件系统
定义了一个简单的体系结构,并描述了两种基本的
分布式
文件服务
浏览 0
提问于2019-12-03
得票数 0
2
回答
如何在
内存
中持久化数据
redis
、
memcached
、
in-memory
我知道很多库或应用程序可以将数据持久化到
内存
中,比如memcached、redis或tachyon。但是他们如何做到这一点呢?
浏览 3
提问于2014-03-19
得票数 0
1
回答
GridGain Hbase集成
hbase
、
gridgain
我有一个用例,我想实现GridGain作为处理网格,Hbase作为数据存储。根据Hbase APIforV4.3,它支持GridGain。我不确定这种方法的利弊。
浏览 3
提问于2013-11-07
得票数 2
2
回答
Python/Dask支持的
分布式
文件系统
python
、
hdfs
、
dask
、
ceph
、
distributed-filesystem
Dask支持哪些
分布式
文件系统
?具体来说,您可以从哪个
文件系统
中读取dask.dataframe?从Dask文档中,我可以看到HDFS当然是受支持的。是否支持任何其他
分布式
文件系统
,如Ceph等?我可以在这里找到一些关于支持其他
文件系统
的想法的讨论:,但没有最后的结论,只是HDFS比其他选项“更糟糕”。 谢谢你的帮助!
浏览 3
提问于2018-05-11
得票数 3
回答已采纳
1
回答
执行令人尴尬的并行数据连接时dask中的KilledWorker错误
memory-leaks
、
dask
、
distributed-computing
、
dask-distributed
、
dask-delayed
我是在一台
分布式
计算机(具有
分布式
文件系统
)中运行这个程序的,它有大约300名工作人员,每个工作人员都有20 of的RAM。每个单独的工作应该只消耗2-3GB的
内存
,但是由于
内存
错误( GB : distributed.scheduler.KilledWorker异常),工作人员正在崩溃。我可以在工人的输出日志中看到以下内容: with o
浏览 0
提问于2021-03-08
得票数 2
1
回答
当洗牌启用时,tf.dataset.cache会在
分布式
培训中工作吗?
tensorflow
、
tensorflow-datasets
看起来,tf.dataset.cache可以通过在工人
内存
中缓存数据来帮助提高数据管道的性能。因此,在第二个和以后的时代,数据可以直接从RAM访问,而不是通过
文件系统
。问题是在
分布式
培训的情况下,当启用洗牌时,每个员工在下一个时代都不会读取相同的数据,缓存是否仍然是有益的?
浏览 2
提问于2020-08-09
得票数 1
回答已采纳
1
回答
是否有任何可实际使用的
分布式
事务性
文件系统
实现?
filesystems
、
distributed-filesystems
、
transactional-replication
我一直在搜索
分布式
事务性
文件系统
,所以我不必做自己的次等实现。翘曲事务
文件系统
-网站不再运行,而且源代码也没有准备好,除非我获得了生产代码的许可证。波动事务
文件系统
-我找不到这方面的任何源代码 有什么流行的开源
分布式
事务
文件系统
吗?我本以为至少会有一个在某个地方。
浏览 0
提问于2022-09-13
得票数 -2
1
回答
分布式
文件系统
中ASCII文件的并行导出
c++
、
parallel-processing
、
mpi
、
distributed
、
mpi-io
我需要在
分布式
文件系统
上导出ASCII文件。目前,我在每个节点上以附加模式打开文件流到同一个文件。然后逐点导出所有数据。此解决方案在
分布式
文件系统
上是否正确工作,还是有必要使用MPI-I/O?我似乎不太理解并行
文件系统
的概念。 文件必须是ASCII。
浏览 4
提问于2018-03-16
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
MFS分布式文件系统
分布式文件系统架构对比
分布式文件系统FastDFS详解
分布式文件系统的备份
FastDFS实现分布式文件系统
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券