腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
0
回答
hyperledger fabric
分布式
存储
所需的建议
hyperledger-fabric
、
hyperledger
、
ipfs
在此应用程序中,我们需要在
分布式
存储
中
存储
一些
文件
,在
存储
文件
之后,我将
存储
其对fabric的引用(散列)。我读过关于IPFS作为
分布式
存储
的文章。但是,我需要一些建议,是否有其他
分布式
存储
,我们可以与hyperledger一起使用。
浏览 5
提问于2018-07-13
得票数 0
1
回答
是
分布式
文件
存储
(HDFS/Cassandra/S3等)是否强制spark在群集模式下运行?若有,原因为何?
apache-spark
、
hadoop
、
hdfs
是
分布式
文件
存储
(HDFS/Cassandra/S3等)是否强制spark在群集模式下运行?若有,原因为何? Spark是用于计算海量数据的
分布式
数据处理引擎。假设我在mysql中
存储
了大量数据,我想对这些数据进行处理。Spark从mysql读取数据,并在集群节点本身上执行内存(或磁盘)计算。我仍然不能理解为什么在集群模式下运行spark需要
分布式
文件
存储
?
浏览 3
提问于2021-03-25
得票数 0
1
回答
用于blob数据的
分布式
文件
存储
hdfs
、
distributed-computing
我想使用HDFS来
存储
图像/
文件
。但是我在网上读到,关于HDFS由于单一namenode的缺点。我遇到了这个名为Cassandra的框架,它是一个nosql
分布式
数据库,但对于blob
存储
来说,它的性能同样不好。对于这个问题有什么建议吗?例如,一个用于blob数据的
分布式
文件
存储
?
浏览 3
提问于2013-05-28
得票数 0
1
回答
如何将
文件
内容分发到多个节点?
hadoop
我需要在网络上分发
文件
的内容(最多5GB),这样
文件
的每个
分布式
节点(XML或简单
文件
)都不会复制数据并相互同步。 更重要的是,可能有1000多个大
文件
,需要在分发过程中进行。我可以使用Hadoop来
存储
大
文件
,并使用集群节点来
存储
分布式
数据吗?
浏览 2
提问于2014-07-23
得票数 0
回答已采纳
1
回答
分布式
缓存和Tachyon之间有什么区别?
apache-spark
、
distributed-caching
、
distributed-cache
、
alluxio
分布式
缓存是一种
存储
公共请求和快速检索的方法。这两者有什么不同?
浏览 1
提问于2015-09-16
得票数 4
1
回答
是
分布式
文件
系统和命名服务中间件吗?
distributed-system
、
middleware
从
分布式
系统中按库仑划分,将
分布式
系统划分为分层中间件定义为
分布式
文件
系统使程序能够与本地
文件
完全相同地
存储
和访问远程
文件
,从而允许用户从网络上的任何计算机访问
文件
。访问
存储
在服务器上的
文件
的性能和可靠性应与
存储
在本地磁盘上的<e
浏览 0
提问于2019-12-03
得票数 0
0
回答
上传
文件
到HDFS是否会自动以
分布式
方式
存储
文件
?
hadoop
、
hdfs
我刚刚开始学习Hadoop,我对如何以
分布式
方式
存储
数据感到有点困惑。我有MPI背景。对于MPI,我们通常有一个主处理器,它将数据发送到各种其他处理器。这是由程序员显式完成的。有了Hadoop,您就拥有了Hadoop
分布式
文件
系统(HDFS)。那么,当您将本地服务器中的某些
文件
放入HDFS时,HDFS是否会自动以
分布式
方式
存储
此
文件
,而无需程序员执行任何操作?
浏览 8
提问于2019-01-26
得票数 1
回答已采纳
2
回答
Map and Reduce with large datasets =它在实践中是如何工作的?
java
、
algorithm
、
mapreduce
假设我有一个包含1PB数据的SAN(
存储
)。我如何通过“主机”有效地将大量数据分发给从机?这是我不能理解的事情。
浏览 3
提问于2011-04-12
得票数 2
回答已采纳
5
回答
小
文件
和HDFS数据块
hadoop
、
hdfs
Hadoop
分布式
文件
系统中的一个块是
存储
多个小
文件
,还是一个块只
存储
一个
文件
?
浏览 5
提问于2011-12-19
得票数 12
回答已采纳
3
回答
分布式
日志系统
system
、
distributed
、
logging
我需要在
分布式
文件
系统中
存储
日志。有没有能满足我需求的
分布式
系统? 谢谢!
浏览 0
提问于2010-09-09
得票数 0
1
回答
管理许多小型git实例的最佳方式
git
、
distributed
我的
分布式
应用程序在大量主机上运行,应用程序的每个实例都有少量相似但不同的配置
文件
。我想开始在git中跟踪这些配置
文件
。主要的工作流程是让支持人员在
分布式
主机上适当地编辑
文件
,在本地提交更改,并定期将这些更改推送到中央位置/
存储
库,以便我们以后可以恢复它们,等等。 做这件事最好的方法是什么?暴力的方法是为每个
分布式
主机创建一个上游
存储
库,并以1:1的方式推送/拉出它们,但考虑到每个
存储
库中跟踪的
文件</em
浏览 1
提问于2015-09-25
得票数 0
1
回答
ZooKeeper和Etcd有多好?
apache-zookeeper
、
distributed-computing
、
etcd
我最近对
分布式
开源产品很感兴趣。我发现它们似乎需要配置(协调?)ZooKeeper for Presto DB、Hive和Etcd等系统用于kubernetes,我认为理解etcd和ZooKeeper的作用是理解
分布式
系统的第一步。根据etcd的自
浏览 2
提问于2016-04-17
得票数 4
回答已采纳
1
回答
当使用NPM安装时,如何只获取一个build/dist
文件
,而不是完整的repo?
npm
、
compilation
、
repository
、
bundle
、
npm-install
如果只需要依赖于repo中的单个
文件
,该怎么办?或者这种可能性应该由repo的维护者提供?(例如,只提供
分布式
文件
的repo的捆绑版本)
浏览 2
提问于2019-06-12
得票数 0
3
回答
Riak vs GlusterFS
filesystems
、
cluster-computing
、
riak
我需要设置一个数据
存储
,可以
存储
PB级别的
文件
(
文件
大多是小的json,图像和csv
文件
,但其中一些可以是~100MB的二进制
文件
)。 我正在研究
分布式
数据
存储
,它是无主机和无单点故障的。但在我看来,它们都使用了散列和类似的
分布式
技术。它们是否具有类似的性能、一致性和可用性?
浏览 1
提问于2011-12-13
得票数 9
回答已采纳
1
回答
如何在HBase中测试恢复?
hadoop
、
hbase
、
bigdata
我想在HBase (独立模式)下测试数据的恢复,我该怎么做呢?恢复将在独立模式下工作吗?这是我写的代码..p.setWriteAheadLog(true); p.add(Bytes.toBytes("cf"), Bytes.toBytes("na
浏览 3
提问于2013-03-25
得票数 0
6
回答
如何搭建Hadoop处理环境?
apache
、
mapreduce
、
分布式
、
hadoop
、
数据处理
Apache Hadoop 是用于开发在
分布式
计算环境中执行数据处理应用程序的框架。旨在从单个服务器提供
存储
和计算资源的方式扩展到数千台机器。Apache Hadoop的核心部分由
存储
部分(Hadoop
分布式
文件
系统)及其数据处理部分(MapReduce)组成。Hadoop将
文件
分割成大块,并将它们分发到群集中的节点上。
浏览 1922
提问于2018-10-24
1
回答
正在读取由Dataframewriter Pyspark写入的Csv
文件
python
、
csv
、
apache-spark
、
dataframe
、
pyspark
我使用以下代码将数据帧写入CSV:当我在客户端模式下运行spark时,上面的代码片段创建了一个名为avg.csv的
文件
夹,该
文件
夹在我的工作节点或嵌套
文件
夹中包含一些带有part-*.csv的
文件
,然后是
文件
part-* .csv。
浏览 0
提问于2019-02-16
得票数 1
2
回答
hadoop的
分布式
替代方案
hadoop
、
hdfs
、
storage
、
distributed
、
distributed-system
什么是一些
分布式
和可伸缩的替代方案。我正在寻找一些
分布式
文件
系统,如,HDFS,,它可以作为一个廉价和有效的
存储
,并希望在上面的数据处理引擎(批处理/实时)。我知道火花是个不错的选择。但是我想用这个系统作为一个
文件
存档,它是
分布式
的,容错的,scalable.Is有什么解决方案吗?欢迎提出建议。谢谢:)
浏览 3
提问于2016-08-17
得票数 6
回答已采纳
6
回答
是否有任何支持部分签出/克隆的
分布式
版本控制系统?
git
、
version-control
、
mercurial
、
dvcs
、
bazaar
据我所知,所有
分布式
版本控制系统都需要克隆整个
存储
库。因此,将大量的内容放在一个
存储
库中是不明智的(谢谢)。我知道这不是一个bug,而是一个特性,但我不知道这是否是所有
分布式
版本控制系统的要求。在
分布式
rcs中,
文件
(或内容块)的历史是一个有向无圈图,那么为什么不直接克隆这个单独的DAG而不是
存储
库中的所有图集呢?也许我错过了一些东西,但下面的用例很难做到: 将一些
浏览 9
提问于2010-06-22
得票数 16
回答已采纳
1
回答
什么是内容传递网络和
分布式
文件
系统?
distributed-system
、
system-design
、
distributed-filesystem
、
content-delivery-network
我试图扩大我在
分布式
系统和系统设计方面的知识。我遇到了一些术语,如内容传送网络和
分布式
文件
系统,用于
存储
/处理诸如音乐、视频、图片、gifs等媒体数据。据我所知,DFS只是一个
文件
系统,我们在笔记本电脑中复制到其他服务器(
分布式
),使其99.9%可用。CDN是一个可以
存储
资产的网络,包括javascript、图像、视频等。
浏览 4
提问于2021-06-19
得票数 4
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
分布式文件存储工程师
图片文件分布式存储解决方案
如何实现支持百亿级文件的分布式文件存储
分布式文件存储数据库 MongoDB
分布式文件存储QoS硬核黑科技,真香
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券