腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
在通用x86硬件上水平扩展
存储
库
repository
、
scalability
、
jcr
、
fedora-commons
我想知道你们是否有任何建议,哪些
存储
库实现在常见硬件上具有良好的集群和水平伸缩特性?问题是,我们必须在
存储
库之上实现一个保存系统,该系统能够摄取和管理大量具有
大文件
(> 50 TB)的异构数据(> 500 TB)。 似乎只能通过使用
分布式
文件系统
来实现集群。
可以
是集群的,但是它的DataStore (对于大型二进制数据)对于集群环境中的所有节点必须是相同的。你们有什么建议吗?我应该检查哪些
存储
库系统?
浏览 3
提问于2011-05-05
得票数 3
1
回答
任何支持恒定时间克隆的
分布式
文件系统
filesystems
、
distributed-computing
、
distributed-system
lustre,或google
文件系统
(,GFS)将文件分割成某种块,并将它们保存到不同的节点中。因此,它们
可以
获得可伸缩性、
分布式
通信量。 尽管有很多
文件系统
支持恒定时间的克隆。但是我找不到任何支持恒定时间克隆的
分布式
文件系统
。Nexenta
存储
看起来像是通
浏览 7
提问于2012-02-22
得票数 0
1
回答
如何将文件内容分发到多个节点?
hadoop
我需要在网络上分发文件的内容(最多5GB),这样文件的每个
分布式
节点(XML或简单文件)都不会复制数据并相互同步。 更重要的是,可能有1000多个
大文件
,需要在分发过程中进行。我
可以
使用Hadoop来
存储
大文件
,并使用集群节点来
存储
分布式
数据吗?
浏览 2
提问于2014-07-23
得票数 0
回答已采纳
1
回答
S3多个小文件与
大文件
性能
node.js
、
performance
、
amazon-s3
、
benchmarking
我的应用程序从多个IoT设备接收大量日志数据。表现不太好,有人告诉我,更大的文件会更好。但是,是否还有另一个原因需要更大的文件(比如10mb)来提高性能?无论如何,如果我使用相同的tcp连接(),更大的文件还能提高性能吗?
浏览 0
提问于2020-03-30
得票数 0
1
回答
在部署了应用程序的实例硬盘上
存储
文件
web-applications
、
io
、
architecture
、
microsoft-distributed-file-system
我正在设计一个应用程序,它
可以
根据内容拆分/合并文件,并将其推送到其他系统。一旦处理完毕,就完全不需要这些文件了。因此,我计划将文件
存储
在部署了应用程序的HDD上,而不是任何
分布式
/网络
文件系统
。为什么我没有选择网络
文件系统
,因为在我的场景中,我需要处理像1 1GB这样的
大文件
,而我正在使用JSON streams来处理这些文件。如果它发生在网络
文件系统
上,处理时间可能会很长。 我也考虑过使用本地
文件系统
来扩展应用程序,因为目标系统
浏览 3
提问于2017-08-13
得票数 0
2
回答
如何创建作为合法块设备传递的原始(无
文件系统
)回送设备?
mount
、
disk
、
ceph
问题背景故事我没有可用的备用磁盘,所以我想:为什么我不创建一个回环设备并使用它呢?由于我的主机OS磁盘有足够的空闲空间,我应该能够在上面创建一个
大文件
,并将其作为回送设备挂载。这方面有两个问题(据我理解): 必须用某种
文件系统
对回送设备进行格式化,才能挂载,
浏览 0
提问于2021-10-20
得票数 1
回答已采纳
2
回答
为什么在存在hdfs的情况下使用hbase
hadoop
、
hadoop-streaming
、
hadoop2
、
hadoop-partitioning
为什么即使hdfs可用于
存储
,hadoop仍在使用hbase?数据是否
存储
在hbase中?如果是,那么hdfs将扮演什么角色?
浏览 0
提问于2015-04-27
得票数 0
2
回答
存储
静态图像/文件的网络
文件系统
filesystems
、
distributed
我认为这个问题很常见:你有一个网站,人们
可以
在网站上上传图片/文件,每天可能有数千张。那么,什么是能够解决这个问题的最好的网络
文件系统
(
分布式
文件系统
),特别是可伸缩性。我已经研究过Hadoop
文件系统
,它似乎不是一个好的方法,因为它是关于管理地图减少的
大文件
,而不是数百万个小文件。 谢谢!
浏览 5
提问于2012-01-27
得票数 3
1
回答
是
分布式
文件系统
和命名服务中间件吗?
distributed-system
、
middleware
中间件由一组计算机中的进程或对象表示,这些进程或对象相互交互,以实现对
分布式
应用程序的通信和资源共享支持。它涉及到为构建
可以
在
分布式
系统中相互工作的软件组件提供有用的构建块。
分布式
文件系统
定义为
分布式
文件系统
使程序能够与本地文件完全相同地
存储
和访问远程文件,从而允许用户从网络上的任何计算机访问文件。访问
存储
在服务器上的文件的性能和可靠性应与
存储
在本地磁盘上的文件相媲美。命名的实体
可以
有多种类型,并
浏览 0
提问于2019-12-03
得票数 0
1
回答
FileStatus对象块大小
hadoop
、
hdfs
根据HDFS指南,对于较小的文件大小,hadoop不会分配用于通过数据节点
存储
文件数据的完整数据块。我正在使用FileStatus和java api进行连接,以获取与文件路径相关联的元数据信息。
浏览 2
提问于2014-07-07
得票数 0
2
回答
共享块设备
文件系统
(没有网络的集群
文件系统
)
filesystems
、
cluster
、
block
、
locking
是否有
可以
多次挂载并支持Linux并发文件访问的
文件系统
?基本上,我想要类似于集群
文件系统
的东西,但不需要为
分布式
锁管理器提供运行中的网络。这对于
可以
与主机或另一个VM共享数据而不需要创建网络链接的虚拟机来说非常方便。这是我想要避免的,以确保网络体系结构的安全(DMZ中的虚拟机),但共享
大文件
。
浏览 0
提问于2011-11-18
得票数 3
1
回答
如何找到共享
存储
服务器?
linux
、
shared-storage
在100台服务器中,主要是SLES和RHEL,我如何找到共享
存储
的服务器?它
可以
是集群
文件系统
,即OCFS、GPFS、.或
分布式
文件系统
,如GlusterFS或Ceph.或网络附加
存储
器
浏览 0
提问于2012-01-30
得票数 -4
4
回答
在数据库中
存储
非常大的文件
sql
、
database
在数据库中
存储
大文件
(大约100 GB)是个好主意吗? 目前,我们考虑使用NBT格式或mysql/postgresql数据库将数据保存在文件夹中。
浏览 0
提问于2013-08-18
得票数 3
1
回答
什么是内容传递网络和
分布式
文件系统
?
distributed-system
、
system-design
、
distributed-filesystem
、
content-delivery-network
我试图扩大我在
分布式
系统和系统设计方面的知识。我遇到了一些术语,如内容传送网络和
分布式
文件系统
,用于
存储
/处理诸如音乐、视频、图片、gifs等媒体数据。据我所知,DFS只是一个
文件系统
,我们在笔记本电脑中复制到其他服务器(
分布式
),使其99.9%可用。CDN是一个
可以
存储
资产的网络,包括javascript、图像、视频等。
浏览 4
提问于2021-06-19
得票数 4
回答已采纳
1
回答
在Hive - Hbase -Integration中,数据是如何在Hive和HBase之间移动或反射的。
hadoop
、
hive
、
hbase
、
hdfs
根据我的理解,HIVE和HBASE都使用HDFS来
存储
数据。当我们integrate HIVE and HBASE 数据是如何在它们之间移动的?还是说数据不会移动,只是反映出来呢?
浏览 2
提问于2014-01-18
得票数 2
回答已采纳
1
回答
基于对象的
文件系统
与混合
存储
(
文件系统
和对象
存储
),它们的区别是什么?
ceph
在这篇文章"“中,我真的不知道他们有什么不同。ceph也是一个
分布式
文件系统
,块
存储
,对象
存储
。有人知道吗,Ceph的
文件系统
和块
存储
是基于对象
存储
的?
浏览 5
提问于2015-03-27
得票数 1
1
回答
mongodb中提升图像的最佳方法
node.js
、
mongodb
、
image
、
project
你好,我有一个项目,这个项目我必须在这里
存储
鸡尾酒的图像,所以我定义了鸡尾酒是什么,所以我的项目是一个名字,一个包含酒精和图像的成分列表,这是我的问题,我如何
存储
我的鸡尾酒对象,所以我做了我的研究,我看到我们
可以
存储
图像在
浏览 1
提问于2022-07-03
得票数 0
回答已采纳
1
回答
用于实现大型NAS的Ceph或Gluster
storage
、
glusterfs
、
architecture
、
ceph
NAS不会用作虚拟机的块
存储
,因此访问将始终面向文件。这两种设计都采用了“一定程度上的
分布式
存储
软件”。首先,设计基于一个
分布式
文件系统
,如Gluster或CephFS。我们将在这些商品服务器上部署此软件,并将结果
文件系统
安装在“access虚拟机”上,它们将通过NFS/CIFS为挂载的
文件系统
服务。第二,基于CEPH的
分布式
块
存储
设计。因此,我们将在这些商品
浏览 0
提问于2018-11-12
得票数 3
回答已采纳
2
回答
搜索引擎的数据结构?
data-structures
、
search-engine
哪个是可用于
存储
搜索引擎数据的最有效的数据结构或算法。另外,哪种
分布式
文件系统
可以
与其配合使用?
浏览 1
提问于2010-07-29
得票数 1
回答已采纳
2
回答
如何通过卡夫卡传输
大文件
?
java
、
apache-kafka
在monolith中,潜在的大型文件
存储
在数据库中,我希望与微服务共享这些信息(包括文件内容)。因此,我会
存储
消息块,订购并加入它们,并
存储
结果。我注意到卡夫卡溪流。
浏览 0
提问于2019-06-09
得票数 5
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
论文解读:Ceph 分布式存储系统不建议使用FileStore文件系统
Pure Storage荣获Gartner“分布式文件系统与对象式存储魔力象限”领导地位
大数据之Hadoop
当今对大数据技术人才有哪些要求?
存储系统的那些事
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券