我需要存储大量二进制文件(10-20TB,每个文件范围从512 kb到100 MB)。
我需要知道Redis对我的系统是否有效。我需要我的系统中的下列属性:
我打算使用一组商品硬件,以尽可能减少成本。请建议使用Redis建立这样一个系统的利弊。我还对Redis的高内存要求表示关注。
发布于 2012-01-09 11:52:42
我不会用Redis来完成这样的任务。其他产品将更适合海事组织。
Redis是一个内存中的数据存储区.如果您想存储10-20 TB的数据,您将需要10-20 TB的RAM,这是昂贵的。此外,内存分配器是针对小对象而不是大对象进行优化的。你可能得把你的文件切成各种小块,这样就不太方便了。
Redis不为HA和故障转移提供临时解决方案。提供了主/从复制(并且工作得很好),但不支持此故障转移的自动化。客户端必须足够聪明才能切换到正确的服务器。服务器端的某些内容(但这是未指定的)必须以可靠的方式在主节点和从节点之间切换角色。换句话说,Redis只提供一个自己动手的HA/故障转移解决方案。
切分必须在客户端实现(与memcached类似)。有些客户对此有支持,但并不是所有的客户都支持。最快的客户(雇工)不会。无论如何,像再平衡这样的事情必须在Redis之上实现。应该支持这种分片功能的Redis集群还没有准备好。
我建议使用一些其他的解决方案。MongoDB和GridFS可能是一种可能性。使用HDFS的Hadoop是另一个。如果您喜欢尖端项目,您可能需要尝试一下椭圆网络。
https://stackoverflow.com/questions/8786395
复制相似问题