为什么要做分布式存储 - 腾讯云开发者社区

文章/答案/技术大牛

发布

1回答

是分布式文件存储(HDFS/Cassandra/S3等)是否强制spark在群集模式下运行？若有，原因为何？

apache-spark、hadoop、hdfs

是分布式文件存储(HDFS/Cassandra/S3等)是否强制spark在群集模式下运行？若有，原因为何？ Spark是用于计算海量数据的分布式数据处理引擎。假设我在mysql中存储了大量数据，我想对这些数据进行处理。Spark从mysql读取数据，并在集群节点本身上执行内存(或磁盘)计算。我仍然不能理解为什么在集群模式下运行spark需要分布式文件存储？

浏览 3提问于2021-03-25得票数 0

0回答

为什么区块链被称为分布式账本技术，而不是复制数据库？

blockchain

我相信在分布式账本中，在多个主机之间共享的数据，每个主机存储部分数据，而在区块链中，每个主机复制和存储准确更新的记录副本。如果这是真的，那么为什么在blokchain中，分布式数据库术语被过度使用？

浏览 14提问于2017-11-30得票数 0

回答已采纳

2回答

分布式哈希表技术和比特币区块链有什么区别？

hashtable、distributed、bitcoin、dht、blockchain

有一些技术用于分布式存储，比如分布式哈希表(比如kademlia或类似的)。比特币区块链与分布式哈希表有何不同？或者可能是分布式哈希表技术支撑了比特币区块链？或者，为什么与DHT相比，比特币区块链被誉为如此大的突破？

浏览 2提问于2014-10-17得票数 25

回答已采纳

1回答

我正在开发一个分布式应用程序，我们需要一种方法来授权客户端。每个客户端都有一个与其相关联的PGP密钥对，我们要求它们输入其私钥(未存储)，通过该私钥，其pubkey将被派生并用于标识客户端并修改其在分布式数据库上的字段。现在，考虑到用户体验，当你需要做一些事情时，在网站上输入私钥是很麻烦的。但我们也不能维护一个用于基于用户名/密码的身份验证的中央数据库，因为这会创建单个故障点(而不是分布式应用程序要做的事情) 我希望有一些方法可以更容易地记住私钥的人类可读描述符，如果存在这样的

浏览 0提问于2019-08-28得票数 0

2回答

是否强制使用SVK进行镜像？

svn、perforce、svk

有谁知道在perforce中使用SVK的方法吗？docs 它曾经是可能的，但是一些声称这不再是事实了？

浏览 2提问于2008-09-09得票数 3

回答已采纳

2回答

当HDFS已经提供数据存储时，为什么还要使用Hive？

hadoop、hive、hdfs

我已经开始学习Hadoop了，我知道HDFS提供了分布式存储系统，Mapreduce是用于data processing.Now的，我正在阅读Hadoop生态系统。我的问题是，当hadoop提供容错、分布式的HDFS时，为什么要使用hive？hive会取代HDFS吗？ hive是否也只提供sql接口或存储？

浏览 1提问于2018-07-26得票数 0

1回答

微服务两阶段提交:事务协调器处于进程中间。

microservices、transaction

我刚读过这篇关于处理微服务世界中的分布式事务的文章。我对传奇很熟悉。但从未真正尝试过两阶段提交模式。

浏览 0提问于2020-10-12得票数 0

3回答

NOSQL设计，没有去规范化？

database、database-design、nosql

我刚刚开始设计分布式存储数据库的“模式”。...But，人们常说预成熟的优化是不好的.使用引用而不是嵌入的重复数据的设计的优点是明确的:优雅这似乎是最好的选择：从关系设计的分布式存储开始，如果需要的话，去de

浏览 6提问于2011-07-21得票数 3

回答已采纳

4回答

存储库中的分支是什么？

svn、git、bazaar、mercurial

根据我对subversion的理解，如果您有一个包含多个项目的存储库，那么您可以在该存储库中对单个项目进行分支(请参阅) 然而，我不太理解的是，当你在一个分布式系统(Git，Hg，Bazaar )中创建一个分支时会发生什么您可以只对存储库的一个子目录进行分支，还是在创建分支时对整个存储库进行分支？也许对于分布式系统，我想要做的事情最好是通过某种子项目机制来处理-但这也是我不清楚的事情，尽管我听说过关于git的术语。

浏览 3提问于2010-05-27得票数 3

回答已采纳

1回答

为什么在分布式存储中获取项目计数是一项昂贵的操作？

api、distributed、distributed-system

我读了JJ关于API的一本叫做"API设计模式“的书，其中有一节谈到了获取项目的数量，他说这不是一个好主意，特别是在分布式存储系统中。对于分布式存储系统来说，这尤其复杂，因为分布式存储系统不是为了快速访问计数匹配的特定查询而设计的。简而言之，在对标准List方法的响应中包含项目计数通常是个坏主意。任何人都知道为什么会这样，或者至少给我一些关键词来搜索。

浏览 3提问于2021-10-10得票数 0

回答已采纳

5回答

(为什么)我们需要在RDD上调用缓存或持久化

scala、apache-spark、rdd

当从文本文件或集合(或从另一个RDD)创建弹性分布式数据集( RDD )时，我们是否需要显式调用"cache“或"persist”来将RDD数据存储到内存中？或者默认情况下RDD数据是以分布式方式存储在内存中？如果是这样的话，为什么我们需要在textFile RDD上调用“缓存”或“持久性”呢？

浏览 1提问于2015-03-11得票数 186

3回答

Hadoop文本类

hadoop

我想问为什么实现MapReduce分布式编程范例的Hadoop使用文本类来存储字符串，而Java已经为我们实现了字符串？这似乎是多余的(lol)。

浏览 4提问于2014-03-21得票数 1

回答已采纳

1回答

复制塑料云回购

plasticscm

我想知道这是否仍然是复制云存储库的方法简单的存储库克隆操作当您在分布式模式下使用本地开发服务器并希望加入一个项目时，使用PlasticSCM有很多工作要做。创建一个新的空存储库。右键单击并从该存储库创建一个工作区。打开该工作区。转到同步复制视图。将本地存储库添加为源存储库。添加包含您想要加入(克隆到本地服务器)的项目的存储库作为目标存储库。单击刷新。

浏览 17提问于2021-10-07得票数 0

1回答

如何制作基于分布式哈希表(如memcache)的APC缓存？

memcached、hashtable、apc

因此，如果我们使APC是分布式的，我们就可以同时获得性能和分布。我需要一些想法来启动它。熟悉哈希表的人可以解释如何做到这一点吗？如何让APC喜欢memcache？

浏览 1提问于2012-07-21得票数 0

回答已采纳

2回答

添加和克隆远程存储库有什么区别？

git

添加远程存储库和克隆远程存储库有什么区别？我正在阅读git的实用指南，他们正在讨论分布式环境和使用git远程添加。我发现这一部分很难理解，以及为什么我应该使用它而不是克隆。非常感谢

浏览 2提问于2011-09-28得票数 2

回答已采纳

2回答

什么是改进并行/分布式编程的好方案？

java、c++、parallel-processing、distributed、distributed-computing

我的想法是并行/分布式编程个人项目。我熟悉openMP、Intel、Java和MPI，我觉得有必要开始写一些重要的东西，但我想出了一个有趣的想法。你有吗？我最近进入了并行和分布式计算，我喜欢它，所以我设法学习了很多关于它的东西。我对操作系统如何工作的了解相当薄弱(主要关注我开发这个项目的能力)。如果可行的话。什么是最好的开始方式？

浏览 4提问于2013-02-01得票数 2

0回答

hyperledger fabric分布式存储所需的建议

hyperledger-fabric、hyperledger、ipfs

在此应用程序中，我们需要在分布式存储中存储一些文件，在存储文件之后，我将存储其对fabric的引用(散列)。我读过关于IPFS作为分布式存储的文章。但是，我需要一些建议，是否有其他分布式存储，我们可以与hyperledger一起使用。

浏览 5提问于2018-07-13得票数 0

1回答

Spark -无法将数据帧保存到磁盘

apache-spark、pyspark、apache-spark-sql、spark-dataframe、parquet

20180511211832_0010_m_000046/part-00046-1b2764a6-28a3-4ba2-9493-766074eef4d5-c000.snappy.parquet 我不明白为什么它会保存到

浏览 4提问于2018-05-12得票数 1

2回答

ASP.NET 4.0对象缓存

asp.net、caching、.net-4.0

会话级缓存将存储某些特定于用户的数据，如购物车项、用户私密性等。全局缓存将存储subdomain.中所有用户共有的一些数据。

浏览 14提问于2011-01-19得票数 1

6回答

是否有任何支持部分签出/克隆的分布式版本控制系统？

git、version-control、mercurial、dvcs、bazaar

据我所知，所有分布式版本控制系统都需要克隆整个存储库。因此，将大量的内容放在一个存储库中是不明智的(谢谢)。我知道这不是一个bug，而是一个特性，但我不知道这是否是所有分布式版本控制系统的要求。在分布式rcs中，文件(或内容块)的历史是一个有向无圈图，那么为什么不直接克隆这个单独的DAG而不是存储库中的所有图集呢？也许我错过了一些东西，但下面的用例很难做到：将一些

浏览 9提问于2010-06-22得票数 16

回答已采纳

点击加载更多