是分布式文件存储(HDFS/Cassandra/S3等)是否强制spark在群集模式下运行？若有，原因为何？
Spark是用于计算海量数据的分布式数据处理引擎。假设我在mysql中存储了大量数据，我想对这些数据进行处理。Spark从mysql读取数据，并在集群节点本身上执行内存(或磁盘)计算。我仍然不能理解为什么在集群模式下运行spark需要分布式文件存储？
浏览 3提问于2021-03-25得票数 0
infinispan本地缓存和分布式缓存有什么不同。我知道在本地缓存中不能形成集群，而在分布式缓存中我们可以形成集群。我怀疑分布式缓存数据是存储在我们正在运行的应用程序堆中，还是存储在应用程序外部。另外，是否可以通过在一个jvm中运行的应用程序来获取在另一个jvm中运行的infinispan中存储的数据。
浏览 1提问于2015-02-26得票数 0
1回答
实例化和关闭Kubeflow豆荚
、、、、
我正在学习Kubernetes和Kubeflow，有些事情我想做，我在互联网上找不到任何明确的答案，如果可能的话，或者我应该选择的路线。不好意思，我还在学习这个平台。
浏览 7提问于2021-02-02得票数 2
回答已采纳
1回答
我有一些运行时数据，我希望在我的Akka集群中的每个节点上都有一个指定的参与者，这些数据可以通过内部事件或对单个节点的API调用来更新。我可以将这些数据存储在共享数据库中，以使其永久化，但我更愿意将其存储在内存中以加快速度，因为它不需要持久化。Akka集群Singleton、分布式Pub Sub以及可能的其他内置模块使用八卦协议来保持分布式状态的同步。
是否有现成的方法可以在集群内采用我自己的参与者的数据同步？我曾经考虑过仅仅发布对分布式Pub的更改，
浏览 3提问于2016-06-20得票数 4
回答已采纳
使用分布式缓存需要多个节点集群还是单节点集群就足够了？通过提供文件的路径，FileReader可以直接打开存储在硬盘文件系统中的文件。
浏览 1提问于2013-03-21得票数 0
1回答
据我所知，RBD是ceph的分布式块存储设备，相同的数据应该存储在几台组成ceph集群的计算机上。那么，这个分布式块设备(Ceph)具有负载平衡的能力吗？换句话说，如果多个客户端(在我的情况下是QEMU)使用这个RBD块存储，并且他们同时读取相同的数据，那么ceph会平衡通信量并从集群中的不同计算机同时发送到客户端，还是只需要一台计算机将其数据发送给多个客户端如果我有一个由6台计算机和3台计算机组成的ceph集群。这些RBD的性能有什么不同吗？
浏览 3提问于2020-08-17得票数 0
回答已采纳
2回答
我有一个由4个节点组成的集群，我安装了Hadoop+火花(GraphX).现在我必须处理一个大型的RDF数据集，我的问题是:我能在集群上安装Virtuoso以便存储这个RDF数据集并能够执行SPARQL分布式查询吗？换句话说: Virtuoso是一个很好的解决方案，可以在hadoop集群中工作，并且可以使用SPARK来执行分布式查询吗？
浏览 0提问于2019-12-01得票数 0
回答已采纳
1回答
分布式模式下Kafka Connect集群的Offset Management的行为是什么，即运行多个Connector并监听同一组主题(或一个主题)？因此，在分布式模式下，Kafka Connect将偏移量信息存储在Kafka中，该偏移量将被集群中的workers读取并提交。如果在该Kafka Connect集群中有多个Connector在监听同一主题，会发生什么情况？分区的偏移量是所有连接器的偏移量都相同，还是每个连接器在分区上的偏移量不同？
浏览 15提问于2019-07-01得票数 2
我需要在网络上分发文件的内容(最多5GB)，这样文件的每个分布式节点(XML或简单文件)都不会复制数据并相互同步。
更重要的是，可能有1000多个大文件，需要在分发过程中进行。我可以使用Hadoop来存储大文件，并使用集群节点来存储分布式数据吗？
浏览 2提问于2014-07-23得票数 0
回答已采纳
1回答
mysql- cluster -expert-5.1文档中提到："MySQL 5.1中的redis集群表通常完全存储在内存中，而不是磁盘上(这就是为什么我们把MySQL集群称为内存数据库)“，这意味着mysql集群是一个分布式内存数据库，那么有没有人做过MySQL集群和redis在速度上的比较？
浏览 0提问于2011-10-17得票数 1
1回答
我想知道你们是否有任何建议，哪些存储库实现在常见硬件上具有良好的集群和水平伸缩特性？问题是，我们必须在存储库之上实现一个保存系统，该系统能够摄取和管理大量具有大文件(> 50 TB)的异构数据(> 500 TB)。
似乎只能通过使用分布式文件系统来实现集群。可以是集群的，但是它的DataStore (对于大型二进制数据)对于集群环境中的所有节点必须是相同的。你们有什么建议吗?我应该检查哪些存储库系统？
浏览 3提问于2011-05-05得票数 3
我得到的hadoop环境的特性或功能是否较少。当安装在使用虚拟机器的windows机器上时？对于初学者来说，安装这种hadoop是不是很好？或者hadoop安装在linux机器上和安装在windows机器上的虚拟机器上有什么不同。
浏览 4提问于2015-10-08得票数 0
1回答
最近，tensorflow增加了分布式训练模块，分布式的前提条件是什么？并发布了示例代码：
有没有办法运行tensorflow集群示例，当只有hdfs而没有任何共享文件系统时，模型文件将存储在哪里？
浏览 0提问于2016-08-09得票数 1
1回答
到目前为止，集群还没有配置持久存储(主机存储除外)。，那个
有什么问题？如果每个节点都有1Tb的存储，我将有1Tb的存储作为ceph&rook<
浏览 0提问于2020-02-03得票数 0
1回答
度量收集和分析体系结构
、、、、
首先，不需要存储所有数据，因为用户只需要指定时间段的图表，因此需要一些聚合。什么样的数据库解决方案适合它？我相信没有RDMS会处理这么多的数据。那么，如何获取度量的平均数据来将其呈现给最终用户呢？AWS具有共享的时间序列数据处理架构：
很简单，我是这样想的：
以前有没有人做过类似的事？也许还有更简单的建筑？
浏览 0提问于2018-11-26得票数 1
为底层的分布式分布式数据存储系统实现了S3 API。不仅要在每个节点上部署Riak数据存储系统，而且还要部署Riak CS。必须在集群中的单个节点上部署名为的另一个组件，以使集群中的用户ID和桶名保持唯一。
在所有节点上部署Riak的
浏览 2提问于2020-06-13得票数 1
回答已采纳
我正在运行许多集群(在Ubuntu焦上)，以在大型数据集上执行分布式计算。我有生产集群和开发集群，每个集群都有自己的git分支。我需要一种方法来同步这些集群系统and服务的更新和重新启动，当对它们各自的git存储库进行更改时。
目前，我对每台机器进行ssh操作，并运行以下命令。
浏览 7提问于2022-08-08得票数 1
回答已采纳
1回答
我目前正在为我们的新应用程序规划存储基础设施。由于性能在我们的列表中是一个很重要的项目，所以我想在生产环境中使用SSD。我想为我们的存储实现HA，但是在分布式复制模式下运行两个~70TBSSD集群对我来说是没有意义的，因为幸运的是，一个节点很少失败。因此，我考虑在生产中运行一个SSD集群，而一个HDD集群作为故障转移，在一个节点或整个SSD集群失败时接管。这在GlusterFS (或类似的可伸缩分布式文件系统(如cephfs)中)是可行的，还是整个概念
浏览 0提问于2020-11-19得票数 0
1回答
有类似于英特尔集群OpenMP吗？这个库模拟共享内存机器(如SMP或NUMA)，同时运行在分布式内存机器(如PC的以太网连接的集群)上。
或者编译器，能够从openmp程序生成集群代码，除了Intel C++
浏览 6提问于2010-03-03得票数 1
我只是想了解一下分布式系统的机制及其数据存储机制。大多数分布式系统“在集群中复制数据，以防止数据丢失”。但是我想要理解的是，假设我有一个由3个系统组成的集群，每个系统的内存为1TB，而主节点在其他两个节点中复制数据。假设主节点使用了500 if的内存，那么其他两个节点应该使用相同的内存量来复制数据。如果这是真的，那么在这种情况下，我应该如何增加集群的内存容量。因为在这种情况下，即使在一个内存容量远大于它所持有的数据的集群上，它也将持有相同数量的数据(即1TB最大值)。
浏览 4提问于2017-03-01得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
