对于get_peers查询，主线分布式哈希表节点发送的udp数据包的最大大小是多少？当节点存储3000个对等点时，节点如何响应？(在这种情况下，数据包非常大)。主线分布式哈希表客户端如何处理它的响应？
提前谢谢你。
浏览 1提问于2011-08-16得票数 1
回答已采纳
1回答
我有一个执行CPU密集型处理的32位COM对象(目前仅限于单个CPU)。为了将其扩展到非常大的数据集和用户社区，我正在考虑通过类似MapReduce的框架使用分布式处理，如QizMt。COM内部的逻辑相当复杂，我希望使分布式处理对原始代码尽可能透明。
浏览 0提问于2011-01-04得票数 1
回答已采纳
1回答
我将使用Apache Spark来处理大文本文件，其中在处理周期中，将文本部分与来自大型SQL表的数据进行比较。我对Apache Spark完全陌生，虽然我确信Subtask #1是“他的人”，但我不能完全肯定，Subtask #2是否可以由火花(我的意思是说，以有效的方式处理)。问题是Spark如何处理大SQL中的可迭代选择(也许，尽可能多地缓存？)在并行和分布式环境中？
浏览 3提问于2015-03-05得票数 0
回答已采纳
1回答
背景相同的请求将使用不同的输入参数再次处理，并且输入参数非常大(图像大小: 1-2MB)。我们不想每次都把请求发送到处理引擎。由于相同的请
浏览 6提问于2010-09-10得票数 4
1回答
我经常听到“分布式系统”这个词，但我不太确定我的东西是不是“分布式系统”。然后，为了减少主服务器的负载(不会被大量的任务压碎)。这些小型服务器通过主服务器之间的相互拉推处理数据来完善。
但一旦我听到“分布式系统”，我真的感到害怕，它对我来说太大了，我真的不知道我的工作是否相关。
浏览 3提问于2015-02-12得票数 0
回答已采纳
1回答
我试图通过预处理所有的结果来优化搜索引擎的性能。我们有大约50k个搜索词。我计划提前搜索这50k个词条，并将其保存在内存中(memcached/redis)。因此，我计划将搜索(预处理)分布在几个节点上。我在考虑使用hadoop。我的输入大小非常小。即使总搜索词超过50k，也可能小于1MB。但是，搜索每个术语需要花费很少的时间，即更多地面向计算而不是面向数据。所以我想知道我是应该使用Hadoop，还是应该构建自己的分布式系统。我记得我读过，hadoop主要在输入非常大的情况下使用。我读取hado
浏览 1提问于2013-01-18得票数 0
回答已采纳
2回答
我正在设计一个应用程序，它需要非常快的响应，并且需要从hadoop文件系统中检索和处理大量数据(>40G)，只要输入(命令)。我在想，如果可以使用spark在分布式内存中捕获这么多的数据，并让应用程序一直运行下去的话。如果我给应用程序一个命令，它可以根据输入开始处理数据。
我认为捕捉这么大的数据不是问题。
浏览 5提问于2016-11-02得票数 2
回答已采纳
2回答
哪些NewSQL发行版适合处理数据仓库和空间查询？(MemSQL，VoltDB，NuoDB，什么？以及原因)
浏览 1提问于2018-11-27得票数 0
我正在跟踪这个页面，以了解SageMaker的分布式培训功能。上面写着：-
SageMaker分布式培训库只能通过TensorFlow、PyTorch和HuggingFace框架的AWS深度学习容器在SageMaker培训平台中使用。这是否意味着我们不能使用SageMaker分布式训练来使用传统的机器学习算法(如线性回归、随机森林或XGBoost )来训练机器学习模型？我有一个用例，其中数据集非常大，和分布式培训可以帮助模型并行和数据并行。为了避免在训练实例的内存中输
浏览 12提问于2022-09-17得票数 -1
我正在尝试在自定义的大型数据集上构建暹罗神经网络和在这种情况下可以使用ImageDataGenerator吗？假设数据集非常大，我还有什么其他选择？
浏览 4提问于2017-01-13得票数 11
回答已采纳
2回答
我正忙着设计一个web应用程序，希望它能变得非常大，有很多用户。我选择MongoDB作为数据存储，其中一个主要原因是它能够随着用户群的增长而水平扩展。有谁有使用Mongoid与处理大量流量的高度分布式MongoDB进行交互的经验吗？有什么理由担心性能吗？
浏览 3提问于2012-03-30得票数 2
回答已采纳
3回答
这个想法就像人们登录一个网站，然后摄像头被激活，视频数据通过互联网发送到服务器。服务器对这些数据进行处理，并将处理后的数据实时或至少每秒10帧传回给用户。
这可行吗？在网络方面，我们需要什么样的技能？分布式系统是否可以在有限的时间内考虑非常大的计算？
浏览 0提问于2011-03-04得票数 4
2回答
有很多文件需要在两台计算机上实时处理，我想把它们分发到两台计算机上，这些任务需要尽快完成(即实时处理)，我在考虑下面的计划：(2)分布式计算平台，如hadoop/我已经写了一个程序，它可以处理文件并提取数据，然后将数据存储在mongodb中。现在只有两台计算机，我只想要一个解决方案，可以处理这些文件与程序快速(尽快)，并易于扩展和维护
分布式队列在我的例子中很容易使用，但可能很难扩展和
浏览 0提问于2015-03-18得票数 0
1回答
我对分布式数据库元素和环境有疑问：数据处理器的确切含义是什么，以及它在分布式环境中的存在位置？
DDBMS在分布式数据库环境中的位置？
浏览 0提问于2020-11-17得票数 0
回答已采纳
1回答
猪窝Hbase的不同之处
、、、
我正在尝试弄清楚这些Pig Hive和Hbase用于哪种类型的数据(结构化、非结构化、半结构化)？
在哪种情况下使用哪种工具更有效？
浏览 3提问于2015-01-05得票数 0
6回答
它有大约200,000行和200列，主要是数字数据。在pandas中有类似的东西吗？我经常处理大文件，无法访问分布式计算网络。
浏览 6提问于2012-07-24得票数 96
回答已采纳
2回答
我目前的解决方案是一个HSQL内存数据库：CREATE MEMORY TABLE INTEREST_RATES " +
到目前为止，HSQL是我能想出的最快的东西。同时也尝试了H2，但速度慢了一点。
浏览 0提问于2019-05-14得票数 1
回答已采纳
1回答
我构建了一个分布式(基于芹菜的)解析器，每天处理30K文件，。每个文件(文件)被解析为JSON并保存在一个文件中。目标是填充一个大型查询数据集。因此，目标是:对于每条消息，通过一个芹菜任务解析它，每个结果将被缓冲在一个300项大小的(分布式)缓冲区中。当缓冲区达到极限时，所有数据(json数据)都会被聚合到大查询中。
浏览 1提问于2015-09-28得票数 2
回答已采纳
2回答
调用此端点不会从DB读取任何内容，但在内部它会获取和解析一些外部网站，并将解析后的数据以json格式返回给用户。问题是，从外部网页获取和解析数据可能需要相当长的时间，因此我需要一些负载平衡机制，将api调用分布在几个服务器上。
浏览 1提问于2013-01-14得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
