在大规模分布式系统中记录文件

在大规模分布式系统中记录文件，可以使用分布式文件系统（Distributed File System，简称 DFS）。分布式文件系统是一种用于在多台计算机上存储和管理文件的方法，它可以将文件分割成多个块，并将这些块存储在不同的节点上，以实现高可用性、高性能和容错能力。

常见的分布式文件系统有 Hadoop Distributed File System（HDFS）、Google File System（GFS）和Ceph。其中，HDFS 是一种基于 Google File System 设计的分布式文件系统，主要用于 Hadoop 大数据处理平台，可以实现高可靠性、高可用性和高容错性。GFS 是 Google 开发的一种分布式文件系统，主要用于 Google 的大规模数据中心，具有高可靠性、高可用性和高扩展性。Ceph 是一种高性能、高可靠性、可扩展性的分布式存储系统，可以提供对象存储、块存储和文件存储服务。

在大规模分布式系统中记录文件的应用场景包括大数据处理、多媒体处理、人工智能训练和存储等。

推荐的腾讯云相关产品有 Cloud Storage（云存储）和 Cloud File System（云文件系统）。Cloud Storage 是一种高可靠、高可用、可扩展的存储服务，可以存储各种类型的文件，支持多种存储类型和访问方式。Cloud File System 是一种基于标准的文件系统，可以实现高可用性、高可靠性和高扩展性，支持多种协议和操作系统。

如何保存搜索引擎发现的双语网站的内容(谷歌是如何做到的)

web-crawler、bigdata、cluster-computing、search-engine、data-storage

在最初的中，Sergey和Lawrence解释说，他们没有直接在存储库中保存爬行网页的HTML内容，因为他们想节省一些HDD空间。以下是这一段：存储库包含每个网页的完整HTML。与zlib的3比1压缩相比，bzip在存储库上的压缩率约为4比1。在存储库中，文档一个接一个地存储，并以docID、长度和URL作为前缀，如图2所示，存储库不需要使用其他数据结构来访问它。显然，他们使用压缩算法(在他们的例子中是zlib)首先压缩数据，然后将其保存在存储库中

浏览 1提问于2019-08-16得票数 0

回答已采纳

1回答

为什么星火中的集群模式要比客户端模式慢得多？

apache-spark、graph、pyspark、cluster-computing

我使用GraphFrame创建了15k图形对象。这些图很小(每个图有10-100个节点，10-100个边)。我只需要在每个图上应用最短路径和某些其他算法。我目前的实现是使用for循环循环遍历所有15k图。令人惊讶的是，集群模式比客户端模式慢得多。集群的配置(星火独立) 客户端模式的配置：客户端模式：Spark Context default degree of parallel

浏览 3提问于2017-09-05得票数 1

1回答

如何在现有系统中实现Hadoop框架

java、hadoop、mapreduce、hbase、hdfs

我计划在我的基于web的应用程序中实现Hadoop框架。但我只是将其托管在本地主机中。我计划实现mapreduce和hdfs作为分布式文件系统。问题是，我要做的第一步是什么？我应该从什么开始呢？

浏览 2提问于2015-02-04得票数 0

2回答

重复密钥过滤

hadoop、duplicates、distributed、deduplication

我正在寻找一个分布式解决方案，以实时屏幕/过滤大量的密钥。我的应用程序每天生成超过1000亿条记录，我需要一种从流中过滤副本的方法。我正在寻找一个系统来存储一个滚动10天的密钥，大约100字节每键。在使用Hadoop之前，我想知道这类大规模问题是如何解决的。HBase是否是正确的解决方案？有没有人尝试过像“动物园管理员”这样的部分内存解决方案？

浏览 3提问于2013-11-21得票数 2

回答已采纳

2回答

大规模分布式系统中的日志文件

distributed-computing、hpc

我在网格和HPC领域做了很多工作，对于分布在数百(或某些情况下是数千)服务器上的系统，我们面临的最大挑战之一就是分析日志文件。目前，日志文件本地写入每个刀片上的磁盘，但我们也可以考虑使用UDP附加器发布日志信息，并集中收集这些信息。既然目标是能够尽可能接近实时地识别问题，我们应该做什么？

浏览 1提问于2008-08-29得票数 12

3回答

分布式日志系统

system、distributed、logging

我需要在分布式文件系统中存储日志。有没有能满足我需求的分布式系统？谢谢!

浏览 0提问于2010-09-09得票数 0

1回答

使用Zend实现最佳性能的服务器

performance、hadoop、cluster-computing、zend-server

我正在用Zend Framework开发一个大型应用程序，我开始问自己哪台服务器最适合它。

浏览 0提问于2011-01-09得票数 0

1回答

DataFlow管道中Google Storage SDK中的Socket closed错误

google-cloud-storage、google-cloud-dataflow、apache-beam

我在我的DataFlow管道(2.29.0)中使用google-cloud-storage (1.54.0)将文件写入Google Storage。我随机地看到了下面的错误。

浏览 56提问于2021-10-05得票数 0

2回答

本地hadoop作业的dfs.block.size？

java、hadoop、filesize

我想运行一个hadoop单元测试，使用本地文件系统模式...理想情况下，我希望看到多个part-m-*文件写入磁盘(而不仅仅是1个)。在分布式模式中，我们可以使用以下命令进行设置我想知道是否有一种方法可以让我的本地文件系统写出小的part-m文件，也就是说，这样我的单元测试就可以用几个(尽管非常小的)文件来模拟大规模数据的内容

浏览 0提问于2012-03-20得票数 1

回答已采纳

1回答

断路器设计方案实施建议

design-patterns、circuit-breaker

我正在为大规模分布式系统(在AWS上)实现断路器设计模式。我需要一些关于后端监控数据库实现的建议。快速汇总数千条记录(最后几秒钟)或以其他方式维护状态的滚动平均计算等(最好使用一些缓存)。是否有适合这项任务的现有数据库或其他软件？

浏览 3提问于2012-01-11得票数 2

回答已采纳

1回答

Blockchain上的文件系统

blockchain

完全的理论问题:如果一个文件系统存在，那么块链中的每个用户都会在他们的机器上投入一些带宽和存储，作为分布式网络上大规模RAID版本的一部分？

浏览 0提问于2016-07-08得票数 -1

1回答

从位置分隔文件中进行Spark读取

apache-spark、hadoop

我有一个问题，在分布式系统中，我试图将文件拆分成n个字符长度的记录。我具有拆分记录并将其映射到记录级上的适当名称的功能，但需要从文件到系统，再拆分文件并将其以n个长度大小的片段传递给节点进行拆分和处理。

浏览 14提问于2018-08-28得票数 0

1回答

java中数据存储的自动增量实体id

java、google-app-engine、google-cloud-datastore、objectify

我知道数据存储中不支持自动增量。我用的是物化。有什么建议吗？

浏览 1提问于2017-12-02得票数 1

回答已采纳

1回答

访问链码交叉组织的功能

distributed-computing、blockchain、hyperledger-fabric、hyperledger

从大规模分布式系统的角度来看，如果一个x通道上的网络有一个制造商组织和1000个测试组织。所有测试组织都在其链码中有自己的功能，如果制造商org必须访问测试org x的函数，那么在需要安装所有链码的地方，这是如何发生的呢？

浏览 3提问于2017-09-27得票数 1

回答已采纳

1回答

用于处理跨异构系统的大规模工作流的资源管理器

hadoop、mapreduce、nagios

我正在寻找一个开源的资源管理器，可以在分布式计算环境中管理大规模的工作流。我对TORQUE，SLURM，LOADLEVELER进行了调查，SLURM在处理大型节点方面比TORQUE更好，但在单个集群中。所有这些都用于批处理系统。Condor用于网格环境，但提供粗粒度的分布式并行化。我觉得Ganglia和Nagios在高性能计算环境中很好。但是我想知道Ganglia和Nagios是否可以用于工作流？能否将我的调度算法嵌

浏览 0提问于2011-12-13得票数 1

回答已采纳

1回答

了解分布式系统中的一致性

google-cloud-firestore、distributed-computing、consistency、eventual-consistency、cap-theorem

如何在分布式系统上获得高频、一致的读/写？通常不确定如何在大规模系统上概念化一致性。扩展问题:如何扩展此操作？像Firestore这样的系统如何在提供一致性的同时提供高可用性？Firestore配额(例如每秒1个文档写入)告诉我们他们可能是如何构建系统的？谢谢

浏览 5提问于2019-08-01得票数 4

1回答

分布式系统的分期环境

architecture、distributed-computing、distributed-system、system-design

我正在开发一个分布式系统，该系统由几个核心组件组成，这些组件帮助构建用于在大量文件上运行数据处理作业的数据管道。为了运行这些作业，使用了数百名工人。目前，我正在为项目构建一个阶段/测试环境，这样我们就可以在将更改推向生产之前测试它们的行为。我目前的方法是拥有核心组件的1:1克隆，以及很少的工作人员，然而，这似乎不是一个测试系统所有功能的良好环境，比如大规模的调度程序行为等等。有什么地方可以让我找到为这样的系统构建分阶段环境的

浏览 1提问于2022-03-27得票数 0

2回答