腾讯云

文章/答案/技术大牛

发布

社区首页 >问答首页 >用于静态文件的服务器集群

问用于静态文件的服务器集群
EN

Server Fault用户

提问于 2014-08-30 04:51:14

回答 1查看 464关注 0票数 0

如果这个问题(必要的话)可能有点宽泛，我事先表示歉意。我会尽力把它保持在一个有效的问题的形式上。

我目前正在设置一个后端，用于服务大量的静态文件(具体而言，是图像)。最终产品的总体流量预计将是巨大的，因此可扩展性和规避各种瓶颈是必须的。

我的初步结论是，最好的方法是设置一个虚拟服务器集群来处理请求。我将使用标准的负载平衡策略，以确保客户机请求在集群中的节点间平均分配，因此这部分没有问题。

如何有效地将静态文件本身存储在集群中是一个问题。我们期望有大量(兆字节范围)的数据存在，而在每个节点上保留镜像文件副本根本就不是一种选择。

看来我基本上只有两种选择：

1)使用一个中心文件服务器，节点可以向该文件服务器发出请求。然而，我发现很难看出如何才能阻止这台服务器成为瓶颈。

2)结合节点上的某种缓存机制，避免了对文件服务器的冗余请求。

( 3)其他一些绝妙的解决方案，可以拯救我的灵魂，使我的灵魂变得过时。

获得这种文件分发的好策略是什么?有什么软件可以这样做？

提前谢谢！

proxy

cluster

static-content

回答 1

Server Fault用户

发布于 2014-08-30 10:55:05

一致环散列是这类问题的经典解决方案，至少在算法上是这样。Swift、memcached、Dynamo、Riak等系统都使用了这种方法来解决这个问题。

OpenStack Swift是一个对象/blob存储库，它使用一致的环哈希来跟踪和分发对象、容器等。您可以使用Swift或类似的东西直接解决方案，或者使用一致的哈希环构建自己的解决方案。使用Swift这样的解决方案的好处是无需自己开发它，另外还包括通过复制、版本控制等方式进行数据保护。

如果您不需要自己运行，而是对托管服务感兴趣，那么像Rackspace云文件 (基于Swift的)或亚马逊S3这样的产品可以提供CDN(分别用于Rackspace和Amazon的Akamai和CloudFront )的对象存储和检索。CDN将大大提高地理分布客户端的检索效率。

票数 2

页面原文内容由Server Fault提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://serverfault.com/questions/625172

复制

nginx window下的静态文件服务器

其他

DencyCheng

2018/11/05

2.3K0

使用nginx缓存服务器上的静态文件

缓存 nginx http css

如图所示，nginx缓存，可以在一定程度上，减少源服务器的处理请求压力。因为静态文件（比如css，js，图片）中，很多都是不经常更新的。nginx使用proxy_cache将用户的请求缓存到本地一个目录。下一个相同请求可以直接调取缓存文件，就不用去请求服务器了。毕竟，IO密集型服务的处理是nginx的强项。

我是leon

2019/08/28

5K2

使用nginx缓存服务器上的静态文件

网络安全 nginx 缓存 http html

如图所示，nginx缓存，可以在一定程度上，减少源服务器的处理请求压力。因为静态文件（比如css，js，图片）中，很多都是不经常更新的。 nginx使用proxy_cache将用户的请求缓存到本地一个目录。下一个相同请求可以直接调取缓存文件，就不用去请求服务器了。毕竟，IO密集型服务的处理是nginx的强项。

趣站网

2023/02/18

4.1K0

Nginx(四)：http服务器静态文件查找的实现

nginx html c++编程算法 http

上一篇nginx的文章中，我们理解了整个http正向代理的运行流程原理，主要就是事件机制接入，header解析，body解析，然后遍历各种checker，直到处理成功为止。

烂猪皮

2021/01/28

1.9K2

一个静态文件服务器

http html 腾讯云开发者社区

很久以前做了一个Visual Studio Code插件，用来快速开启http静态文件服务器，当然，现在已经被live server插件取代了，所以准备从GitHub中删除它，删除前留下一些遗照：

Jean

2021/09/28

1.2K0

静态文件

c++php

一、创建目录 flask框架中静态资源的默认目录为static项目目录结构如下 project/ manage.py # 启动控制文件 static/ # 静态资源 templates/ # 模板文件二、构造URL函数函数：url_for() 格式：url_for(‘static’, filename=‘路径/文件名’) 作用：生成网址三、使用网页图标 <link rel="icon" type="image/x-icon" href="{{ url_for('static',

星哥玩云

2022/09/14

4700

brew+nginx 配置静态文件服务器

文件系统 nginx homebrew

一下子闲下来了，了解的我的人都知道我闲不下来。于是，我在思考COS之后，决定自己整一个本地的OSS，实现静态文件的访问。那么，首屈一指的就是我很熟的nginx。也算是个小复习吧，复习一下nginx代理静态文件。

shigen

2023/08/11

5590

静态文件

其他

静态文件通常位于 Web root(<content-root>/wwwroot)文件夹下

莫问今朝

2018/08/31

6830

django:自定义静态文件服务器

android django 编程算法

静态文件使用nginx是比较有效率的，但是有时，我们需要对文件下载做细粒度的处理，比如鉴权下载，此时就需要写代码了。下面将一步步实现一个自定义的文件handler。

超级大猪

2019/11/21

1.4K0

Nginx学习之静态文件服务器配置

nginx java

在Java开发过程以及生产环境中，最常用的web应用服务器当属Tomcat，尽管这只猫也能够处理一些静态请求，例如图片、html、样式文件等，但是效率并不是那么尽人意。所以在生产环境中，我们一般使用Nginx代理服务器来处理静态文件，来提升网站性能。基本配置 server { listen 80; server_name file.52itstyle.com; charset utf-8; #root 指令用来指定文件在服务器上的基路

小柒2012

2018/04/13

2.8K0

Nginx学习之静态文件服务器配置

nginx http php

在Java开发过程以及生产环境中，最常用的web应用服务器当属Tomcat，尽管这只猫也能够处理一些静态请求，例如图片、html、样式文件等，但是效率并不是那么尽人意。所以在生产环境中，我们一般使用Nginx代理服务器来处理静态文件，来提升网站性能。

小柒2012

2019/12/09

3.2K0

模板静态文件

c++javascript css django php

网站通常需要提供其他文件，如图片，JavaScript或CSS。在Django中，我们将这些文件称为静态文件

星哥玩云

2022/09/14

1K0

Linux 服务器集群下同步目录文件 - rsync

unix linux 编程算法

简介： remote synchronize是一个远程数据同步工具，可通过 LAN/WAN 快速同步多台主机之间的文件。也可以使用 rsync 同步本地硬盘中的不同目录。 rsync 是用于替代 rcp 的一个工具，rsync 使用所谓的 rsync算法进行数据同步，这种算法只传送两个文件的不同部分，而不是每次都整份传送，因此速度相当快。

Parker

2020/07/21

2.9K0

可用于集群的开源软件赏：Chef

开源

目前我在腾讯主要负责一个服务器端软件的相关开源项目，所以接下来几天的开源内容是最近工作上积累的一些经验和想法，下图中的内容就是我目前主要的工作内容和一些小小的成果。服务器集群系统设计是一个需要考虑开

韩伟

2018/03/05

1.9K0

nginx配置静态静态资源服务器

nginx

第一步：在conf文件夹下创建blog.conf图片第二步：在nginx目录下创建blog文件夹图片第三步: 上传静态网站文件到blog文件夹内图片第四步：配置blog.confserver { listen 89; server_name localhost; location / { root blog; index index.html; }}说明一下，listen后面跟着的89是咱的监听端口server_name 后填域名然后就是lo

meowrain

2022/06/23

4.1K0

使用Node构建一个高效的静态文件服务器

缓存 html node.js

作为前端工程师，我想大家一定对静态文件服务器不会陌生。所谓的静态文件服务器做的工作就是将我们的前端静态文件(.js/.css/.html)传输给浏览器，然后浏览器再将我们的页面渲染出来。我们常用的webpack-dev-server就是本地开发用的静态文件服务器，而一般线上环境我们会使用nginx，因为它更加稳定和高效。既然静态文件服务器无处不在，那么它们又是如何实现的呢？本篇文章将带你手把手实现一个高效的静态文件服务器。

进击的大葱

2022/12/20

1.5K0

免费的集群软件_服务器集群软件

tcp/ip 腾讯云测试服务

IBM 高可用性集群软件(High Availability Cluster Multiprocessing (HACMPTM)) 支持广泛的配置，为集群管理员提供了非常高的灵活性。这种灵活性带来了多种的选择：有许多可行的集群配置可以通过一般的审核以及上线运行，但是却没有优化以提供应有的可用性。本文讨论了集群设计人员可以做出的选择，从可选方案中提出建议，以帮助最高的可用性级别。

全栈程序员站长

2022/11/04

9.2K0

Web静态服务器

网站编程算法

如果在发送文件的时候，有可能一次发送不完整，显示有误，可能是文件太大。我们可以将send方法改成sendall方法，即可解决

小闫同学啊

2019/07/18

13.8K0

FastDFS教程IV-文件服务器集群搭建

nginx tcp/ip node.js

大家好，我是架构君，一个会写代码吟诗的架构师。今天说一说FastDFS教程IV-文件服务器集群搭建,希望能够帮助大家进步!!!

Java架构师必看

2022/02/19

1.8K0

Nginx 部署静态文件

nginx ssl 部署服务器配置

如果出现 configure arguments: –with-http_ssl_module, 则已安装（下面的步骤可以跳过，进入 [准备SSL证书](#3.1.2. 准备SSL 证书)）。

郭顺发

2023/07/17

1940

相似问题

镜像服务器用于集群

用于Windows集群的Active服务器

用于小文件的集群文件系统

用于管理多个SSH服务器的集群选择

用于管理服务器集群中ssh键的工具。

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

问用于静态文件的服务器集群
EN