专栏首页陶士涵的菜地[PHP] 存储改造中的逻辑和清理遗留的问题

[PHP] 存储改造中的逻辑和清理遗留的问题

现象:用户读信时,根据路径的哈希结果,访问四台服务器中一台请求文件,这四台缓存机器已经下线,访问不到再去后端存储访问浪费了时间

前因:每一封信都是一个文件,存储在公司内部的分布式文件系统s3上.因为读取速度太慢和经常的网络访问失败,后来在s3系统之上新增了nginx缓存代理,imap pop web各端都能使用这几台缓存.又增加了阿里云oss存储,与s3存储并行.

1. 访问文件的时候,会根据内部的索引服务返回的location进行判断,结果是4,5,6,分别代表只存s3,只存oss,s3和oss双读.代码中对location进行判断,进行读取访问文件.当存在双读的时候,要根据配置优先读取oss或者优先读取s3,读取不到时再去读取另外的存储

2. 在需要读取s3时,在这之上要先访问缓存代理.根据指定的哈希规则,对path部分取哈希值,如果在以下四个范围内就访问指定的IP '0~25'=>'http://xxx.xxx.88', '25~50'=>'http://xxx.xxx.89', '50~75'=>'http://xxx.xxx.90', '75~100'=>'http://xxx.xxx.91' 哈希算法如下:

function BKDRHash($str) {
        $hash = 0;
        $seed = 1313;
        for ($i=0;$i<strlen($str);$i++) {
            $hash = ((floatval($hash * $seed) & 0x7FFFFFFF) + ord($str[$i])) & 0x7FFFFFFF;
        }
        $hash=$hash & 0x7FFFFFFF;
        return $hash % 100;
}

3. 运维反馈现在访问文件时是使用的公网域名,把公网域名修改成内网域名,速度会有提升,网络问题也会减少. 4. 去掉读信走s3逻辑时候的读取nginx代理cache部分 5. 在线上单独拿台机器用于测试,如果没有问题就全量上线

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • [android] 服务的生命周期(混合方式)

    bindService() ==> onCreate() ==>onBind()

    陶士涵
  • [android] 切换按钮-自定义控件-拖动效果

    重写View的onTouchEvent()方法,传递进来MotionEvent对象

    陶士涵
  • [MySQL] innoDB引擎的主键与聚簇索引

    mysql的innodb引擎本身存储的形式就必须是聚簇索引的形式 , 在磁盘上树状存储的 , 但是不一定是根据主键聚簇的 , 有三种情形:

    陶士涵
  • 临时表空间故障处理 (33天)

    最近测试环境需要把一些现有的存储空间匀出一部分来给新增的环境使用。 unix组的人很快就空间按照指定的比例重新切分好了。环境交给我的时候,我先把数据库起来,没有...

    jeanron100
  • 2019 我的 Github 开源之路!

    转眼间2019即将过去,回想这一年,学习了很多也输出了很多。如果要说我最大的成果的话,我的Github可以概括下。这一年之中累计收获了3w+Star,总计开源维...

    macrozheng
  • 教你用 Cython 自己造轮子

    我们要造的轮子是一个最简单的栈的实现,用 C/C++来编写能够减小不必要的开销,带来显著的加速。

    Python中文社区
  • 如何设计一个电子计算器

      首先,不要误解,我这里的计算器是指硬件的计算器,至于纯软件的计算程序,乃至有高级功能的,比如可以求解方程甚至可编程之类,我以后找个时间来说说。这两天看到有人...

    窗户
  • 带你轻松打开SVG动画的大门

    初学SVG的时候,感觉那一坨一坨的代码难读难懂,现在回过头仔细想想,是因为那时候看文档缺少一些具体的实例,导致学习起来很枯燥。如今SVG已经在前端各个领域都有所...

    练小习
  • 带你轻松打开SVG动画的大门

    初学SVG的时候,感觉那一坨一坨的代码难读难懂,现在回过头仔细想想,是因为那时候看文档缺少一些具体的实例,导致学习起来很枯燥。如今SVG已经在前端各个领域都有所...

    练小习
  • 怎样成为一名优秀的算法工程师

    同时在本微信公众号中,回复“SIGAI”+日期,如“SIGAI0515”,即可获取本期文章的全文下载地址(仅供个人学习使用,未经允许,不得用于商业目的)。

    SIGAI学习与实践平台

扫码关注云+社区

领取腾讯云代金券