FastDFS蛋疼的集群和负载均衡(三)之上传图片测试

diary_report.jpg

Interesting things

由于FastDFS配置太复杂了,所以拆分到这一篇继续讲解。


What to do tomorrow

  • tracker和storage集群搭建完毕,FastDFS集群还未搭建完毕。
  • 我们先不急着去搭建FastDFS,先在tracker1使用client完成上传图片测试。
  • 进入/etc/fdfs,拷贝一份client.conf.sample,并且重命名为client.conf

image.png

  • 修改client.conf, vim client.conf 将base_path修改成/fastdfs/tracker, tracker_server=192.168.12.11:22122, tracker_server=192.168.12.22:22122

image.png

image.png

  • 接下来我们在/usr/local创建一个img文件夹。mkdir img

image.png

  • 在img添加一个自己喜欢的图片,我添加的是mayday.jpg.

mayday.jpg

  • 上传文件命令:/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /usr/local/img/mayday.jpg /usr/bin/fdfs_upload_file表示上传文件操作 /etc/fdfs/client.conf表示上传文件时所采用的配置文件 /usr/local/img/mayday.jpg表示上传文件具体的路径。 我们可以看到返回了"group2/M00/00/00/wKgMN1pDYfeAdEyCAADRd6mMX3g517.jpg"。group2表示上传的这张照片被保存在group2.这说明group2有我们之前上传的图片,而group1没有。M00代表磁盘目录。00/00代表磁盘上的两级目录,每级目录下是从00-FF一共是1616(256)个文件,两级就是256256个。

image.png

  • 在192.168.12.33(group1)查找刚才上传的图片,没找到。

image.png

  • 在192.168.12.44(group1)查找刚才上传的图片,没找到。

image.png

  • 在192.168.12.55(group2)查看刚才上传的图片,找到了。

image.png

  • 在192.168.12.66(group2)查找刚才上传的图片,找到了。

image.png

  • 还记得我们在配置tracker.conf时store_lookup=0, store_group=group2吗? store_lookup=0代表我们选择组上传文件的方法是轮询。

image.png

  • 我们之前的配置是轮询策略,我们再上传一次文件,图片肯定会上传到group1,毋庸置疑。美滋滋啊!

image.png

  • 我们上传文件图片存储的位置是一次group1,一次group2,轮询进行存储的。
  • 如果处于同一组的A设备发生了故障,那么这时上传的文件只能存放到其他同组的设备。当A设备故障修复后,同组的其他设备会自动将数据同步到A设备上。岂不是美滋滋?
  • 我们还需要配置Nginx,达到http方式来上传或者下载文件。
  • 我们需要在group1和group2上把fastdfs-nginx-module_v1.16.tar.gz到/usr/local/fast。命令:tar zxvf fastdfs-nginx-module_v1.16.tar.gz -C /usr/local/fast

image.png

  • 我们进入/usr/local/fast/fastdfs-nginx-module/src,找到config.

image.png

  • 我们要把第四行的 /usr/local/include/fastdfs修改成/usr/include/fastdfs /usr/local/include/fastcommon修改成 /usr/include/fastcommon

image.png

image.png

  • 因为我们在安装./make.sh install FastDFS的时候,安装在/usr/include/fastdfs了。fastcommon同理。

image.png

  • 安装nginx依赖包 yum install pcre、yum install prce-devel、yum install zlib、yum install zlib-devel
  • 把nginx安装包解压到/usr/local/ 命令:tar -zxvf nginx-1.6.2.tar.gz -C /usr/local/nginx,会自动在/usr/local/下创建nginx-1.6.2文件夹。

image.png

  • 进入/usr/local/nginx-1.6.2下,输入 ./configure --add-module=/usr/local/fast/fastdfs-nginx-module/src,添加fastdfs-nginx-module/src模块并且进行检查。

image.png

  • 使用make && make install进行编译安装,安装成功后/usr/local/目录下会出现nginx文件夹。

image.png

image.png

  • 进入/usr/local/fast/fastdfs-nginx-module/目录下,找到mod_fastdfs.conf,然后复制一份到/etc/fdfs/目录下,命令:cp mod_fastdfs.conf /etc/fdfs/

image.png

  • 进入/etc/fdfs/目录下,修改mod_fastdfs.conf
  • 修改为connect_timeout=10

image.png

  • 修改为tracker_server=192.168.12.11:22122 tracker_server=192.168.12.22:22122

image.png

  • 修改为url_have_group_name=true

image.png

  • 修改为store_path0=/fastdfs/storage

image.png

  • 如果storage所在的组为group1,group_name就不用修改,默认的是group1,否则把group_name修改成storage相对应的组。

image.png

  • 有几个group,group_count就设置几个,我这里有2个group,那么group_count=2

image.png

  • 接下来就要设置group1,group2的信息,如图所示。

image.png

  • 添加如下内容:

[group1] group_name=group1 storage_server_port=23000 store_path_count=1 store_path0=/fastdfs/storage [group1] group_name=group2 storage_server_port=23000 store_path_count=1 store_path0=/fastdfs/storage

image.png

  • 把修改后的mod_fastdfs.conf复制给192.168.12.44、192.168.12.55、192.168.12.66. 属于group2的storage要把group_name修改为group2.

image.png

  • 进入到/usr/local/fast/FastDFS/conf下找到http.conf和mime.types,然后把他们2个拷贝一份到/etc/fdfs/目录下。

image.png

image.png

  • 然后进入/etc/fdfs/目录下,把新鲜出炉的http,conf和mime.types给192.168.12.44、192.168.12.55、192.168.12.66拷贝一份到/etc/fdfs/

image.png

  • 我们需要创建软链接,ln -s /fastdfs/storage/data/ /fastdfs/storage/data/M00

image.png

  • 还记得我们之前在stroage.conf里面http.server_port=8888吗?

image.png

  • 接着我们到/usr/local/nginx/conf/目录下,vim nginx.conf修改该文件。将server的listen端口设置为8888

image.png

image.png

  • 我们也要把location替换成如下:

location ~/group([0-9])/M00 { ngx_fastdfs_module; }

image.png

image.png

  • 接着老操作,把更改后的nginx.conf拷贝到192.168.12.44、192.168.12.55、192.168.12.66的/usr/local/nginx/conf/目录下。

image.png

  • group1和group2下的storage都启动nginx。输入/usr/local/nginx/sbin/nginx

192.168.12.33(group1)

image.png

192.168.12.44(group1)

image.png

192.168.12.55(group2)

image.png

192.168.12.66(group2)

image.png

  • 我们还要给group1和group2的iptables配置端口8888 vim /etc/sysconfig/iptables 在iptables添加 -A INPUT -p tcp -m state --state NEW -m tcp --dport 8888 -j ACCEPT

image.png

image.png

  • 然后重启防火墙和启动策略。 service iptables restart service iptables save

image.png

  • 我们在tracker1(192.168.12.11)上传图片。命令:/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /usr/local/img/mayday.jpg

image.png

image.png


What to do tomorrow


Summary

初步排查,应该是Nginx问题。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏从零学习云计算

Centos7.2学习记录(3)——搭建本地yum仓库

入职以来,由于公司云主机运行在内网环境下,在搭建kubernetes和openshift集群时都需要进行离线安装,这里粗略记录一下本地yum仓库的搭建过程。 ...

45300
来自专栏伦少的博客

win10 spark+scala+eclipse+sbt 安装配置

转载请务必注明原创地址为:http://dongkelun.com/2018/03/15/winSparkConf/

614100
来自专栏angularejs学习篇

WEB网站常见受攻击方式及解决办法

一.跨站脚本攻击(XSS)     跨站脚本攻击(XSS,Cross-site scripting)是最常见和基本的攻击WEB网站的方法。攻击者在网页上发布...

15830
来自专栏james大数据架构

分布式文件系统FastDFS如何做到高可用

FastDFS是用C语言编写的一款开源的轻量级分布式文件系统。它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存...

71160
来自专栏Android机动车

Android开发环境搭建

因此,我们这篇文章将从JDK和AndroidStudio两个方面来讲解Android开发环境的搭建。

23240
来自专栏.NET技术

经典SQL语句大全之基本函数

1,datalength(Char_expr) 返回字符串包含字符数,但不包含后面的空格 2,substring(expression,start,length...

16420
来自专栏linux运维学习

linux学习第十一篇:linux和Windows互传文件,用户配置文件和密码配置文件,用户组管理以及用户管理

linux和Windows互传文件 先使用命令yum install -y lrzsz安装 PS:前提是使用xshell或者securecrt。putty不支持...

25760
来自专栏MoeLove

CentOS7上安装Python3.6

当前最新的 CentOS 7.3 默认安装的是 Python 2 ,并且默认的官方 yum 源中不提供 Python 3 的安装包。有些用户想要升级使用 Pyt...

53320
来自专栏Albert陈凯

linux目录结构和常用命令

一、Linux目录结构 你想知道为什么某些程序位于/bin下,或者/sbin,或者/usr/bin,或/usr/sbin目录下吗?例如,less命令位于/us...

28040
来自专栏hbbliyong

git各种命令介绍以及碰到的各种坑

一.各种命令介绍:  git pull:从其他的版本库(既可以是远程的也可以是本地的)将代码更新到本地,例如:'git pull origin master'就...

39180

扫码关注云+社区

领取腾讯云代金券