专栏首页微服务架构日记Django项目自定义存储之fastDFS

Django项目自定义存储之fastDFS

环境准备

  • docker安装

在虚拟机安装docker后,执行下面的命令

# 下载fastDFS镜像
docker image pull delron/fastdfs
# 运行tracker
docker run -dti --network=host --name tracker -v /var/fdfs/tracker:/var/fdfs delron/fastdfs tracker
# 运行storage(TRACKER_SERVER这里使用ifconfig命令查看虚拟机的内网地址,不要使用本地地址127.0.0.1)
docker run -dti --network=host --name storage -e TRACKER_SERVER=10.211.55.5:22122 -v /var/fdfs/storage:/var/fdfs delron/fastdfs storage
# 查看镜像是否在运行
docker ps
# 查看镜像logs,无error即可
docker logs tracker
docker logs storage
  • pip安装

安装相关pip第三方包

pip install py3fdfs
pip install mutagen
pip isntall requests

本地测试

对创建的fastDFS进行测试

  • 新建client.conf
base_path=utils/fastdfs/logs
tracker_server=10.211.55.5:22122
connect_timeout=60
  • 新建test.py
from fdfs_client.client import Fdfs_client
client = Fdfs_client('/utils/fastdfs/client.conf') # 注意要绝对路径
ret = client.upload_by_filename('/Users/delron/Desktop/1.png')
print(ret)
{'Group name': 'group1', 'Remote file_id': 'group1/M00/00/02/CtM3BVr-k6SACjAIAAJctR1ennA809.png', 'Status': 'Upload successed.', 'Local file name': '/Users/delron/Desktop/1.png', 'Uploaded size': '151.00KB', 'Storage IP': '10.211.55.5'}

Django配置

在apps下面新建utils文件夹,并在utils新建fastdfs文件夹(可根据个人项目需要建立)

  • setting.py
# 自定义文件系统
# django文件存储
DEFAULT_FILE_STORAGE = 'apps.utils.fastdfs.fdfs_storage.FastDFSStorage'

# FastDFS
FDFS_URL = 'http://10.141.28.245:8888/'
FDFS_CLIENT_CONF = os.path.join(BASE_DIR, 'apps/utils/fastdfs/client.conf')
  • 新建client.conf
# 在utils/fastdfs下新建文件client.conf
base_path = /web/logs
tracker_server = 10.141.28.245:22122
connect_timeout = 60
  • 新建fdfs_storage.py
# 在utils/fastdfs下新建文件fdfs_storage.py
from django.conf import settings
from django.core.files.storage import Storage
from django.utils.deconstruct import deconstructible
from fdfs_client.client import Fdfs_client, get_tracker_conf
import os
import logging
log = logging.getLogger(__name__)

@deconstructible
class FastDFSStorage(Storage):
    def __init__(self, base_url=None, client_conf=None):
        """
        初始化
        :param base_url: 用于构造图片完整路径使用,图片服务器的域名
        :param client_conf: FastDFS客户端配置文件的路径
        """
        if base_url is None:
            base_url = settings.FDFS_URL
        self.base_url = base_url
        if client_conf is None:
            client_conf = settings.FDFS_CLIENT_CONF
        self.client_conf = client_conf

    def _open(self, name, mode='rb'):
        """
        用不到打开文件,所以省略
        """
        pass

    def _save(self, name, content):
        '''_save方法'''
        conf_path = get_tracker_conf(self.client_conf)
        client = Fdfs_client(conf_path)
        imgdir = f'{os.path.join(settings.BASE_DIR, "apps/utils/fastdfs")}/tmp.{str(name).split(".")[1]}'
        with open(imgdir, "wb+") as f:
            f.write(content.read())
        result = client.upload_by_filename(imgdir)
        os.remove(imgdir)
        if result.get('Status') != 'Upload successed.':
            logging.error('上传文件到FastDFS失败')
            raise Exception('上传文件到FastDFS失败')
        filename = result.get('Remote file_id')
        return filename.decode()

    def url(self, name):
        """
        返回文件的完整URL路径
        :param name: 数据库中保存的文件名
        :return: 完整的URL
        """
        return self.base_url + name

    def exists(self, name):
        """
        判断文件是否存在,FastDFS可以自行解决文件的重名问题
        所以此处返回False,告诉Django上传的都是新文件
        :param name:  文件名
        :return: False
        """
        return False

相关错误

  • configparser.NoOptionError: No option 'connect_timeout' in section: '__config__'

该错误在于client.conf中没有配置connect_timeout超时时间或者配置文件的地址不正确。解决:在client.conf中添加connect_timeout=10后若仍报错,卸载原有的pip包,pip安装py3fdfs即可

  • TypeError: type object argument after ** must be a mapping, not str

卸载原有的pip包,pip安装py3fdfs即可,或者使用from fdfs_client.client import get_tracker_conf引入配置文件

参考文档

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 使用py3fdfs - 踩坑实录 __str__ return non-string (type bytes)

    在执行client = Fdfs_client('/etc/fdfs/client.conf')时,会报错:TypeError: type object arg...

    lesM10
  • docker

    版权声明:Copyright © ...

    zhengzongwei
  • Django实战-番外篇-FastDFS文件存储

    FastDFS 是一个轻量级的开源分布式文件系统;FastDFS 主要解决了大容量的文件存储和高并发访问的问题,文件存取时实现均衡负载;FastDFS 实现了软...

    小团子
  • Django 2.1.7 使用go-fastdfs上传文件

    上一篇文章go-fastdfs安装以及python调用讲解了关于go-fastdfs这个开源的分布式文件存储系统的安装以及python上传文件的方式。

    Devops海洋的渔夫
  • 美多商城商品部分知识点(一)

    Everybody comes to a point in their life when they want to quit, but it's what y...

    小闫同学啊
  • python技术面试题(十三)

    celery提供了一个task装饰器,对被修饰的函数添加delay 方法(将原任务方法名和参数保存到redis的list中)。

    小闫同学啊
  • 【FastDFS】小伙伴们说在CentOS 8服务器上搭建FastDFS环境总报错?

    作者个人研发的在高并发场景下,提供的简单、稳定、可扩展的延迟消息队列框架,具有精准的定时任务和延迟队列处理功能。自开源半年多以来,已成功为十几家中小型企业提供了...

    冰河
  • 05 . Gin+Vue开发一个线上外卖应用(Session集成及修改用户头像到Fastdfs)

    通过redis.NewStore实例化sessionStore结构体对象,通过sessions.Sessions方法设置实例化后的sessionStore结构体...

    常见_youmen
  • 腾讯云服务器如何搭建图片服务器?

    网上虽然有不少资料,但是很多教程写的并不完整,照着去做的时候会出现各种各样的问题,在网上也搜不出个解决方式来, 其实主要都是版本的问题,之前一些版本引用的库位置...

    云上云

扫码关注云+社区

领取腾讯云代金券