专栏首页对象存储私房菜使用Rclone访问腾讯云COS教程
原创

使用Rclone访问腾讯云COS教程

Rclone可以方便的在两个不同存储之间同步文件,源和目的包括本地存储、Amazon S3、Tencentyun COS、Alibaba OSS、Ceph、Google Drive、Dropbox等。

主要功能

  • MD5/SHA1进行文件的完整性校验(对于S3存储,通过MD5)
  • 保存文件的修改时间(对于S3存储,通过x-amz-meta-mtime元信息)
  • Copy模式只拷贝新增和变化的文件
  • Sync模式使得目的和源文件夹完全一样
  • Check模式通过文件hash校验一致性
  • 可以通过网络,跨越存储和不同账号同步数据
  • fuse挂载
  • 多线程数据下载

安装:

linux下可以使用执行脚本命令安装:

curl https://rclone.org/install.sh | sudo bash

windows下可以下载rclone-v1.49.5-windows-amd64.zip安装包,解压后,将路径添加到Path环境变量中(高级系统设置->环境变量->系统变量)

配置

编辑配置文件linux:~/.config/rclone/rclone.conf,windows:C:\Users\test_user\.config\rclone.conf:

[cos]
type = s3 # s3后端存储类型
provider = Other
env_auth = false # 不从环境变量中获取密钥
access_key_id = AKIDXXXXXXXXXXXXXX # 腾讯云的secretId
secret_access_key = YYYYYYYYYYYYYYYYYYY # 腾讯云的secretKey
endpoint = cos.ap-guangzhou.myqcloud.com # COS的域名

也可以通过执行rclone config,按照提示生成上面的配置文件

命令使用实例

  • rclone lsd cos:, 查看广州地域存储桶
  • rclone mkdir cos:rclone-test-1251668577,创建存储桶rclone-test-1251668577
  • rclone sync local-folder/ cos:rclone-test-1251668577/storage,将本地local-folder下的文件同步到存储桶的/storage目录下,该操作会将/storage下的所有其他文件删除掉
  • rclone ls cos:rclone-test-1251668577,列出rclone-test-1251668577根目录下的文件
  • rclone copy local-folder/ cos:rclone-test-1251668577/,拷贝本地文件或目录到COS上,不会删除目的端的其他文件
  • rclone copy cos:rclone-test-1251668577 cos:rclone-test-backup-1251668577,同一个存储,在服务端使用copy操作拷贝文件
  • rclone sync local-folder/ cos:rclone-test-1251668577/ --backup-dir cos:rclone-test-backup-1251668577/20191011,将本地文件同步到cos,并备份被删除或修改的文件到备份存储桶中
  • rclone copy --max-age 24h --progress --no-traverse local-folder/ cos:rclone-test-1251668577/--max-age 24h过滤出来最近24小时变更过的文件,--progress显示拷贝进度,--no-traverse在从源拷贝少量文件到目的中大量目的文件时,速度会更快
  • rclone check local-folder/ cos:rclone-test-1251668577/ --one-way,查看本地文件是否都同步到了目的端,默认校验修改时间和大小
  • rclone --min-size 500B lsl cos:rclone-test-1251668577/,查看存储桶中500B以上的文件列表
  • rclone --dry-run --min-size 300B delete cos:rclone-test-1251668577/,查看存储桶中500B以上的待删除文件列表
  • rclone delete oss:oss-test-bucket-1215715707/ --include=/stl-views.gdb,删除根目录下的stl-views.gdb文件,如果不带/前缀,则会删除所有stl-views.gdb文件
  • rclone size cos:rclone-test-1251668577/,查看存储桶中对象数目和占用的空间大小
  • rclone mount cos:rclone-test-1251668577/ rclone-mnt/,将cos挂载成一个本地文件系统
  • rclone ncdu cos:rclone-test-1251668577/,一个简易文本形式的文件浏览器,用于存储桶中的文件浏览、文件和文件夹删除等操作
  • rclone cat cos:rclone-test-1251668577/test.cpp --head 10,输出test.cpp的前10个字节
  • echo "hello world" |rclone rcat cos:rclone-test-1251668577/rcat.txt将标准输出复制到存储桶的rcat.txt文件中,会覆盖目标文件
  • rclone sync oss:oss-test-bucket-1215715707/ cos:rclone-test-1251668577/ -P,同步oss存储桶中的数据到cos存储桶中,-P选项显示进度
  • rclone check oss:oss-test-bucket-1215715707/ cos:rclone-test-1251668577/ -P,进行数据对比校验
  • rclone md5sum cos:rclone-test-1251668577/,为所有文件生成MD5值
  • rclone tree cos:rclone-test-1251668577/ -C -D,显示文本格式的目录树结构,-C选项带颜色显示,-D显示上次修改时间

常用命令

  • rclone copy source:path dest:path,从源文件拷贝到目的,不会删除目的的文件,会跳过未变更的文件,基于大小和修改时间或MD5值判断是否变更过。
  • rclone sync source:path dest:path,将目的文件夹同步成和原文件夹完成相同,会删除目的文件夹中的其他文件,可以先用--dry-run参数运行,查看哪些文件会被删除和变更。
  • rclone move source:path dest:path ,移动文件夹,对于少量文件移动到有大量文件的目的,可以使用--no-traverse参数加速。
  • rclone purge remote:path,删除path及其中的所有内容。
  • rclone mkdir remote:path [flags],如果路径不存在,则创建
  • rclone rmdir remote:path [flags] ,删除空的存储桶,如果存储桶非空,可以使用rclone purge
  • rclone check source:path dest:path [flags],根据文件大小以及hash值对源和目的进行校验(md5和sha1),--size-only只对比大小;--download下载下来对比;--one-way,根据源端的数据列表对比; --checksum ,进行size, checksum校验;默认,进行大小和修改时间校验。
  • rclone ls remote:path [flags],查看对象大小和路径;lsl,包括修改时间;lsd,列出目录;lsjson,以json格式输出。
  • rclone lsd remote:path [flags],列出路径下的目录或存储桶
  • rclone delete remote:path [flags],删除path下符合条件的对象
  • rclone size remote:path [flags],查看远端的文件数目和总大小
  • rclone rcat remote:path [flags],将标准输出复制到远程文件中

参考:

Rclone官网文档:https://rclone.org/docs/

Rclone github仓库:https://github.com/rclone/rclone

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

登录 后参与评论
0 条评论

相关文章

  • windows下使用rclone 挂载 腾讯云的cos

    今天看到论坛上有人问起,cos能不能挂载到windows下,我想了下,腾讯云的确没有推出相关工具,cosfs这个软件也只是支持linux系统。但windows下...

    qinyang
  • 使用rclone迁移FTP数据到COS

    与ftp配置一样,同样可以通过rclone config来配置cos,但我们也可以通过直接修改配置文件的方式来配置cos:

    ictfox
  • 在Windows下使用rclone挂载GoogleDrive团队盘

    前几天edu教育网账号翻车了,登录时发现账号被删了,里面存了9T的资源也灰飞烟灭了。不过使用这个edu给我自己Gmail开的团队盘居然还在,稍加思索一番,好像还...

    ldeus
  • 腾讯轻量 COSCMD 上传 COS 低成本归档存储测试

    关于腾讯轻量与深度归档配合的文章很早就想写了,早期轻量的下行是超千兆的,但是因为前段时间腾讯云调整了入网带宽的策略,顿时感觉这个用法不太合适就搁置了。昨天的时候...

    LMSKK
  • Docker 搭建 Nextcloud

    参考: nextcloud/docker: ⛴ Docker image of Nextcloud

    yiyun
  • 【玩转Lighthouse】搭建Typecho+Chevereto博客写作环境

    注册好腾讯云账号后,在轻量应用服务器购买页面选购服务器,本次教程选用服务器配置如下

    吹肯
  • Coding托管inis前端-一个前后端分离的博客程序

    inis作为一个由国人开发的全新博客程序,采用前后端分离。前端仅需部署在静态托管(例如对象存储),而后端部署在服务器上,是一款超轻量的博客程序,同时对中文适配性...

    何叶
  • 宝塔自动备份网站到腾讯云COS附详细设置

    在前篇文章中,和大家分享了一下宝塔面板备份功能的使用,对于个人站长来说,虽然已经很方便了,但是有时候我们还想更省心一些,这时候就可以使用宝塔面板的自动备份功能,...

    用户4988376
  • WordPress安装WPCOS插件同步文件至腾讯云COS设置教程

    一般我们使用WordPress程序的时候,静态文件都会自动放在网站目录uploads中。有些网友图片文件比较多,而且服务器带宽不足,这样会发现网站打开和图片加载...

    Alexaer
  • centos服务器安装rclone自动挂载无限容量谷歌相册Google photo为磁盘

    经常听说有人撸到无限容量的谷歌网络硬盘,或者是 5T 容量的,都是利用学生认证实现的,现在淘宝上也有一大堆,但是感觉这种都不一定稳,随时可能翻车,我自己是用的 ...

    王图思睿
  • 【玩转Lighthouse】使用MinIO搭建云原生对象存储服务

    本文从通用的AWS S3对象存储协议,以及在MinIO中使用 腾讯云对象存储 的场景出发,介绍基于MinIO云原生对象存储的搭建步骤和MinIO客户端的使用示例...

    yjwang
  • 腾讯云对象存储COS助力VIPKID业务增长的技术实践

    2020年突如其来的新冠疫情,VIPKID发挥“互联网+教育”的专长,为抗击疫情力所能及地做出一份贡献。积极扩容在线直播系统,全力以赴为学生们提供安全的学习环境...

    hustxiong
  • 静态网站在腾讯云上的托管

    可以把静态网站中的各类资源,如图片、音视频、脚本文件等内容,可以存放至腾讯云对象存储(COS),把网站逻辑部署至腾讯云服务器(CVM)。当用户向网站发起访问时,...

    云加创业小助手
  • WordPress使用腾讯云对象存储COS进行静态资源CDN加速

    陌涛博客目前使用的腾讯云服务器只有1M带宽,如果文章里图片多一些的话加载速度会明显变慢,解决这个问题除了升级带宽最好的办法就是将博客进行动静分离来加速图片加载。...

    陌涛
  • WordPress使用腾讯云对象存储COS进行静态资源CDN加速

    个人博客目前使用的腾讯云服务器只有1M带宽,如果文章里图片多一些的话加载速度会明显变慢,解决这个问题除了升级带宽最好的办法就是将博客进行动静分离来加速图片加载。...

    聚优云惠
  • 年终回顾丨不可错过的 2020 腾讯云存储大事件

    2020 年伊始,一场突如其来的新冠疫情改变了人们的生活和工作方式,越来越多的服务进一步云化。远程办公、视频会议、在线教育等业务迎来了爆发性地增长。

    云存储
  • 腾讯云COS对象存储WordPress插件 让网站动静分离跑的更快

    腾讯云 COS 对象存储是利用云存储空间来存放静态文件,让网站动静分离跑的更快。我们平时用 wordpress 博客较多,而适用于腾讯云的很多都失效不好用了,今...

    魏艾斯博客www.vpsss.net

扫码关注云+社区

领取腾讯云代金券