1.下载安装包。 这里我们使用s3cmd-1.0.0.tar.gz安装包 2.解压安装包 tar xzvf s3cmd-1.0.0.tar.gz 3.移动路径 mv s3cmd-1.0.0 /usr/local/s3cmd 4.创建软链接 ln -s /usr/local/s3cmd/s3cmd /usr/bin/s3cmd 5.执行配置命令(按提示输入相应密码等) s3cmd --configure 注:执行该命令后,会生成~/.s3cfg配置文件。 6.编辑配置文件,修改以下几个参数。 vi ~/.s3cfg [default] access_key = xxx secret_key = xxx host_base = xxx.xxx.xxx host_bucket = %(bucket)s.xxx.xxx.xxx
S3cmd 是免费的命令行工具和客户端,用于在 Amazon S3 和其他兼容 S3 协议的对象存储中上传、下载和管理数据。本文主要介绍如何使用 S3cmd 访问 COS 上的文件。
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
1、配置s3cmd s3cmd --configure 2、列举所有buckets(bucket相当于根文件夹) 命令:s3cmd ls root@node4:/home# s3cmd ls 2016-09-18 03:51 s3://my-bucket 2016-09-18 02:02 s3://my-new-bucket-node4 2016-09-18 07:17 s3://zhangbo 3、创建bucket(bucket名称唯一,不能重复) 命令:s3cmd mb s3://{$BUCKET
带"/"斜杠的 dir1,相当于上传yh目录下的所有文件,即类似 "cp ./* "
一、安装 1.下载安装包。 这里我们使用s3cmd-1.0.0.tar.gz安装包 2.解压安装包 tar xzvf s3cmd-1.0.0.tar.gz 3.移动路径 mv s3cmd-1.0.0 /usr/local/s3cmd 4.创建软链接 ln -s /usr/local/s3cmd/s3cmd /usr/bin/s3cmd 5.执行配置命令(按提示输入相应密码等) s3cmd --configure 注:执行该命令后,会生成~/.s3cfg配置文件。 6.编辑配置文件,修改以下几个参数。 vi ~/.s3cfg [default] access_key = xxx secret_key = xxx host_base = xxx.xxx.xxx host_bucket = %(bucket)s.xxx.xxx.xxx
http://www.lai18.com/content/6968965.html
作者简介 吴硕卫:腾讯云技术支持工程师,现负责腾讯云存储产品的技术支持专项工作。 S3cmd 是免费的命令行工具和客户端,用于在 Amazon S3 和其他兼容 S3 协议的对象存储中上传、下载和管理数据。本文主要介绍如何使用 S3cmd 访问 COS 上的文件。 准备工作 您已注册腾讯云账号,并且从访问管理控制台上获取了腾讯云密钥 SecretID 与 SecretKey。 一、使用环境 1、软件依赖 Python 2.6+/3+ 最新版本的 pip 2、安装及配置 环境安装与配置详细操作请参见 P
对象存储,通常指 S3 (Simple Storage Service) 服务,由AWS提供公有云服务,而 Ceph 也可以提供兼容 S3 协议的对象存储服务,使用起来跟 AWS 的 S3 体验几乎一样。 环境介绍 访问域名: tstack-s3.oa.com 后端物理环境: [ 64G/8Core/11TB*4/10GE*2 ] * 5台 Ceph 版本: Jewel 10.2.7 RGW 网关: 1个/台,共5个,HAProxy+KeepAlived 实现负载均衡。 测试秘钥: access_k
今天来玩下Ceph的对象存储,在开始之前呢,先扯会闲篇,我觉得生活中处处是非结构化数据,最简单的举例,下面两个行业,一个是直播,一个是摄影。
习惯了文件系统的我们一直都觉得 ls 命令应该会把文件全部 list 出来,对于 s3cmd ls 我一开始也是这么理解的。
通过 s3cmd 上传文件的命令是 s3cmd put,s3cmd 可以上传目录或者文件,不过需要注意的是,如果直接上传的是文件,在 s3cmd put 的过程中是比上传文件夹省去很多步骤的,具体可以看下源码里的 cmd_object_put 这个方法。
yum install python-devel python-setuptools -y easy_install pip
看了一下 Ceph 的文档,看得一脸懵逼,我只想找一个简单的方法给桶设置一下过期时间而已…这么多参数看的真累。 于是看了一下 s3cmd,果然有更简单的方法,通过 s3cmd -h 可以看到 expire 命令。
因为 RGW 的默认 web server 用的是 civetweb,又因为 civetweb 的日志比较简单,没法统计用户通过 S3 读写数据的详细的性能数据,所以就考虑在 RGW 前通过 Nginx 来做本地代理,然后解析 Nginx 的日志,来获取请求状态,数据量和请求的返回时间等信息。 然而一段猛操作之后,发现用户原来通过 s3cmd 2.0.1 能够请求成功的请求全都变成403了,因此本地安装 s3cmd 来测试一下发下还真是 S3Error: 403 (Forbidden),给 s3cmd 加个 debug 选项 -d,错误如下图。
正常使用的 Ceph RGW,还有正常使用的 s3cmd,突然今天碰到一个用户反馈说,在使用 s3cmd get 时候出现大量的404,也就是下载对象 Object 的时候发现对象不存在。
对待迁移的虚拟机进行准备,包括检查并安装Virtio 驱动、安装 cloud-init。
最近有同学反映 s3cmd 上传的数据比原文件小…WTF,居然有这种事?我不信,然后看了下同学的需求,上传一个1G的文件,按照分段上传的默认配置,就是以15M为一段,分段上传,基本公式就是 1024M/15M=68.2。
一、测试S3访问 root@node4:~# apt-get install python-boto root@node4:~# vim s2test.py import boto import boto.s3.connection access_key = 'SSCRZQ0L7O6UM71OYV7H' secret_key = '8VQ8Gr5CaxL5ZokorupYbf5xQ+AXYqA+KFa4OlZ+' conn = boto.connect_s3( aws_access_key_id = access_key, aws_secret_access_key = secret_key, #host = '{hostname}' host = 'node4', is_secure=False, calling_format = boto.s3.connection.OrdinaryCallingFormat(), ) bucket = conn.create_bucket('my-new-bucket-node4') for bucket in conn.get_all_buckets(): print "{name}\t{created}".format( name = bucket.name, created = bucket.creation_date, ) root@node4:~# python s2test.py 说明:access_key和secret_key需修改成被测试的用户的access_key和secret_key。 二、下载s3cmd安装包并安装 下载地址:https://sourceforge.net/projects/s3tools/files/s3cmd/ 我们这里选择s3cmd-1.5.2.tar.gz版本。 root@node4:~# tar -zxvf s3cmd-1.5.2.tar.gz root@node4:~# cd s3cmd-1.5.2 root@node4:~# apt-get install python-setuptools root@node4:~# python setup.py install root@node4:~# s3cmd --configure 注意:access_key和secret_key需分别配置成S3用户的access_key和secret_key 配置完成后会生成/root/.s3cfg文件,我们修改该文件中的host_base和host_bucket两项,用主机名替代原有网址。 root@node4:~# vim /root/.s3cfg host_base = node4 host_bucket = %(bucket)s.node4 root@node4:~# ln -s /s3cmd-1.5.2/build/scripts-2.7/s3cmd /usr/bin/s3cmd 三、安装dnsmasq root@node4:~# apt-get install dnsmasq root@node4:~# vim /etc/dnsmasq.conf address = /node4/192.168.107.24(node4为主机名,192.168.107.24为该主机的IP地址) listen-address = 127.0.0.1 root@node4:~# service dnsmasq restart
kubernetes中部署的应用的信息都存放在etcd里面,这里面的数据非常重要,需要备份,以备不时之需。定时任务的pod要和etcd在同一个node上面。
很多人都知道 s3cmd 是用 Python 写的,但是由于项目的背景,用 Python 这类动态编译的语言,无法在安卓容器使用,所以就想到找一个 Go 写的类似 s3cmd 的一个客户端。
Dockerfile 最佳实践 本文由Vikings(http://www.cnblogs.com/vikings-blog/) 原创,转载请标明.谢谢! 写在前面的话 如果要研究和使用Docker,那么一定要使用Dockerfile来build自己的image。但docker的原理限定了image的layer不能太多,因此不能肆意妄为的进行build,一定要控制image的layer数量。同样也要关注image的大小,如果build出来的image动辄就是7,8GB,那么实用性就很差了。因此在参考
对象存储服务与客户的VPC打通,需要客户先确认在哪个子网中使用。由腾讯云工程师进行网络配置,会在客户指定的子网中配置一个vip并与对象存储打通并映射。
在 Tensorflow 给的官方例子中 Use TensorFlow Serving with Kubernetes,是将模型拷贝到镜像里的,这里是会有点不太灵活,因为更新模型就要重新构建镜像,并且再去更新对应的 Pod。
###前言 一直想弄对象存储,以前弄过一次,不是很理解region是个什么东西,后来时间和工作上的原因没有再折腾,这两天闲了下来,再次折腾了一次。我是参考的ceph的中文翻译文挡进行的部署和测试。传送门,文档里面介绍的和ceph本身的版本存在脱节的现象,可能初次接触的人会因为服务启动的问题摸不着头脑。 ###关于部署 安装ceph必要的软件包,配置好公共密钥和ceph mon的配置,这里我不再谈了。 对象存储额外需要安装的包是:ceph-radosgw和ceph-common 安装完毕你的系统上应该至少存在三个命令:rados 、 radosgw 、 radosgw-admin 其中整个对象网关服务就是由radosgw来启动的,radosgw-admin负责管理对象资源(用户,权限,bucket),rados基本算一个比较简单的s3客户端(?我这里可能理解不是很精确) ####配置 ceph.conf
我们的安卓容器需要使用 s3 来进行一些文件的上传和下载,因为 s3cmd 是 Python 写的,所以想运行 s3cmd,估计是不行的,如果需要使用静态编译的 s3 客户端程序,随手在 github 上搜了一个 s3-cli,这个项目是用 Go 写的,所以只要在本地编译的时候加上 static 就可以了。
参考资料: https://www.cnblogs.com/ytc6/p/7388654.html http://docs.ceph.com/docs/kraken/start/ https://blog.csdn.net/changtao381/article/details/48015623 https://blog.csdn.net/litianze99/article/details/48438877
作为文件系统的磁盘,操作系统不能直接访问对象存储。相反,它只能通过应用程序级别的API访问。ceph是一种分布式对象存储系统,通过ceph对象网关提供对象存储接口,也称为RADOS网关(RGW)接口,它构建在ceph RADOS层之上。RGW使用librgw(RADOS Gateway library)和librados,允许应用程序与ceph对象存储建立连接。RGW为应用程序提供了一个RESTful S3/swift兼容的接口,用于在ceph集群中以对象的形式存储数据。ceph还支持多租户对象存储,可以通过RESTful API访问。此外,RGW还支持ceph管理API,可以使用本机API调用来管理ceph存储集群。
Docker 可以通过从 Dockerfile 中读取指令来自动构建镜像,Dockerfile 是一个文本文件,其中包含了按顺序排列的构建指定镜像所需的全部命令。Dockerfiles 采用特殊格式,使用一系列特别的指令。可以在 Dockerfile 参考页面 学习这些基础知识。如果对于编写 Dockerfile 你还是新手,那么接着往下看吧。
Docker可以通过从Dockerfile包含所有命令的文本文件中读取指令,自动构建镜像。
MiniO Browser 可以对接支持 S3 协议的 Ceph RGW,因为用 s3cmd 这些工具去管理对象文件还是比较麻烦,而且不够直观的,Minio Browser 正好提供了一套 UI 来访问、上传对象文件,创建桶和分享文件这些功能,还是相当实用的,如果不想自己开发基于 Ceph RGW 的对象文件页面管理,那么可以直接用 MiniO Browser。
对象存储诞生之初 谈到为什么要有对象存储,必须聊聊对象存储诞生之前的两大存储模型:块存储和文件存储。 块存储主要是将存储介质的空间整个映射给主机使用的,主机如果需要对这些空间进行读写IO操作,需要先进行分区和格式化处理,形成可以被操作系统识别的逻辑命名空间,之后主机才能通过操作系统对这些存储介质进行读写操作。常见的块存储有磁盘,SSD,NAS、SAN等,这些物理设备都或多或少存在物理上的极限,比如存储空间、性能等都存在物理极限。 文件存储立足于物理存储介质之上,是操作系统对数据管理操作的抽象,这些抽象最终汇
Ceph在一个统一的系统中独特地提供对象、块和文件存储。Ceph 高度可靠、易于管理且免费。Ceph 的强大功能可以改变您公司的 IT 基础架构和管理大量数据的能力。Ceph 提供了非凡的可扩展性——数以千计的客户端访问 PB 到 EB 的数据。ceph存储集群相互通信以动态复制和重新分配数据。
要使用基于 Rook 的 Ceph 存储中的块设备、文件系统以及对象存储,必须保证已通过 Rook 完成 Ceph 存储集群的搭建,并且保证 Ceph 存储集群处于 active + clean 状态。这里搭建过程可以参考上一篇 Kubernetes 集群基于 Rook 搭建 Ceph 分布式存储系统 文章,讲解的很详细。Kubernetes 集群搭建亦可参照上一篇文章,版本为 1.12.1,这里均忽略搭建过程,下边通过示例分别演示下如何使用这块设备、文件系统、对象存储方案。
本文作者 / 阿杜 玩Docker,玩K8s,玩Harbor 爱技术,爱运动,爱生活 “K8s&云原生技术开放日”特邀讲师 本文内容源于“K8s&云原生技术开放日”主题演讲——Harbor企业级实践。 Harbor作为腾讯企业云中心底层统一的镜像仓库管理组件,其性能很大程度上决定了上层容器应用的发布时延。为此,我们针对Harbor做了很多性能优化,使得镜像下载速度提升了20倍。 本次分享围绕Harbor性能提升展开,依次介绍Harbor存储选型,Harbor高并发压测以及Harbor备份还原方案……
Docker通过读取Dockerfile中的指令自动构建镜像,一个文本文件包含构建镜像的所有指令。Dockerfile遵循特定的格式和指令集,您可以在Dockerfile中引用它们。
DIGITS: Deep Learning GPU Training System
WORM将在08,09,10(月)01,02,03,04,05,06,07,08,09,10(日)周一,周二00:00:00-11:30:39禁用
描述:Dockerfile是一个文本格式的配置文件,其内包含了一条条的指令(Instruction),每一条指令构建一层,因此每一条指令的内容,就是描述该层应当如何构建。 用户可以使用Dockerfile快速创建自定义的镜像;通过它所支持的内部指令,以及使用它创建镜像的基本过程,Docker拥有”一点修改代替大量更新”的灵活之处;
需求 随着ipv6使用得越来越广,很多网络设施逐步地需要支持ipv6,而ceph作为可大规模部署的分布式存储系统,ipv6的支持是必选的,本文主要介绍ceph over ipv6的场景及其功能使用
- 图虽然很复杂,但如果理解了几个基本操作的含义就很好读下来了,这里是三个操作的伪代码,take和emit很好理解,select主要是遍历当前bucket,如果出现重复、失败或者超载就跳过,其中稍微复杂的“first n”部分是一旦遇到失败,第一种情况是直接使用多备份,第二种情况是使用erasing code基本可以忽略。看着下面的图就更好理解具体的算法了
这个项目非常有意思,作者试图用涂鸦来介绍软件开发一些常用的概念和工具,这个仓库名叫a-picture-is-worth-a-1000-words,顾名思义作者力求精简在一张图把一个东西讲清楚。(真的只有一张图啊喂)
最近看到ReadHat在搞Ceph的培训,而且是收费的,真的是吓了一跳。难道真要搞这么复杂这么强大的存储方案么?有了MinIO,我知道我永远和Ceph无缘了。
开始了解Docker是健明的一篇文章跟着jimmy学docker系列之第2讲:一个软件一个容器,那时正在研究虚拟机(Virtual Machine),发现Docker更适合现在的需求,就从基本概念和操作命令开始学习。前期顺风顺水直到看了胡博士的文章,对其Dockerfile的内容有很多不理解,后来明白Docker并不是单一独立的存在,你想要创建的镜像集成了所需的环境、软件、数据库以及脚本等,是生信处理能力的综合性体现。
大家好,这里是的Github精彩项目分享周刊(原谅我鸽了两周),我是每周都在搬砖的蛮三刀酱。
在日常开发中,我们经常会有发布需求,而且还会遇到各种环境,比如:线上环境(Online),模拟环境(Staging),开发环境(Dev)等。最简单的就是手动构建、上传服务器,但这种方式太过于繁琐,使用持续集成可以完美地解决这个问题,推荐了解一下Jenkins。
领取专属 10元无门槛券
手把手带您无忧上云