腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

sktj

专栏作者

1542

文章

1894176

阅读量

34

订阅数

Jenkins Publish over ssh部署

jenkins ssh windows 分布式

Jenkins远程部署，一开始没有任何头绪，想了很多方案. 因为两台机器都是windows系统，所以想到publish over cifs, 但是这个网上资料太少，貌似只能内网使用。又想到了Jenkins 分布式构建，但是Jenkins构建的代码和产物最后自动拷贝到主节点。而远程机器其实是客户方的机器，所以这个分布式构建并不适用。最后还是选定publish over ssh来实现远程部署。

2022-05-24

1.3K0

Ceph Cookbook 中文版

分布式对象存储存储

1、ceph介绍、ceph块存储、ceph对象存储、ceph文件系统、用Calamari监控Ceph、操作和管理ceph集群、深入ceph、ceph生产计划和性能调优、ceph虚拟存储管理器、ceph扩展 2、架构： Ceph monitor：监控器 OSD:Ceph对象存储设备 MDS:Ceph元数据服务器 RADOS：负责保存存储对象 librados:为其他编程语言提供RADOS的接口 RBD：RADOS块设备 RGW:RADOS网关接口 CephFS:文件系统解决方案：

2022-05-19

1.2K0

测试磁盘性能、网络性能、ceph集群性能

分布式腾讯云测试服务

1、清理缓存 echo 3>/proc/sys/vm/drop_caches 2、测试写 dd if=/dev/zero of=/var/lib/ceph/osd/ceph-0/deleteme bs=10G count=1 oflag=direct 3、测试读 dd if=/var/lib/ceph/osd/ceph-0/deleteme of=/dev/null bs=10G count=1 iflag=direct 4、检测监听 iperf -s -p 6900 iperf -c yourip -p 6900 //在别的机子上 5、rados bench rados bench -p rbd 10 write --no-cleanup rados bench -p rbd 10 seq //读 6、rados load-gen负载测试

2022-05-18

1.5K0

ceph 存储池pool操作

1、列出存储池 ceph osd lspools 2、创建存储池 ceph osd pool create poolname pg-num pgp-num replicated crush-ruleset-name expected-num-objects //副本方式 ceph osd pool create poolname pg-num pgp-num erasure erasure-code-profile crush-ruleset-name expected-num-objects //poolname 要唯一 3、设置存储池配额 ceph osd pool set-quota poolname max-objects max-bytes 4、删除存储池 ceph osd pool delete poolname 5、重命名存储池 ceph osd pool rename {current-pool-name} {new-pool-name} 6、存储池统计信息 rados df 7、存储池快照 ceph osd pool mksnap poolname snapname 8、删除存储池快照 ceph osd pool rmsnap poolname snapname 9、查看存储池配置 ceph osd pool get poolname [key]

2022-05-18

7080

ceph设计原理与实现(RGW、CephFS、实战)

分布式 grep actionscript

1、侠义讲，对象存储就是云存储 2、分布式文件系统：CephFS 3、每天晚上10点到早上7点Scrub ceph tell osd.* injectargs "--osd-scrub-begin-hour 22" ceph tell osd.* injectargs "--osd-scrub-end-hour 7" vi /etc/ceph/ceph.conf [osd] osd_scrub_begin_hour = 22 osd_scrub_end_hour = 7 4、ceph数据重建配置策略 //提升recovery的优先级，降低client的优先级 ceph tell osd.* injectargs "--osd-recovery-op-priority 63" ceph tell osd.* injectargs "--osd-client-op-priority 3" //等recovery完成， ceph tell osd.* injectargs "--osd-recovery-op-priority 3" ceph tell osd.* injectargs "--osd-client-op-priority 63" //永久性修改优先级 /etc/ceph/ceph.conf

2022-05-18

5820

ceph设计原理与实现(纠删码、多副本)

1、生产环境很少使用备份数高于2的纠删码 2、创建和获取纠删码模板：ceph osd erasure-code-profile get my-ec-profile

2022-05-18

1K0

ceph设计原理与实现(CRUSH算法)

分布式编程算法

straw2在新osd加入时不会引起其他osd的迁移 4、CRUSH计算的输入为X, cluster map ,placement rule 5、cluster map: device 磁盘 /主机 bucket /数据中心 root

2022-05-18

4900

ceph 监控软件calamari部署

grunt 网站分布式 https

git clone https://github.com/ceph/calamari.git yum install gcc gcc-c++ postgresql-libs python-virtualenv rpm-build -y cd calamari && ./build-rpm.sh cd ../rpmbuild/SOURCES tar zxvf calamari-server_1.5.2.tar.gz cd calamari-server-1.5.2 make&&make install calamari-ctl initialize

2022-05-18

1.1K0

ceph rgw操作(civetweb/nginx)

单片机分布式 node.js http html

1、默认使用civetweb做web server 2、civetweb部署方式： //部署需要到存在ceph.bootstrap-rgw.keyring文件的目录里 cd /home/cephuser/cluster/ ceph-deploy rgw create ceph-admin //在主机名上创建默认的端口时7480，可以通过ceph.conf修改 [client] rgw frontends = civetweb port=666 修改完，重启:radosgw restart 检查服务是否启动：ps -ef|grep radosgw 3、ngixn方式 yum install -y radosgw nginx 新建用户和keying（在每台主机上建一个用户和key） ceph-authtool --create-keyring /etc/ceph/ceph.client.radosgw.keyring chmod +r /etc/ceph/ceph.client.radosgw.keyring ceph-authtool /etc/ceph/ceph.client.radosgw.keyring -n client.rgw.node1 --gen-key sudo ceph-authtool -n client.rgw.node1 --cap osd 'allow rwx' --cap mon 'allow rwx' /etc/ceph/ceph.client.radosgw.keyring sudo ceph -k /etc/ceph/ceph.client.admin.keyring auth add client.rgw.node1 -i /etc/ceph/ceph.client.radosgw.keyring ////配置ceph.conf，这个配置文件放到三台node中去 [client.rgw.node1] rgw frontends=fastcgi socket_port=9000 socket_host=0.0.0.0 host=ceph-node1 keyring=/etc/ceph/ceph.client.radosgw.keyring log file=/var/log/radosgw/client.radosgw.gateway.log rgw print continue=false rgw content length compat = true

2022-05-18

7580

Ceph分布式存储实战

分布式 grep node.js bash

2、块设备:LIBRBD 对象存储：LIBRGW CEPHFS：libcephfs

2022-05-18

1.1K0

ceph分布式存储学习指南 RGW部署

分布式对象存储

在生产环境巾，如果你在Ceph 对象存储上有大量的t作负载，则你应该使用专用的物理服务器来配置RADOS 网关，另外你可以考虑将所有的monitor 节点配置成RADOS 网关。下面将配置一个基本的RADOS 网关，以便将Ceph 存储集群当成对象存储使用。通常在一个基本的Ceph 集群中，忆气DOS 网关会配置在与MON 和O S D 不同的机器上。然而，如果硬件资源有限，你可以使用MON 机器来配置RGW 。

2022-05-14

5380

ceph分布式存储学习指南 cephFS部署

POSIX兼容的分布式文件系统。要实现ceph文件系统，至少要一个MDS。有两种方式：本地内核驱动程序挂载CephFS；使用Ceph FUSE 内核需要2.6.34以上

2022-05-14

2360

ceph分布式存储学习指南实战

node.js 分布式

1、安装完虚拟机后，更改名字，设置/etc/hosts文件 2、ceph-deploy工具部署

2022-05-14

6320

Etcd 介绍/安装

linux 分布式 go github http

1、etcd 是一个分布式键值对存储，设计用来可靠而快速的保存关键数据并提供访问。通过分布式锁，leader选举和写屏障(write barriers)来实现可靠的分布式协作。etcd集群是为高可用，持久性数据存储和检索而准备。etcd是go语言开发的。 Etcd是一个高可用的 Key/Value 存储系统，主要用于分享配置和服务发现。 ● 简单：支持 curl 方式的用户 RES API和客户端命令etcdctl ； ● 安全：可选 SSL 客户端证书认证； ● 快速：单实例可达每秒一千次写操作； ● 可靠：使用 Raft 实现分布式存储，高可用，强一致。

2019-10-29

1.2K0

Zookeeper 概述

zookeeper 分布式 apache hbase TDSQL MySQL 版

1：分布式协调服务，用于管理大型主机。 ZooKeeper是一种分布式协调服务，用于管理大型主机。在分布式环境中协调和管理服务是一个复杂的过程。ZooKeeper通过其简单的架构和API解决了这个问题。ZooKeeper允许开发人员专注于核心应用程序逻辑，而不必担心应用程序的分布式特性。 ZooKeeper框架最初是在“Yahoo!"上构建的，用于以简单而稳健的方式访问他们的应用程序。后来，Apache ZooKeeper成为Hadoop，HBase和其他分布式框架使用的有组织服务的标准。例如，Apache HBase使用ZooKeeper跟踪分布式数据的状态。

2019-10-25

3360

Kubernetes(9:数据)

云数据库 SQL Server 数据库 sql 容器分布式

emptyDir是Host上创建的临时目录，其优点是能够方便地为Pod中的容器提供共享存储，不需要额外的配置。它不具备持久性，如果Pod不存在了，emptyDir也就没有了。根据这个特性，emptyDir特别适合Pod中的容器需要临时共享存储空间的场景，比如前面的生产者消费者用例。

2019-09-24

3470

python celery定时任务(并行编程 33)

bash bash 指令分布式

import celery app = celery.Celery('cele', broker='redis://localhost:6379') @app.task def send(message): return message app.conf.beat_schedule = { 'send-every-10-seconds': { 'task': 'cele.send', 'schedule': 10.0, 'args': ('Hello World', ) }, }

2019-07-30

1.4K0

python celery配置(并行编程 32)

json 分布式 python 文件存储

app.conf.update( task_serializer='json', accept_content=['json'], result_serializer='json', timezone='Europe/Oslo', enable_utc=True, )

2019-07-30

1.4K0

python celery(并行编程 31)

分布式云数据库 Redis

broker = 'redis://127.0.0.1:6379/1' backend = 'redis://127.0.0.1:6379/2' app = Celery('my_tasks', broker=broker, backend=backend)

2019-07-30

6910

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态