Sheepdog是为kvm虚拟化量身定做的分布式文件系统,针对kvm系统做了深入的优化,是kvm虚拟化分布式文件系统的终极解决方案,目前版本0.4,如果要在生产环境中使用,还有很多工作要做,需要等待更成熟的版本发布。
牧羊犬(Sheepdog) 是由NTT的3名日本研究员开发的开源项目,提供分布式存储管理功能。牧羊犬提供高可用性的KVM提供块级存储卷类似亚马逊电子交易系统(弹性块存储虚拟机)的客户机。目前国内阿里等一些大公司在使用。
我们的目的就是希望找到一种最佳性价比的方案能够解决我们的问题,并且能够很好的控制,
http://blog.csdn.net/igorzhang/article/details/14229261
随着项项目的增多,对测试环境的需求越来越大,今天研发要几台测试环境,明天测试也要几台测试环境,连产品都要测试环境了,咱们运维也得有自己的测试环境,之前搭建的exsi已经满足不了需求了。
Glance(OpenStack Image Service)是为虚拟机提供发现,注册,和下载镜像的服务。Glance 提供了虚拟机镜像的集中存储。通过 Glance 的 RESTful API,可以查询镜像元数据、下载镜像。虚拟机的镜像可以很方便的存储在各种地方,从简单的文件系统到对象存储系统(比如 OpenStack Swift)。
Openstack不管是Ephemeral Storage还是Block Storage, 其实从接口上看,其实都是块服务。那么为什么要搞两个不同的类型呢,本文从这两种不同类型块存储的实现上来分析下其中的原因。
4月23日,以“软件定义存储未来”为题的首届软件定义存储峰会在深圳正式召开,会上,中国开源云联盟秘书长、Ceph中国社区联合创始人、腾讯云TVP耿航作为大会首位演讲嘉宾发表了《中国开源软件的发展趋势》主题演讲。
一、它是什么,能干什么 想认识一个事物,必须先弄明白它是什么,能干什么。 首先说一下,openstack是一个搭建云平台的一个解决方案,说他不是个软件,但是我觉得说是一个软件,能够让初学者更容易接受和理解,在后期的慢慢接触过程中,大家就能够理解,为什么说它不是一个软件。openstack能干什么,可以搭建公有云,私有云,企业云。(顺便说一下,企业云将是openstack的用武之地) 二、openstack组成 上面是一个整体的认识,想进一步了解openstack,就必须了解它的组成。其实这有点像研究生物。一般生物都有眼睛,鼻子,嘴等。那么openstack,都有什么。openstack更像是经过计算机的72变之后的产物。包括:7个核心组件:Compute(计算), Object Storage(对象存储),Identity(身份认证),Dashboard(仪表盘), Block Storage(块存储), Network(网络) 和 Image Service(镜像服务) 。 上面从计算机的角度做一个比喻,有不恰当的地方,大家多指正。Compute类似计算的内存;Object Storage类似存储器;Identity就像登陆过程中,验证用户名和密码;Dashboard就操作界面;Network这个大家很容易就明白。 三、openstack组件代号 上面各个组件有名字,其实熟悉openstack的都会说他们的代号。也就是专业术语。Compute(代号为“Nova”) Identity(代号为“Keystone”) Dashboard(代号为“Horizon”) Image Service(代号为“Glance”) Network(代号为“Quantum”) Object Storage(代号为“Swift”) Block Storage(代号为“Cinder”) 四、openstack组件详细介绍 上面了解了,就差不多有点熟悉openstack了。想进一步认识,必须不能着急。下面进一步详细介绍各个组件的作用: (1)Nova 这个是最核心的,Nova最开始的时候,可以说是一套虚拟化管理程序,还可以管理网络和存储。 (2)keystone 这是提供身份认证和授权的组件。任何系统,身份认证和授权,其实都比较复杂。尤其Openstack 那么庞大的项目,每个组件都需要使用统一认证和授权。 目前keystone 要做的东西其实还是很多。没法基于角色的授权,web管理用户等。 (3)Dashboard (代号为“Horizon”) 为所有OpenStack的服务提供了一个模块化的web-based用户界面。使用这个Web GUI,可以在云上完成大多数的操作,如启动实例,分配IP地址,设置访问控制等。 (4)Glance 这是镜像管理。 目前Glance的镜像存储,支持本地存储,NFS,swift,sheepdog和Ceph,基本是够用了。 目前Glance的最大需求就是多个数据中心的镜像管理,如何复制,不过这个功能已经基本实现。还有就是租户私有的image管理,这些目前功能都已经实现。 个人感觉:Glance后续基本就是一个bug修复,稳定的阶段。 (5)Quantum 这是网络管理的组件,也是重头戏,Openstack的未来,基本都要靠quantum。上面介绍nova的时候,说过网络相关的内容,都会交给Quantum。不过Quantum的开发进度不是太如人意。Flosom规划实现功能,到Grizzly才实现。未来nova network的代码清理,估计到H版本都不见得可以实现。 Quantum 后端可以是商业产品或者开源。开源产品支持Openvswitch,和linux bridge。网络设备厂商都在积极参与,让他们的产品支持Quantum。 (6)Swift 这是对象存储的组件。对于大部分用户来说,swift不是必须的。你只有存储数量到一定级别,而且是非结构化数据才有这样的需求。很多人都问一个相同的问题:是否可以把虚拟机的存储放在swift上。简单回答:不行。你需要搞明白对象存储是干啥,擅长那些地方,那些是不行的。 swift是Openstack所有组件了最成熟的,可以在线升级版本,各种版本可以混合在一起,也就是说,1.75版本的swift可以和1.48的在一个群集里.这个是很难得的. (7)Cinder 这是存储管理的组件。Cinder存储管理主要是指虚拟机的存储管理。
本文已被USENIX'17年度技术大会录用,此处为中文简译版。 阅读英文论文完整版请点击:Speculative Partial Writes in Erasure-Coded Systems 。 前言 多副本和纠删码(EC,Erasure Code)是存储系统中常见的两种数据可靠性方法。与多副本冗余不同,EC将m个原始数据块编码生成k个检验块,形成一个EC组,之后系统可最多容忍任意k个原始数据块或校验块损坏,都不会产生数据丢失。纠删码可将数据存储的冗余度降低50%以上,大大降低了存储成本,在许多大规模分
分布式存储是近几年的热门话题之一,它和传统SAN/NAS存储的区别是,分布式存储使用标准硬件(比如x86服务器和10GbE网络),而传统SAN/NAS存储使用的是专有硬件。使用标准硬件的好处是通用,不会受限于产商,而且成本上也更便宜,还可以做到按需扩容。
以下文章转载于SmartX知乎博客,不同与国内的很多公司,SmartX完全自主开发了分布式块存储-ZBS,整个系统从架构到实现充分考虑了超融合系统的特点,以下内容进行了充分阐述。
Linux下的man命令十分实用,可以查看Linux命令的手册。但这些手册只适用于忘记命令的选项时查询之用,如果用来学习Linux下类似于Git, RPM这样庞大的工具就有点吃力了,可谓事倍功半。我在学习Git的时候读过一篇文档——gittutorial,使用: $man gittutorial 命令可以调出该文档。这篇文档并不涵盖git的方方面面,只是介绍了Git管理项目的常规用法,非常适合初学者快速入门。所以本文试图仿照该文档的写法,并不会详细地介绍RPM包的方方面面,而是介绍RPM包最常用的一
存储产业正在发生颠覆性的变化,主要有两大推手:一个是新一代存储介质SSD;另一个是分布式存储的演进,以SDS(软件定义存储)为代表。
libguestfs是一组使用于硬件虚拟化中旨在用于访问及修改磁盘映像的C语言库和配套工具。此工具可查看并编辑由libvirt所管理的虚拟机及其内部文件、为虚拟机撰写脚本、创建虚拟机等。
如今,互联网企业依靠技术优势,深刻影响和改变着人们的生活和工作,其中,开源技术孕育了互联网企业发展。在云计算、大数据、AI、IoT的背后,是OpenStack、容器、Hadoop等开源技术的支撑,在开源技术支撑下,互联网企业如鱼得水。
Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。ceph 的统一体现在可以提供文件系统、块存储和对象存储,分布式体现在可以动态扩展。在国内一些公司的云环境中,通常会采用 ceph 作为openstack 的唯一后端存储来提高数据转发效率。
再Openstack中,Glance主要提供镜像服务,虚拟机的创建需要Glance的支持。Glance有Glance-api和Glance-Registry两个重要服务,其中Glance-api主要接受云系统镜像的构建、删除和读取请求,Glance-Registry主要进行云镜像系统的注册服务。
一台虚拟机的核心就是一个磁盘镜像,这个镜像可以理解成虚拟机的磁盘,里面有虚拟机的操作系统和驱动等重要文件,qemu-img就是quemu创建管理磁盘镜像的工具。
从用户角度看,存储就是一块盘或者一个目录,用户不关心盘或者目录如何实现,用户要求非常“简单”,就是稳定,性能好。为了能够提供稳定可靠的存储产品,各个厂家推出了各种各样的存储技术和概念。为了能够让大家有一个整体认识,本文先介绍存储中的这些概念。
半年前,我写了一篇《三万言| 2021 年 Rust 行业调研报告》[1] ,内容主要围绕 Rust 语言介绍 和 行业领域开源应用盘点 两大部分内容。时隔半年,我觉得有必要再写一篇年终的 Rust 生态调研报告。因为我想给大家提供一个比较全面的视角,通过挖掘互联网上的各种散落且隐藏的信息,最终绘制出一张 Rust 的“生态地图”,让大家尽量客观公正地去认识 Rust 语言。
https://blog.csdn.net/enweitech/article/details/51445087
分布式系统(Distributed System)资料 希望转载的朋友,你可以不用联系我.但是一定要保留原文链接,因为这个项目还在继续也在不定期更新.希望看到文章的朋友能够学到更多. 《Reconfigurable Distributed Storage for Dynamic Networks》 介绍:这是一篇介绍在动态网络里面实现分布式系统重构的paper.论文的作者(导师)是MIT读博的时候是做分布式系统的研究的,现在在NUS带学生,不仅仅是分布式系统,还有无线网络.如果感兴趣可以去他的主页了解. 《
Openstack平台搭建之第二天 If you have any question ,please contact me by weichuangxxb@sina.cn or 371990778(qq). 环境准备: RHEL6.5 内存4G 硬盘70G yum源的制定(分别制定三个yum源,其中前面三个是自己本地定制的yum源) baseurl=ftp://instructor.example.com/pub/rhel6.5/Server baseurl=ftp://instructor.exampl
有时候需要测试特定版本的libvirt或者需要测试自己修改过的libvirt。这时候就需要重新编译libvirt,并做成yum源
其中,KVM 全称是 基于内核的虚拟机(Kernel-based Virtual Machine),它是一个 Linux 的一个内核模块,该内核模块使得 Linux 变成了一个 Hypervisor:
TensorFlow 模型在开发环境中经过训练和验证。一旦发布,它们需要托管在某个地方,提供用工程师和软件工程师使用,以集成到各种应用中。 TensorFlow 为此提供了一个高表现服务器,称为 TensorFlow 服务。
领取专属 10元无门槛券
手把手带您无忧上云