最近需要寻找一种更友好的方式来存储我们的模型。我们曾经在使用 ormb 时遇见了问题，由于我们的模型有的非常大（数十 GB），在使用 ormb 时将会面临：
李昂，腾讯高级开发工程师，主要关注容器存储和镜像存储相关领域，目前主要负责腾讯容器镜像服务和镜像存储加速系统的研发和设计工作。 李志宇，腾讯云后台开发工程师。负责腾讯云 TKE 集群节点和运行时相关的工作，包括 containerd、docker 等容器运行时组件的定制开发和问题排查。 洪志国，腾讯云架构师，负责 TKE 产品容器运行时，K8s，容器网络，mesh 数据面等基础组件研发。 背景 在业务普遍已经完成容器化的大环境下，不同的业务场景对于容器启动需求也是不同的，在离线计算和一些需要快速增加计算资
HeatWave是一个分布式、可扩展、无共享、内存中、混合柱状的查询处理引擎，专为获得极致性能而设计。可以通过向MySQL数据库系统添加一个HeatWave集群来启用它。
在容器化方面，数据的持久化存储是个难题。临时容器是一个短暂的计算环境，其中代码不会永远存储。但是您仍然需要将数据存储在某个物理磁盘上！
在容器的生产实践中，偏小的容器镜像能够很快的部署启动。当应用的镜像达到几个GB以上的时候，在节点上下载镜像通常会消耗大量的时间。Dragonfly 通过引入 P2P 网络有效的提升了容器镜像大规模分发的效率。然而，用户还是必须等待镜像数据完整下载到本地，然后才能创建自己的容器。我们希望进一步缩减镜像下载的时间，让用户能够更快地部署容器应用。同时，如何更好的保护用户的数据，也是容器行业近年来的重要关注点。
importTable实用程序现在支持将导入的数据进行任意数据转换。可以在decodeColumns选项中指定任意SQL表达式，该选项由MySQL服务器针对每个加载的行进行转换。
才云开源的基于镜像仓库的机器学习模型分发组件 ormb（OCI-Based Registry for ML/DL Model Bundle）能帮助企业像管理容器镜像一样管理机器学习模型。它不仅提供版本化的模型管理能力，还可利用符合 OCI 标准的容器镜像仓库存储和分发机器学习模型。通过 Harbor 2.0，它可以实现在多个镜像仓库间的同步，满足更多企业级需求。
MySQL Shell 8.0.21中引入了一套新的逻辑转储实用程序。 util.dumpInstance（），util.dumpSchemas（）和 util.loadDump（）可以通过zstd或gzip压缩、快速并行创建和恢复MySQL数据库的逻辑转储，还可以选择将它们存储在OCI（Oracle 基础架构云）对象存储中。
Longhorn 设计有两层：数据平面(data plane)和控制平面(control plane)。Longhorn Engine 是存储控制器对应数据平面，Longhorn Manager 对应控制平面。
Model X 是一个简单、高性能、 跨平台和可扩展的用于存储机器学习场景下的模型仓储服务。它参考了 OCI、Git Lfs 和 对象存储的设计思想和在 Kubernetes 中运行算法服务的场景，为用户提供了一个便捷的、可版本化的模型管理解决方案。更多关于 ModelX 设计可参考文章《ModelX一款开源的机器学习模型管理仓库》 https://www.kubegems.io/blog/kubegems-modelx
对象存储以独立的对象的形式管理数据，而不是传统的文件层次结构或块存储的形式。每个对象包括数据、元数据和唯一标识符。元数据是描述数据的信息，比如创建日期、类型和其他相关信息。
Ceph 是一个去中心化的分布式存储系统， 提供较好的性能、可靠性和可扩展性。 Ceph 项目最早起源于Sage就读博士期间的工作（最早的成果于 2004 年发表），并随后贡献给开源社区， 遵循 LGPL 协议 （LESSER GENERAL PUBLIC LICENSE 的简写，中文译为 “ 较宽松公共许可证 ” ）。在经过了数年的发展之后，目前已得到众多云计算厂商（OpenStack 、 CloudStack 、 OpenNebula 、 Hadoop ）的支持并被广泛应用。
在本文中，我们设计了一个类似于 Amazon Simple Storage Service (S3) 的对象存储服务。S3 是 Amazon Web Services (AWS) 提供的一项服务， 它通过基于 RESTful API 的接口提供对象存储。根据亚马逊的报告，到 2021 年，有超过 100 万亿个对象存储在 S3 中。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-90ZtG0tw-1687771442157)(https://juicefs.com/docs/zh/assets/images/juicefs-arch-new-ab6339cb1408945cc9b70dc091c523c5.png)]
学习本文需要一些MinIO的基础知识，还不了解的小伙伴可以参考下：Github标星19K+Star，10分钟自建对象存储服务！
Ignite是一个启动firecracker vm的引擎，它使用容器的方式承载了firecracker vm。目前项目处于停滞阶段，也比较可惜，通过阅读了解ignite的工作方式，学习到了很多，希望能借此维护该项目。
对于文件系统而言，其读写的效率对整体的系统性能有决定性的影响，本文我们将通过介绍 JuiceFS 的读写请求处理流程，让大家对 JuiceFS 的特性有更进一步的了解。
在今年的Oracle Cloud World，Oracle宣布将发布一款数据库湖仓产品——MySQL HeatWave Lakehouse用以解决存储在数据库之外的文件数据等非结构化数据的查询和处理。
https://blog.csdn.net/enweitech/article/details/51445087
Podman是一个基于libpod库开发的容器运行时，用于在Linux操作系统上管理和运行容器。与传统的Docker容器运行时不同，Podman无需依赖Docker守护进程，它可以在不同的Linux发行版中独立运行。
在云计算日益普及的今天，如何有效、经济且无缝地在各种云平台上运行大语言模型（LLMs）、AI 和批处理作业成为了迫切的需求。SkyPilot 项目应运而生，旨在解决这一核心问题。它不仅抽象并简化了云基础设施操作，为用户提供了在任何云平台上轻松部署和扩展作业的能力，还通过自动获取多个云平台 GPU 的实时价格并进行实时比价，帮助用户选择最优的云平台来运行自己的 Job。这样做极大地降低了成本，提供了高度的 GPU 可用性，让云基础设施管理变得轻而易举。这样做极大的满足了市场对高效、低成本云资源利用的需求。通过 SkyPilot，企业和开发者能够最大化地利用 GPU，进一步推动了人工智能和大数据处理技术的发展，为云计算市场带来了新的可能。
MinIO 是一款高性能、分布式的对象存储系统. 它是一款软件产品, 可以100%的运行在标准硬件。即X86等低成本机器也能够很好的运行MinIO。
由于我的服务器大多都是轻量应用服务器，近期轻量云也推出了个轻量对象存储，套餐包的形式相比cos资源包还是挺划算，最主要的是没有读写请求计费，一个套餐包涵盖所有内容。
数据库通常会在您的基础架构中存储一些最有价值的信息。因此，在发生事故或硬件故障时，必须具有可靠的备份以防止数据丢失。
原因：2017年5月4日 星期四 理解Ceph。 说明：阅读书籍。 官方文档：http://docs.ceph.com/docs/master/rbd/rbd-openstack/ 块存储、文件储存、对象存储：http://limu713.blog.163.com/blog/static/15086904201222024847744/ 可靠性、低成本、可扩展 SDS(软件定义存储-softwate defined storage) SDS可以降低存储基础设施的TCO（Total Cost of O
http://www.cnblogs.com/sekai/articles/5493234.html
MinIO 是一款基于Go语言的高性能对象存储服务，在Github上已有28K+Star。它采用了Apache License v2.0开源协议，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等。
JuiceFS 是一款面向云原生设计的高性能共享文件系统，在 Apache 2.0 开源协议下发布。提供完备的 POSIX 兼容性，可将几乎所有对象存储接入本地作为海量本地磁盘使用，亦可同时在跨平台、跨地区的不同主机上挂载读写。
作者简介 妙成，携程云原生研发工程师，主要从事Elasticsearch、JuiceFS的研发运维，关注分布式数据库、NoSQL。 小峰， 携程云原生研发工程师，主要专注于数据库容器化领域，对分布式存储有浓厚兴趣。 一、摘要 携程的冷数据规模在 10PB+，包括备份数据、图片语音训练数据和日志数据等，存储方案主要是本地磁盘和GlusterFS。在实际使用中这些方案遇到了不少痛点： GlusterFS 在单目录下文件众多时，ls命令速度很慢； 受疫情期间机器采购周期的制约，无法灵活地根据实际需求弹性扩缩容
本文主要讲解企业级OSS对象存储服务Spring Boot Starter制作，开箱即用，为项目进行赋能。基于AmazonS3协议，适配市面上的对象存储服务如：阿里云OSS、腾讯COS、七牛云OSS、MInio等等 什么是OSS? OSS（Object Storage Service），对象存储服务，对象存储服务是一种使用HTTP API存储和检索对象的工具。就是将系统所要用的文件上传到云硬盘上，该云硬盘提供了文件下载、上传、预览等一系列服务，具备版本，权限控制能力，具备数据生命周期管理能力这样的服务以及技术可以统称为OSS OSS在项目中的使用 OSS对象存储在目前大部分项目中必不可少的存在，如下图所示。
上期文章，小枣君给大家详细介绍了数据存储技术的基本知识，其中重点对DAS、SAN和NAS技术进行了对比分析。
作者：龙逸尘，腾讯 CSIG 高级工程师 腾讯云原生实时数仓建设实践 实时数仓面临的挑战 实时数仓被广泛应用于腾讯各大业务，涉及的平台众多，从统计信息中可以看出，集群规模庞大，数据量极大。 复杂的使用场景和超大的数据量，导致我们在实时数仓的建设与使用过程中遇到许多挑战。 时效性 数仓使用者对时效性有非常强烈的诉求：希望查询响应更快，看板更新更及时，指标开发更快完成。因为时效性越高，数据价值也就越高。如何保障数仓的时效性是首要难题。 架构复杂度 如何在保障时效性的同时，降低架构复杂度以减少开发和维护成本，
对象存储不是什么新技术了，但是从来都没有被替代掉。为什么？在这个大数据发展迅速地时代，数据已经不单单是简单的文本数据了，每天有大量的图片，视频数据产生，在短视频火爆的今天，这个数量还在增加。有数据表明，当今世界产生的数据，有80%是非关系型的。那么，对于图片，视频等数据的分析可以说是大数据与人工智能的未来发展方向之一。
Apache Ozone 是一种分布式、可扩展和高性能的对象存储，可与Cloudera 数据平台(CDP) 一起使用，可以扩展到数十亿个不同大小的对象。它被设计为原生的对象存储，可提供极高的规模、性能和可靠性，以使用 S3 API 或传统的 Hadoop API 处理多个分析工作负载。
在了解什么是分布式存储之前，我们先来简单了解一下存储几十年来的大概历程。
Ceph是一款以对象存储技术（独立存储技术）为核心，并在此基础之上实现块存储、文件系统的一体化存储系统。
Ceph最早起源于Sage就读博士期间的工作、成果于2004年发表，并随后贡献给开源社区。经过多年的发展之后，已得到众多云计算和存储厂商的支持，成为应用最广泛的开源分布式存储平台。
MySQL Shell 8.0.21 包含了一些令人兴奋的新实用程序，它们可以创建逻辑转储并进行逻辑还原，重点是易用性，性能和集成。在MySQL Shell 8.0.17中，我们已经引入了多线程CSV导入实用程序 util.importTable()，我们在此基础上进行了构建，以使其易于转储和加载整个数据库实例或一组模式。
为了解决Prometheus缺少多集群监控的全局视图，以及对历史数据的存储问题，Improbable开源了他们的Prometheus高可用解决方法Thanos，Thanos与Prometheus无缝集成，并为Prometheus带来了全局视图和不受限制的历史数据存储能力。
ClickHouse是一个用于联机分析（OLAP）的列式数据库管理系统（DBMS），支持PB级数据量的交互式分析，ClickHouse最初是为YandexMetrica 世界第二大Web分析平台而开发的。多年来一直作为该系统的核心组件被该系统持续使用着。目前为止，该系统在ClickHouse中有超过13万亿条记录，并且每天超过200多亿个事件被处理。它允许直接从原始数据中动态查询并生成报告。自2016 年开源以来，ClickHouse 凭借其数倍于业界顶尖分析型数据库的极致性能，成为交互式分析领域的后起之秀，发展速度非常快。
Google Colaboratory（Colab）是一个由 Google 提供的云端 Jupyter 编程笔记本，直接通过浏览器即可进行 Python 编程。Colab 充分利用谷歌的闲置云计算资源，为公众提供免费的的在线编程服务，以及免费的 GPU 资源，虽然在使用方面有一定的规则限制，但对于一般的研究和学习来说绰绰有余。
什么是OTL:OTL 是 Oracle, Odbc and DB2-CLI TemplateLibrary 的缩写，是一个操控关系数据库的C++模板库，它目前几乎支持所有的当前各种主流数据库，如下表所示： 数据库 访问接口 支持版本 Oracle OCI OCI7、OCI8、OCI8i、OCI9i、OCI10g DB2 CLI DB2 CLI MS SQL Server 、Sybase、Informix 、MySQL、 I
MinIO 是一款基于Go语言的高性能对象存储服务，在Github上已有19K+Star。它采用了Apache License v2.0开源协议，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等。本文将使用 MinIO 来自建一个对象存储服务用于存储图片。
在工作中我们或多或少都会接触到对象存储，但是这些对象存储大部分都是云服务，对外的项目还可以使用，但是遇到一些需要私有化部署的，我们还想继续使用对象存储怎么办呢？
Oracle Cloud Infrastructure Network Firewall 是下一代托管网络防火墙，入侵检测和预防服务（IDPS）适用于由Palo Alto Networks提供支持的Oracle Cloud Infrastructure (OCI) 虚拟云网络 (VCN)。 如果你一直使用PaloAlto 防火墙，并计划迁移到 Oracle Cloud Infrastructure (OCI) 网络防火墙，那么就需要将现有的防火墙规则转换为 OCI Network Firewall 策略。
网上有很多教程，写的都是从零搭建一个什么什么，基本上都是从无到有的教程，但是，很少有文章提及搭建好之后如何备份，我觉得备份才是一个系统生命周期内永恒的主题，是一个值得花时间严肃对待的问题。
与集中式存储相反，分布式存储通常采用存储单元集群的形式，并具有在集群节点之间进行数据同步和协调的机制。分布式存储最初是由Google提出的，其目的是通过廉价服务器解决大规模，高并发情况下的Web访问问题。
企业数据越存越多，存储容量与查询性能、以及存储成本之间的矛盾对于技术团队来说是个普遍难题。这个难题在 Elasticsearch 与 ClickHouse 这两个场景中尤为突出，为了应对不同热度数据对查询性能的要求，这两个组件在架构设计上就有一些将数据进行分层的策略。
开源工具 Velero（旧版本名称为 Heptio Ark）可以安全地备份和还原、执行灾难恢复以及迁移 Kubernetes 集群资源和持久卷。在容器服务 TKE 集群或自建 Kubenetes 集群中部署 Velero 可以实现以下功能：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
