焱融科技-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

焱融科技

专栏成员

34

文章

54636

阅读量

14

订阅数

干货 | 如何评估Kubernetes持久化存储方案

对象存储文件存储分布式容器 kubernetes

从用户角度看，存储就是一块盘或者一个目录，用户不关心盘或者目录如何实现，用户要求非常“简单”，就是稳定，性能好。为了能够提供稳定可靠的存储产品，各个厂家推出了各种各样的存储技术和概念。为了能够让大家有一个整体认识，本文先介绍存储中的这些概念。

2020-02-26

3.2K0

置顶

有状态容器应用，从入门到实践

文件存储存储容器 kubernetes 分布式

什么是无状态或有状态容器呢？所谓无状态容器应用，意味着容器上应用所使用的历史数据或运行状态不需要进行持久化，重新拉起这个应用时，无需关注这些历史输入。简单来说，例如你要运行一个计算器（而且这个计算器不需要支持历史记录功能），当你重新拉起这个计算器时，之前的数据不需要重新被加载上来，计算器可以认为是一个无状态应用。其它类似的无状态容器应用还包括一些协议转换、请求转发等应用，大体都可以认为是无状态的。

2021-03-15

8710

关于MPI-IO，你该知道的

文件存储存储高性能计算分布式混合云存储

在高性能计算中，经常会用到MPI或者MPI-IO，那MPI和MPI-IO到底是什么呢？

2021-03-08

2K0

CIO/CTO 必读 | 数字转型时代，企业存储支出知多少

存储文件存储对象存储混合云存储

企业的CIO、CTO们除了关注业务支撑、技术演进之外，还有关心一个永恒的话题：IT成本优化和投入产出比。关于这个话题，我们最近在Gartner上读到一篇很有意思的报告，迫不及待分享给大家《IT Key Metrics Data 2021 Infrastructure Measures — Storage Analysis》。

2021-02-25

3850

解读｜2020年CNCF云原生调研报告

kubernetes 容器文件存储混合云存储存储

随着2013年3月Docker 0.1版本发布以及2015年Kubernetes容器编排框架的开源，容器技术发展走上了快车道。容器架构的敏捷、轻简和高度兼容性使得容器成为云原生生态中最基础的一环，在DevOps、微服务应用的推进中，容器和编排框架都扮演至关重要的角色。目前容器技术的发展已经到了第三个阶段：第一阶段2014-2016年的技术探索期；第二阶段2017-2018年的行业试水期；第三阶段2019年以后的规模应用期。

2021-02-02

8460

一名分布式存储工程师的技能树是怎样的？

文件存储存储混合云存储分布式 TDSQL MySQL 版

很多刚刚进入存储行业或者想要转行到分布式存储行业的工程师，经常有困惑，就是“一名分布式存储工程师的技能树是怎样的？”

2021-01-07

1.2K1

如何提升存储性能之IO模型和AIO大揭秘

文件存储存储高性能计算数据处理混合云存储

如何提升存储系统的性能是一个对存储工程师们来说是永恒的大命题，解决这个问题并没有一击即中的银弹，IO性能的优化都在细节里。今天我们来讲一讲性能和IO模型之间的关系。

2020-11-13

1.7K0

如果说数据是推动自动驾驶的原动力，那么存储扮演什么角色？

自动驾驶数据挖掘文件存储存储混合云存储

近年来，互联网、IT技术正在带动整个汽车产业迎来深刻变革。在此之前，信息技术帮助汽车行业完成了设计、供应链、营销等体系的数字化和互联网化。在传统汽车厂商进行数字化转型的同时，新能源汽车、车联网、自动驾驶等新技术兴起，特斯拉、蔚来、理想、小鹏等新厂商涌入汽车制造行业，汽车行业竞争愈发激烈，十年内实现全自动或“无人驾驶”汽车，成为了传统汽车制造商、新兴汽车制造商、专业自动驾驶解决方案供应商共同争夺的新的技术制高点。

2020-11-06

6890

EDA最强攻略，如何为EDA选择存储？

存储文件存储混合云存储高性能计算

当今数字芯片技术飞速发展，数字半导体芯片已经渗透到社会生活的各个领域，从消费电子产品、工业自动化设备到航天技术都能看到半导体芯片技术的身影。国家在芯片技术上的投入和重视程度也提升到战略层面，芯片设计制造正在成为新一代的国之重器。

2020-10-30

1.3K0

「深度解析」告诉你如何选择容器存储

文件存储存储容器 kubernetes 容器服务

随着容器技术在生产环境中越来越多被使用，实际用户应用正在从无状态应用程序扩展到需要持久化存储支持的有状态应用程序。IT技术专业人员需要知道如何选择适合在容器中运行有状态应用程序的存储。我们深度解读Gartner报告，就存储类型及应用类型两个维度来帮技术专业人员分析容器存储的选择。

2020-10-26

1.2K0

分布式QoS算法解析

分布式文件存储混合云存储存储存储网关

QoS对于服务多租户多业务的整体系统来说，不管对网络还是存储，都格外重要，没有QoS，会造成不同租户及业务之间对资源的抢占，用户A用爽了，用户B却遭了殃，频频投诉，这是系统管理员最头疼的事情。我们今天就来讨论一下分布式存储系统中的QoS算法。进入正题之前，我们先来了解背景知识，即什么是QoS，分布式QoS又是什么，有哪些常见的QoS算法。最后我们再来讨论本文正题：mClock算法和dmClock算法。

2020-09-03

2.3K0

存储性能加速引擎之预读

文件存储存储腾讯云 tce 解决方案数据库对象存储

顺序预读（prefetch，在Linux中也称为预读，read ahead）是一种用于提升顺序读性能的技术，用于缩小存储设备和应用程序之间巨大的效率差距。Linux内核在通用预读框架中执行顺序文件预读，它主动拦截VFS层中的文件读取请求，并将顺序的请求转换为异步预读请求，为即将到来的请求引入数据块，并在大块中进行。

2020-07-20

2.4K0

当容器遇见存储

容器 kubernetes 文件存储存储容器镜像服务

IT领域，变革的速度令人瞠舌。快速增长的数据，云计算规模的处理正推动企业向着更高效、更可靠和可扩展的方向前行。传统的应用架构已日趋极限，所幸的是，最被看好的容器化技术正成为应对上述难题的妙药良方。

2020-07-17

5710

「首度揭秘」大规模HPC生产环境 IO 特征

高性能计算大数据存储文件存储

在王坚博士的《在线》一书中提到，单纯谈数据的“大”，意义是不大的。欧洲核子研究中心（CERN）进行一次原子对撞产生的数据大到惊人，而如何通过计算的方式去挖掘出这些数据背后的价值，才是数据意义的本身。HPC高性能计算，就是完成这种价值转换的重要手段。近年来，HPC的应用范围已经从纯学术扩展到资源勘探、气象预测、流体力学分析、计算机辅助设计等更多场景。这些HPC应用程序会产生或依赖大量数据，并将其存储在PB级别的共享的高性能文件系统中。然而，无论是HPC应用的用户，还是高性能文件系统的开发人员，对这些文件的访问模式了解都非常有限。

2020-05-22

1.2K0

你了解自己的业务IO么？

腾讯云 tce 解决方案文件存储日志数据数据库

我们为什么要关注业务的IO行为，或者IO访问模型呢？原因很简单，任何系统都要关注自己服务的对象，存储系统服务的对象就是上层应用，所以存储的研发离不开对业务行为的分析和研究。存储系统的整体设计和架构，是多种因素综合权衡的结果。在存储系统性能达到极限的时候，无论是存储的开发者还是使用者，都想知道IO的具体表现行为，开发者是为了能够找到瓶颈点，更好地优化存储系统，使用者是为了能够更优地使用存储系统，让业务稳定运行。

2020-04-17

7190

NVMe over TCP高性能文件存储，让未来照进现实

高性能计算文件存储存储

在说NVMe之前，我们觉得有必要先聊一聊NVM（Non-Volatile Memory），即非易失性内存。从名字上看就知道，NVM是一种类内存式（访问及寻址方式类似）的设备，它必须具备高速读写数据的能力，但它和普通内存的区别在于Non-Volatile，即在关机后再打开电源也可以检索里边所存储的数据。这种非易失性内存NVM设备有很多种实现，我们常用于服务器的大容量NVM是一种闪存，即Flash Memory。闪存是一种固态芯片，主流的闪存设备使用NAND技术来映射数据，这种芯片无需任何外部电源即可维护存储的数据，它的读写速度比内存稍低，但无需借助机械方式进行寻址，因此读写性能远高于机械磁盘，容量也比内存要大，单GB成本近年来快速下降，大有成为服务器上高速存储介质主流设备的趋势。

2020-04-11

2K0

AI 场景的存储优化之路

存储文件存储 node.js unix 分布式

人工智能是数据的消耗大户，对存储有针对性的需求。这次我们讲讲面向AI场景的存储性能优化思路。

2020-02-27

1.6K0

如何实现支持百亿级文件的分布式文件存储

分布式 node.js 文件存储大数据存储

文件系统是最常用的数据存储形式，所以，常用Linux操作系统的用户必然知道ext4、xfs等单机文件系统，用Windows操作系统的用户也都知道NTFS单机文件系统。各种业务场景下，不同的数据都存储于文件系统之上，大量业务逻辑就是基于文件系统而设计和开发的。提供最常用的存储访问方式，这是我们做文件系统的出发点之一。

2020-02-26

1.7K0

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态