原作者：Bane Radulovic 译者： 赵恩东 审核： 魏兴华 DBGeeK社群联合出品 kfed - ASM metadata editor kfed是一个没有官方文档记录的ASM工具，它可以用来读取和修改ASM的元数据块。它本身是一个独立的工具，独立于ASM实例，因此不管实例是否启动，ASM磁盘组是否mount ，它都可以正常使用。kfed最为强大的地方在于它可以修复ASM损坏的元数据。 kfed的二进制文件在最近的ASM版本中直接可用，如果你没有在$ORACLE_HOME/bin看到
作者 | 胡梦宇 审校 | 蔡芳芳 1 背景 随着云原生技术的飞速发展，各大公有云厂商提供的云服务也变得越来越标准、可靠和易用。凭借着云原生技术，用户不仅可以在不同的云上低成本部署自己的业务，而且还可以享受到每一个云厂商在特定技术领域上的优势服务，因此多云架构备受青睐。 知乎目前采用了多云架构，主要是基于以下考虑： 服务多活： 将同一个服务部署到不同的数据中心，防止单一数据中心因不可抗力不能正常提供服务，导致业务被“一锅端”； 容量扩展： 一般而言，在公司的服务器规模达到万台时，单一数据中心就很难
作者简介 姜宇祥，2012年加入携程，10年数据库核心代码开发经验，相关开发涉及达梦，MySQL数据库。现致力于携程MySQL的底层研发，为特殊问题定位和处理提供技术支持。 锁是计算机程序运行时协调并发访问同一数据资源的机制。对于数据库系统来说，数据是一种供许多用户共享的资源，那么如何保证数据并发访问的一致性、有效性是必须解决的一个问题。所以，锁对于数据库来说，是非常重要的一个功能。通过各种锁，实现了数据库事务中的隔离性。本篇文章将从源码层面介绍MySQL的元数据锁和InnoDB的实现。 一、MySQL的架
HDFS的读取数据过程 初始化FileSystem，然后客户端(client)用FileSystem的open()函数打开文件 FileSystem用RPC调用元数据节点，得到文件的数据块信息，对于每一个数据块，元数据节点返回保存数据块的数据节点的地址。 FileSystem返回FSDataInputStream给客户端，用来读取数据，客户端调用stream的read()函数开始读取数据。 DFSInputStream连接保存此文件第一个数据块的最近的数据节点，data从数据节点读到客户端(client
Blobstore是位于SPDK bdev之上的Blob管理层，用于与用户态文件系统Blobstore Filesystem （BlobFS）集成，从而代替传统的文件系统，支持更上层的服务，如数据库MySQL、K-V存储引擎Rocksdb以及分布式存储系统Ceph、Cassandra等。以Rocksdb为例，通过BlobFS作为Rocksdb的存储后端的优势在于，I/O经由BlobFS与Blobstore下发到bdev，随后由SPDK用户态driver写入磁盘。整个I/O流从发起到落盘均在用户态操作，完全bypass内核。此外，可以充分利用SPDK所提供的异步、无锁化、Zero Copy、轮询等机制，大幅度减少额外的系统开销。它们之间的关系如下所示(以NVMe bdev为例):
最近在了解 Presto 和 Trino 对于 Deltalake Connector 的相关实现原理，这里了解完刚好用一篇文章总结下，一是可以帮助自己未来的回顾，二是也希望能够帮助大家，下面都是个人理解，若理解有误，欢迎指出，共勉。
上图展示了大部分用户使用Hudi的场景。通常用Flink或者Spark或者Hudi内置工具DeltaStreamer读取数据源，写入原始表。这些表可以被不同的查询引擎读取，做常规的数据湖分析，或者做批处理。同时用Hudi提供的库可以搭建增量ETL管道，写入衍生表中。Hudi促进形成了一套生态系统，包含众多管理数据的功能，可以有效地分离高度优化的数据层和其上面搭建的查询层。
Broker需要和NameServer及Client通信，包括Broker之间也需要通信（主从结构），所以Broker会有一个模块（Net&PacketHandler）用于所有网络包的处理。
从全球知名咨询公司麦肯锡宣称“大数据”时代的到来，时至今日，数据量已经几何倍数的翻增，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。 大数据的第一个特征是数据量大，大数据的起始计量单位至少是P、E甚至ZB级别；第二个特征是数据类型繁多，包括网络日志、音频、视频、图片、地理位置信息等等。同时，海量多类型的数据对数据的处理能力提出了更高的要求，不仅要提供海量的数据存储空间，又要满足多种类文件的高效存储。 目前，解决这种需求最常用的方式就是采用分布式存储系统。 分布式存储存放的数据
与许多其他事务数据系统一样，索引一直是 Apache Hudi 不可或缺的一部分，并且与普通表格式抽象不同。在这篇博客中，我们讨论了我们如何重新构想索引并在 Apache Hudi 0.11.0 版本中构建新的多模式索引，这是用于 Lakehouse 架构的首创高性能索引子系统，以优化查询和写入事务，尤其是对于大宽表而言。
HDFS（Hadoop Distributed File System）是Hadoop分布式计算中的数据存储系统，是基于流数据模式访问和处理超大文件的需求而开发的。下面我们首先介绍HDFS中的一些基础概念，然后介绍HDFS中读写操作的过程，最后分析了HDFS的优缺点。
最近研究文件系统，把近期比较火的JuiceFS代码翻出来看了一下，研究为啥其性能要比CephFS要好。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-90ZtG0tw-1687771442157)(https://juicefs.com/docs/zh/assets/images/juicefs-arch-new-ab6339cb1408945cc9b70dc091c523c5.png)]
在数据库管理中，元数据（metadata）的保护至关重要，而MySQL中的"元数据锁"（MDL锁）就是它的守护者。
腾讯开源的 hel，提供了一种运行时引入远程模块的能力，模块部署在 CDN，远程模块发布后，不需要重新构建发布，就能生效。
如同ProtocolBuffer，Avro，Thrift一样，Parquet也是支持元数据合并的。用户可以在一开始就定义一个简单的元数据，然后随着业务需要，逐渐往元数据中添加更多的列。在这种情况下，用户可能会创建多个Parquet文件，有着多个不同的但是却互相兼容的元数据。Parquet数据源支持自动推断出这种情况，并且进行多个Parquet文件的元数据的合并。 因为元数据合并是一种相对耗时的操作，而且在大多数情况下不是一种必要的特性，从Spark 1.5.0版本开始，默认是关闭Parquet文件的自动合并元数据的特性的。可以通过以下两种方式开启Parquet数据源的自动合并元数据的特性： 1、读取Parquet文件时，将数据源的选项，mergeSchema，设置为true 2、使用SQLContext.setConf()方法，将spark.sql.parquet.mergeSchema参数设置为true
作者简介 妙成，携程云原生研发工程师，主要从事Elasticsearch、JuiceFS的研发运维，关注分布式数据库、NoSQL。 小峰， 携程云原生研发工程师，主要专注于数据库容器化领域，对分布式存储有浓厚兴趣。 一、摘要 携程的冷数据规模在 10PB+，包括备份数据、图片语音训练数据和日志数据等，存储方案主要是本地磁盘和GlusterFS。在实际使用中这些方案遇到了不少痛点： GlusterFS 在单目录下文件众多时，ls命令速度很慢； 受疫情期间机器采购周期的制约，无法灵活地根据实际需求弹性扩缩容
目前，Kafka 使用 ZooKeeper 来保存与分区和broker相关的元数据，并选举出一个broker作为集群控制器。不过，Kafka 开发团队想要消除对 Zookeeper 的依赖，这样就可以以更可伸缩和更健壮的方式来管理元数据，从而支持更多的分区，还能够简化 Kafka 的部署和配置。
在 HDFS 中，NameNode 作为整个集群的管理中心，保存着整个 HDFS 中的元数据信息，而真正保存数据的是 DataNode。那么， Hadoop HDFS 是如何管理这些文件的呢？本期内容就来为大家解答：
•创建全局索引，会自动构建一张索引表 •索引表结构 –Rowkey：索引字段+原表的rowkey –列：占位置x •特点：如果查询字段或者查询条件不是索引字段，就不会走索引 •应用：适合于读多写少
大数据文摘作品 编译：丁慧、笪洁琼、蒋宝尚 网络互联设备的增长带来了大量易于访问的时间序列数据。越来越多的公司对挖掘这些数据感兴趣，从而获取了有价值的信息并做出了相应的数据决策。 近几年技术的进步提高了收集，存储和分析时间序列数据的效率，同时也刺激了人们对这些数据的消费欲望。然而，这种时间序列的爆炸式增长，可能会破坏大多数初始时间序列数据的体系结构。 Netflix作为一家以数据为驱导的公司，对这些挑战并不陌生，多年来致力于寻找如何管理日益增长的数据。我们将分享Netflix如何通过多次扩展来解决时间序列
Iceberg项目2017年由Netflix发起， 它是在2018年被Netflix捐赠给Apache基金会的项目。在2021年Iceberg的作者Ryan Blue创建Tabular公司，发起以Apache Iceberg为核心构建一种新型数据平台。
摘要：本文介绍去哪儿数据平台在使用 Flink + Iceberg 0.11 的一些实践。内容包括：
JuiceFS 是一款面向云原生设计的高性能共享文件系统，在 Apache 2.0 开源协议下发布。提供完备的 POSIX 兼容性，可将几乎所有对象存储接入本地作为海量本地磁盘使用，亦可同时在跨平台、跨地区的不同主机上挂载读写。
作者：星辰算力平台 1. 背景 随着大数据、人工智能技术的蓬勃发展，人类对于算力资源的需求也迎来大幅度的增长。在腾讯内部，星辰算力平台以降本增效为目标，整合了公司的GPU训练卡资源，为算法工程师们提供统一的底层GPU算力服务。借助于虚拟化、算力挖掘等技术，平台服务公司内各BG的AI训练场景，GPU利用率业界领先。同时，通过云原生任务化的方式，对接了内部各大业务，促进了AI技术研究效率的提升和创新研究。 当下，由于AI训练时的高性能计算设备（如NVIDIA GPU）成本高昂，如果任务在训练过程中不能保证
引言 因特网互联设备的发展，提供了大量易于访问的时序数据。越来越多的公司有兴趣去挖掘这类数据，意图从中获取一些有意义的洞悉，并据此做出决策。技术的最新进展提高了时序数据的收集、存储和分析效率，激发了人们对如何处理此类数据的考量。然而，大多数现有时序数据体系结构的处理能力，可能无法跟上时序数据的爆发性增长。 作为一家根植于数据的公司，Netflix已习惯于面对这样的挑战，多年来一直在推进应对此类增长的解决方案。该系列博客文章分为两部分发表，我们将分享Netflix在改进时序数据存储架构上的做法，如何很好地应对
经典语录：张牙舞爪的人，往往是脆弱的。因为真正强大的人，是自信的，自信就会温和，温和就会坚定
我们都知道日志聚合后的文件是存放在HDFS中的，然而每个application可能会有很多的container，每个container又有多个日志文件，那么日志聚合后，这些日志文件在HDFS中是怎样进行存放的。本文就来聊聊hadoop日志聚合后的文件格式及相关内容。
Spring Cloud Tencent 是腾讯开源的一站式微服务解决方案。SCT实现了Spring Cloud 标准微服务 SPI，开发者可以基于 Spring Cloud Tencent 快速开发 Spring Cloud 云原生分布式应用。
作者 | Adobe 译者 | 王强 策划 | 蔡芳芳 在我们之前的几篇博文 《Iceberg 在 Adobe 的应用》《基于写入 Iceberg 的缓存的数据摄取》 和 《Iceberg 的读取优化》 中，我们了解了 Apache Iceberg 的诸多优势，看到了它是如何与 Adobe 体验平台（Adobe Experience Platform）的整体架构相适应的。在这篇博文中，我们将分享 Adobe 将超过 1PB 的数据集迁移到 Adobe 体验平台数据湖（Datalake）上的 Iceberg
MODIS影像以HDF4或者HDF5格式进行存储。关于如何搭建开发环境，参见Ubuntu下GDAL读取HDF4（MODIS影像）开发环境搭建。
shuffle中环形缓冲区使用于map shuffle阶段存放map的缓存数据，当缓冲区的数据达到一定比率（80%）就会将缓冲区的数据刷写到磁盘文件中，在刷盘之前，会对数据分区、排序、合并，对缓冲区的操作是边写入边读取的过程，二者互不影响，提升写入的速率，读写过程就是一个生产者、消费者模式，生产者向环形缓冲区中写入数据，消费者从环形缓冲区中读取数据并且写入磁盘。环形缓冲区在物理上是一组连续的空间地址，在逻辑上是首尾相连的环形空间，通过使用下标实现环形，初始read=write=index=0,read下一个读取位置，write下一次写入位置，index 刷盘的结束位置，每一次写入write++,当缓存达到一定比率，执行读取线程开启，将index=write,那么将读取read~index-1区间的数据写入磁盘，此时write继续接受数据写入，当数据读取完read=index,继续进行下一次读取操作，需要注意当下标达到临界点即缓冲区数组的大小时需要进行下标索引的转换，例如当read=array.length,需要read=0。
人工智能是数据的消耗大户，对存储有针对性的需求。这次我们讲讲面向AI场景的存储性能优化思路。
前面我们分析存储方案的发展的时候有提到分布式文件存储的出现是为了解决存储的三大问题：可扩展性，高吞吐量，高可靠性
ApacheHudi元数据表可以显著提高查询的读/写性能。元数据表的主要目的是消除“列出文件”操作的要求。
Druid 是一个专为大型数据集上的高性能切片和 OLAP 分析而设计的数据存储系统。
我们经常会被问到一个企业大数据架构的问题：随着企业收集 / 产生的数据越来越多，如何设计一套高效廉价的大数据架构，在尽可能多保留所有原始数据内容的同时还可以支持“无缝接入”的新的分析算法。本文所要介绍的数据湖解决方案可能是解决这个难题的一种新思路。
HarmonyOS媒体数据管理模块支持多媒体数据管理相关的功能开发，常见操作如：获取媒体元数据、截取帧数据等。
本着常读常新的原则，最近又一次阅读了Google三架马车之一的《Google File System》。它里面的一些设计思想，实现原则以及取舍，时至今日仍很有参考价值。
在发布的Apache Hudi 0.10.0版本中共解决了388个issue，包括众多重磅特性支持以及Bug修复。
1. hadoop中HDFS的NameNode原理 1.1. 组成 包括HDFS（分布式文件系统），YARN（分布式资源调度系统），MapReduce（分布式计算系统），等等。 1.2. HDFS架构原理 比如现在要上传一个1T的大文件，提交给HDFS的Active NameNode（用以存放文件目录树，权限设置，副本数设置等），它会在指定目录下创建一个新的文件对象，比如access_20180101.log 至于具体数据，它会将它拆分后进行分布式存储，分散在各个DataNode节点，且默认都会有3个副本
这一行配置的意思是开启包扫描，会自动扫描带有 @component 及其 衍生注解 的类:，将其放入容器中。
索引是一个关键组件，有助于 Hudi 写入端快速更新和删除，并且它在提高查询执行方面也发挥着关键作用。Hudi提供了多种索引类型，包括全局变化的Bloom索引和Simple索引、利用HBase服务的HBase索引、基于哈希的Bucket索引以及通过元数据表实现的多模态索引。索引的选择取决于表大小、分区数据分布或流量模式等因素，其中特定索引可能更适合更简单的操作或更好的性能。用户在为不同表选择索引类型时经常面临权衡，因为还没有一种能够以最小的操作开销促进写入和读取的通用性能索引。
Hudi 是一个事务性数据湖平台，它将数据库和数据仓库功能引入数据湖。下图摘自 Hudi 社区举办的网络研讨会[1]，清楚地说明了该平台的主要功能
传统的机器学习模型，数据集比较小，模型的算法也比较简单，使用单机存储，或者本地硬盘就足够了，像 JuiceFS 这样的分布式存储并不是必需品。
在描述消息的写入和读取流程之前，首先要弄清楚消息队列的模型是怎么样的，包括消息是怎么存储的。
HDFS（Hadoop Distributed File System）分布式文件存储系统，主要为各类分布式计算框架如Spark、MapReduce等提供海量数据存储服务，同时HBase、Hive底层存储也依赖于HDFS。HDFS提供一个统一的抽象目录树，客户端可通过路径来访问文件，如hdfs://namenode:port/dir-a/a.data。HDFS集群分为两大角色：Namenode、Datanode（非HA模式会存在Secondary Namenode）
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
