当我们使用Spark加载数据源并进行一些列转换时，Spark会将数据拆分为多个分区Partition，并在分区上并行执行计算。所以理解Spark是如何对数据进行分区的以及何时需要手动调整Spark的分区，可以帮助我们提升Spark程序的运行效率。
openEuler是一款开源、免费的操作系统，由openEuler社区运作。当前openEuler内核源于Linux，支持鲲鹏及其它多种处理器，能够充分释放计算芯片的潜能，是由全球开源贡献者构建的高效、稳定、安全的开源操作系统，适用于数据库、大数据、云计算、人工智能等应用场景。
备忘 EXT3 http://zh.wikipedia.org/zh-cn/Ext3 ext3，第三扩展文件系统，是一个日志文件系统，常用于Linux操作系统。它是很多Linux发行版的默认文件系统。Stephen Tweedie在1999年2月的内核邮件列表[2]中，最早显示了他使用扩展的ext2，该文件系统从2.4.15版本的内核开始，合并到内核主线中[3]。 大小限制 ext3有一个相对较小的对于单个文件和整个文件系统的最大尺寸。这些限制依赖于文件系统的块大小；下面的表格总结了这些限制。 块尺寸 最大文件尺寸 最大文件系统尺寸
硬盘是我们计算机的重要部件之一，硬盘故障直接导致我们无法正常使用，读取数据等，而硬盘检测工具也有不少。HDTune是一款专业的硬盘检测工具，能够全面的检测硬盘的传输速度、温度以及健康状况等。很多用户可能并不知道HDTune怎么用，对此，小编特意去整理了一篇使用教程，分享出来给大家介绍HDTune怎么用。
• Red Hat Linux ：红帽Linux（企业版+免费版CentOS）
管理磁盘空间对系统管理员来说是一件重要的日常工作。一旦磁盘空间耗尽就需要进行一系列耗时而又复杂的任务，以提升磁盘分区中可用的磁盘空间。它也需要系统离线才能处理。通常这种任务会涉及到安装一个新的硬盘、引导至恢复模式或者单用户模式、在新硬盘上创建一个分区和一个文件系统、挂载到临时挂载点去从一个太小的文件系统中移动数据到较大的新位置、修改 /etc/fstab 文件的内容来反映出新分区的正确设备名、以及重新引导来重新挂载新的文件系统到正确的挂载点。
当HBASE导入了几十亿的数据记录时，某一天重启一下HBASE，发现启动过于缓慢，一直在提示PleaseHoldException:Master is initializing, 打开日志实时查看了下，其提示的信息一直是region transition 状态的各种变化。然而最惨的是，运行到最近，直接由于zookeeper超时，导致无法启动。 网上关于master is initalizing的问题解决都没有相应的问题。于是针对这个问题，只能仔细去摸一下Region的内核。 特别是从http://hbase
邓延军 (deng.yanjun@163.com), 硕士研究生, 西安电子科技大学软件工程研究所
to_char(create_time, :"SYS_B_1") as create_time,
**参考文档：https://www.cnblogs.com/shawnloong/p/3722469.html ** LVM 的重点在于『可以弹性的调整 filesystem 的容量！』而并非在于效能与数据保全上面。需要文件的读写效能或者是数据的可靠性，可使用RAID。LVM 可以整合多个实体 partition 在一起， 让这些 partitions 看起来就像是一个磁碟一样！而且，还可以在未来新增或移除其他的实体 partition 到这个 LVM 管理的磁碟当中。如此一来，整个磁碟空间的使用上，实在是相当的具有弹性啊！
Kafka的默认分区算法，即DefaultPartitioner，是Kafka生产者发送消息到不同分区时所采用的一种默认策略。该算法主要基于消息的key和主题的分区数，来决定消息应该被发送到哪个分区。
RDD中包含很多函数，主要可以分为两类：Transformation转换函数和Action函数。
原文链接：https://mp.weixin.qq.com/s/m4NPnZaKJMXKrTwtZoOQeQ
coalesce常用来减少分区，第二个参数是减少分区的过程中是否产生shuffle。
kafka支持修改topic，支持增加分区，不支持减少分区，这个时候消息队列消息的顺序会受影响，修改时需要三思，另外一个思路是新建一个topic，双写，进行数据切换
全局唯一标识分区表（GUID Partition Table，缩写：GPT）是一个实体硬盘的分区结构。它是可扩展固件接口标准的一部分，用来替代BIOS中的主引导记录分区表。传统的主启动记录 (MBR) 磁盘分区支持最大卷为 2.2 TB (terabytes) ，每个磁盘最多有 4 个主分区（或 3 个主分区，1 个扩展分区和无限制的逻辑驱动器）。与MBR 分区方法相比，GPT 具有更多的优点，因为它允许每个磁盘有多达 128 个分区，支持高达 18 千兆兆字节 (exabytes，1EB=10^6TB) 的卷大小，允许将主磁盘分区表和备份磁盘分区表用于冗余，还支持唯一的磁盘和分区 ID (GUID)。 与 MBR 分区的磁盘不同，GPT的分区信息是在分区中，而不象MBR一样在主引导扇区。为保护GPT不受MBR类磁盘管理软件的危害，GPT在主引导扇区建立了一个保护分区 (Protective MBR)的MBR分区表，这种分区的类型标识为0xEE，这个保护分区的大小在Windows下为128MB，Mac OS X下为200MB，在Window磁盘管理器里名为GPT保护分区，可让MBR类磁盘管理软件把GPT看成一个未知格式的分区，而不是错误地当成一个未分区的磁盘。另外，GPT 分区磁盘有多余的主要及备份分区表来提高分区数据结构的完整性。
1.JOIN连接，MapJoin优化(SELECT /* + MAPJOIN(b) */)
分区表是数据库中一种用于优化大型表数据管理和查询性能的技术。它将一个表的数据根据特定的规则或条件分割成多个部分，每个部分称为一个分区。每个分区可以独立于其他分区进行存储、管理和查询，这样可以提高数据处理的效率，尤其是在处理大量数据时。
主要实现思路：在kernel中，将jpg图片通过VE解码，连续显示形成动画。先将视频按帧截取成jpg图片，打包成特定格式的二进制文件。把资源包放入到一个指定分区中，在uboot阶段加载资源包，并告知kernel将资源包的内存区域保留出来。
使用本主题中的原则可以构建优化且可伸缩的Schema，并与现有的数据管理流程很好集成。
lv 分区，vg 卷，pv 硬盘；加s 列出，remove 删除 ；如：lvs和 lvremove 需要fdisk -l 查看LVM硬盘目录，如删除分区：lvremove /dev/mapper/eisc-b # 1.首先 将硬盘加入lvm 才能创建LVM 分区 #!/bin/bash check(){ # [ʧɛk] 检查 azlvm=$(yum list installed | grep lvm2)
【5】+5120M 表示这个主分区大小是5120M = 5G, 我们把这个10G的磁盘先拿出来5G作为第一个主分区
在Linux系统中，交换分区（Swap Space）是一个特殊的文件系统分区，它用于当物理内存（RAM）不足时，将一部分内存中的数据暂时转移到硬盘中，以便释放内存空间供系统继续使用。交换分区在Linux中起到了“虚拟内存”的作用，对于保障系统稳定运行至关重要。
RDD（弹性分布式数据集） 是 PySpark 的基本构建块，它是容错、不可变的 分布式对象集合。
JuiceFS 企业版是一款为云环境设计的分布式文件系统，单命名空间内可稳定管理高达百亿级数量的文件。
除非是在本地新建的list数组才需要使用parallelize。保存在hdfs中的文件，在使用spark处理的时候是默认分partition的。
RHEL7如何对磁盘进行分区和格式化以及如何配置LVM，与以前版本的RHEL区别不大，可以通过disk工具（在图形桌面中运行）或命令工具（如：fdisk、gdisk、parted）管理硬盘设备。fdisk可以配置MBR格式； gdisk配置gpt格式， parted可以自己选择。 传统的硬盘分区都是MBR格式，MBR分区位于0扇区，他一共512字节，前446字节是grub引导程序，这个会在后面学习；中间64字节是分区表，每个分区需要16个字节表示，因此主分区和扩展分区一共只能有4个分区，超过4个的分区只能从扩展分区上再设置逻辑分区来表示。每个分区的大小无法超过2T。 MBR的最后2个字节是结束符号 GPT格式，打破了MBR的限制，可以设置多达128个分区，分区的大小根据操作系统的不同有所变化，但是都突破了2T空间的限制。支持高达 18EB (1EB=1024PB，1PB=1024TB) 的卷大小，允许将主磁盘分区表和备份磁盘分区表用于冗余，还支持唯一的磁盘和分区 ID (GUID)。 与 MBR 分区的磁盘不同，GPT的分区信息是在分区中，而不象MBR一样在主引导扇区。为保护GPT不受MBR类磁盘管理软件的危害，GPT在主引导扇区建立了一个保护分区 (Protective MBR)的MBR分区表，这种分区的类型标识为0xEE，这个保护分区的大小在Windows下为128MB，Mac OS X下为200MB，在Window磁盘管理器里名为GPT保护分区，可让MBR类磁盘管理软件把GPT看成一个未知格式的分区，而不是错误地当成一个未分区的磁盘 在MBR硬盘中，分区信息直接存储于主引导记录(MBR)中（主引导记录中还存储着系统的引导程序）。但在GPT硬盘中，分区表的位置信息储存在GPT头中。但出于兼容性考虑，硬盘的第一个扇区仍然用作MBR，之后才是GPT头。
一、RAID 独立冗余磁盘阵列 条带化技术，分散存储在多个盘上 (做切割数据的，存在盘上的对应位置，在外观看来就是条带状的) raid的一种 raid级别，仅仅代表raid的组成方式是不一样的，没有上下级之分 raid级别：速度、可用性 利用校验码的形式来保证数据的可靠性（比较麻烦）浪费比例1/n raid类型： 1、raid0 （条带） 性能提升：读写 冗余能力：不具备 空间利用率：n 至少两块盘 2、raid1 （镜像） 性能提升：写性能下降，读性能提高 冗余能力：具备 空间利用率：1/2 正好两个
许多Linux使用者安装操作系统时都会遇到这样的困境：如何精确评估和分配各个硬盘分区的容量，如果当初评估不准确，一旦系统分区不够用时可能不得不备份、删除相关数据，甚至被迫重新规划分区并重装操作系统，以满足应用系统的需要。
Spark是大数据分析的利器，在工作中用到spark的地方也比较多，这篇总结是希望能将自己使用spark的一些调优经验分享出来。
本文使用了《WMI技术介绍和应用——使用VC编写一个半同步查询WMI服务的类》中代码做为基础。本节只是列出了WQL语句，具体使用参看前面的例子。（转载请指明出于breaksoftware的csdn博客）
在使用CentOS版本linux系统的时候，发现根目录(/)的空间不是很充足，而其他目录空间有很大的空闲，所以本文主要是针对现在已有的空间进行调整。
RDD（弹性分布式数据集） 是 PySpark 的基本构建块，是spark编程中最基本的数据对象； 它是spark应用中的数据集，包括最初加载的数据集，中间计算的数据集，最终结果的数据集，都是RDD。 从本质上来讲，RDD是对象分布在各个节点上的集合，用来表示spark程序中的数据。以Pyspark为例，其中的RDD就是由分布在各个节点上的python对象组成，类似于python本身的列表的对象的集合。区别在于，python集合仅在一个进程中存在和处理，而RDD分布在各个节点，指的是【分散在多个物理服务器上的多个进程上计算的】 这里多提一句，尽管可以将RDD保存到硬盘上，但RDD主要还是存储在内存中，至少是预期存储在内存中的，因为spark就是为了支持机器学习应运而生。 一旦你创建了一个 RDD，就不能改变它。
逻辑卷管理LVM是一个多才多艺的硬盘系统工具。无论在Linux或者其他类似的系统，都是非常的好用。传统分区使用固定大小分区，重新调整大小十分麻烦。但是，LVM可以创建和管理“逻辑”卷，而不是直接使用物理硬盘。可以让管理员弹性的管理逻辑卷的扩大缩小，操作简单，而不损坏已存储的数据。可以随意将新的硬盘添加到LVM，以直接扩展已经存在的逻辑卷。LVM并不需要重启就可以让内核知道分区的存在。
1. F_TestDate 为分区函数名，分区的字段是datetime类型
Apache Kafka 是一个分布式的流处理平台（分布式的基于发布/订阅模式的消息队列【Message Queue】）。
AI 科技评论按：Facebook AI 昨日推荐了一款能够比当前 state-of-the-art 程序更快识别应用安全水平的最新技术。过去我们从计算机视觉、强化学习以及语音识别等领域发掘了深度学习的巨大潜力，然而对于一些安全性要求较高的应用（如自动驾驶）来说，在模型得到有效验证以前，并无法真正受惠。Facebook提供的新方法适用于深度学习，能够对无法确定输出结果的输入内容进行有效验证，从而杜绝不当决策的产生。AI 科技评论将该开源文章编译如下。
G1将Java堆分成多个分区。分区的大小可以依据堆的尺寸而改变，但必须是2的幂，同时最小为1MB，最大为32MB。由此得出可能的分区尺寸是1 MB、2MB、4 MB、8 MB、16 MB和32MB。所有分区的大小都一样，在JVM运行过程中它们的尺寸也不会发生变化。分区尺寸是基于Java堆内存的初始值和最大值的平均数来进行计算的，这样对于这个平均堆尺寸就会有2000个左右的分区。举个例子，对一个16G的Java堆使用-Xmx16g -Xms16g命令行选项，G1就会选择采用16GB/2000 = 8MB的分区尺寸。
Oracle 数据库是一种功能强大的关系型数据库管理系统，但在处理大量数据时，性能问题可能会成为一个挑战。为了提高数据库的响应速度和效率，我们可以采取一系列的优化措施。本文将重点介绍表分区技术，以提升 Oracle 数据库的性能。
在本教程中，我们将参考Linux dd命令的一个实际示例，系统管理员可以使用该命令将以MBR或GPT布局样式分区的较大HDD的Windows操作系统或Linux操作系统迁移到较小的SSD。 在本节摘录中，我们将使用安装在具有多个分区的硬盘上的Windows系统作为示例。 在HDD以MBR方案分区并且包含具有多个逻辑分区的扩展分区或分区无序的情况下，该方法可能变得相当复杂。 如果是这样，我建议你不要使用这种方法。 在这种情况下，使用ddrescure更安全，它可以克隆整个磁盘布局（分区表和每个分区内的已使用块），而不会实际传输空的空间。 可以通过从Ubuntu主存储库安装gddrescue包获得DDrescure。
“流媒体”：发布者（“生产者”）经常发送的大量消息（想想数万或数十万）。许多订阅者（“消费者”）经常进行消息轮询。
下午突然感觉 lvm 相关的知识忘记了，恰好机房里的fedora服务器上 挂了4个500GB的HDD 硬盘没有使用，就拿来操作了一番；
在使用Hadoop过程中，小文件是一种比较常见的挑战，如果不小心处理，可能会带来一系列的问题。HDFS是为了存储和处理大数据集（M以上）而开发的，大量小文件会导致Namenode内存利用率和RPC调用效率低下，block扫描吞吐量下降，应用层性能降低。通过本文，我们将定义小文件存储的问题，并探讨如何对小文件进行治理。
这一篇先简单总结一下GC的种类，然后侧重总结下G1(Garbage-First)垃圾收集器的分代，结合open-jdk源码分析下重要算法如SATB,重要存储结构如CSet、RSet、TLAB、PLAB、Card Table等。最后会再梳理下G1 GC的YoungGC,MixedGC收集过程。
最近经常有小伙伴留言，核心问题都比较类似，就是虽然接触Spark有一段时间了，但是搞不明白一个问题，为什么我从HDFS上加载不同的文件时，打印的分区数不一样，并且好像spark.default.parallelism这个参数时不是一直起作用？其实笔者之前的文章已有相关介绍，想知道为什么，就必须了解Spark在加载不同的数据源时分区决定机制以及调用不用算子时并行度决定机制以及分区划分。
How to Extend/Reduce LVM’s (Logical Volume Management) in Linux
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
