$ ld a.o b.o -e main -o ab // -e main 表示将main函数作为程序入口
我们这一代的年轻人基本上都很喜欢逛B站，大部分老人都认为我们这些年轻人上B站是为了看动漫、看游戏等等，谁跟你B站是用来看这些的，B站是用来学习的！
2 月份，受恶劣天气影响，美国多个地区出现大规模断电。Linux 之父 Linus Torvalds 所在的俄勒冈州波特兰地区也没有幸免。但比较励志的是，即使经历了六天的断电生活，Linus Torvalds 还是赶出了新一版的 Linux 内核（候选版本）—Linux 5.12 rc1。
CVE-2022-0847 是存在于 Linux内核 5.8 及之后版本中的本地提权漏洞。攻击者通过利用此漏洞，可覆盖重写任意可读文件中的数据，从而可将普通权限的用户提升到特权 root。
在虚拟内存中，页表是个映射表的概念, 即从进程能理解的线性地址(linear address)映射到存储器上的物理地址(phisical address).
简介 Windows下的堆主要有两种，进程的默认堆和自己创建的私有堆。在程序启动时，系统在刚刚创建的进程虚拟地址空间中创建一个进程的默认堆，而且程序也可以通过 HeapCreate 函数来调用 ntdll 中的RtlCreateHeap 来创建自己的私有堆，所以一个进程中可以存在多个堆。 虽说这两种堆名称不同，但是其本质是相同的，区别的只是返回的句柄不同，私有堆虽然名字是私有，但并不是只能在创建它的线程中使用，如果得到它的句柄，在其他线程中也可使用。 堆的信息 堆的相关信息可以在/PEB(进程环境块)中看到
背景 计算机硬件性能在过去十年间的发展普遍遵循摩尔定律，通用计算机的CPU主频早已超过3GHz，内存也进入了普及DDR4的时代。然而传统硬盘虽然在存储容量上增长迅速，但是在读写性能上并无明显提升，同时SSD硬盘价格高昂，不能在短时间内完全替代传统硬盘。传统磁盘的I/O读写速度成为了计算机系统性能提高的瓶颈，制约了计算机整体性能的发展。 硬盘性能的制约因素是什么？如何根据磁盘I/O特性来进行系统设计？针对这些问题，本文将介绍硬盘的物理结构和性能指标，以及操作系统针对磁盘性能所做的优化，最后讨论下基于磁盘I/O
一、简单的CS历史 现代大多数计算机都是基于冯.诺伊曼提出的存储程序原理采用冯.诺伊曼架构，即由运算器、控制器、存储器和输入输出设备组成。
每个目标文件都有好多个段，目标文件在被链接成可执行文件时，输入目标文件中的各个段如何被合并到输出文件？
redis主从复制： 1.配置： master：修改：bind 0.0.0.0 想设置密码：requirepass slave： （1）修改配置文件：slaveof （2）启动从节点server的时候：redis-server redis.conf --slaveof masterip masterport （3）直接在客户端命令执行：slaveof masterip msterport 如果主节点设密码了：masterauth 2.主从复制原理： 主从第一-次连接进行全量复制，从节点发送复制请求给主节点，主节点受到请求进行rdb持久化 然后把rdb文件传送给从节点。从节点接收到rdb文件后清空旧数据，然后将rdb文件加载到内 存中。之后主节点数据的更新会同步到从节点。主从复制是异步的。
redis主从复制： 1.配置： master：修改：bind 0.0.0.0 想设置密码：requirepass slave： （1）修改配置文件：slaveof （2）启动从节点server的时候：redis-server redis.conf –slaveof masterip masterport （3）直接在客户端命令执行：slaveof masterip msterport 如果主节点设密码了：masterauth 2.主从复制原理： 主从第一-次连接进行全量复制，从节点发送复制请求给主节点，主节点受到请求进行rdb持久化 然后把rdb文件传送给从节点。从节点接收到rdb文件后清空旧数据，然后将rdb文件加载到内 存中。之后主节点数据的更新会同步到从节点。主从复制是异步的。
常用工具 我们首先列出一些在接下来的介绍过程中会频繁使用的分析工具，如果从事操作系统相关的较底层的工作，那这些工具应该再熟悉不过了。不熟悉的读者可以先看一下这里的简单的功能介绍，我们会在后文中介绍一些详细的参数选项和使用场景。 另外，建议大家在遇到自己不熟悉的命令时，通过 man 命令来查看手册，这是最权威的、第一手的资料。 ELF文件详解 ELF文件的三种形式 在Linux下，可执行文件/动态库文件/目标文件（可重定向文件）都是同一种文件格式，我们把它称之为ELF文件格式。虽然它们三个都是ELF文件格式
（外部）内存碎片是一个历史悠久的 Linux 内核编程问题，随着系统的运行，页面被分配给各种任务，随着时间的推移内存会逐步碎片化，最终正常运行时间较长的繁忙系统可能只有很少的物理页面是连续的。由于 Linux 内核支持虚拟内存管理，物理内存碎片通常不是问题，因为在页表的帮助下，物理上分散的内存在虚拟地址空间仍然是连续的 （除非使用大页），但对于需要从内核线性映射区分配连续物理内存的需求来说就会变的非常困难，比如通过块分配器分配结构体对象 （在内核态很常见且频繁的操作），或对不支持 scatter/gather 模式的 DMA 缓冲器的操作等，会引起频繁的直接内存回收/规整，导致系统性能出现较大的波动，或分配失败 （在慢速内存分配路径会根据页面分配标志位执行不同的操作）。
结合这个图，想想Linux系统编程里用到的Buffered IO、mmap(2)、Direct IO，这些机制怎么和Linux IO栈联系起来呢？上面的图有点复杂，我画一幅简图，把这些机制所在的位置添加进去：
Docker模型的核心部分是有效利用分层镜像机制，镜像可以通过分层来进行继承，基于基础镜像（没有父镜像），可以制作各种具体的应用镜像。不同 Docker 容器就可以共享一些基础的文件系统层，同时再加上自己独有的改动层，大大提高了存储的效率。其中主要的机制就是分层模型和将不同目录挂载到同一个虚拟文件 系统下。 针对镜像存储docker采用了几种不同的存储drivers，包括：aufs，devicemapper，btrfs 和overlay，以下内容纯属瞎扯淡╮(╯▽╰)╭
Es低版本（1.x）的scroll操作还有一个变种：scan，其在指定size时真实返回的是size * num_of_shards条数据，比如scan请求返回size=10条数据，而索引本身有5个shard，那么一次scan将返回10*5=50条数据，另外在第一次请求时只执行初始化操作，不会返回数据，在第二次请求时才会返回数据。
调用 mmap 系统调用 , 先检查 " 偏移 " 是否是 " 内存页大小 " 的 " 整数倍 " , 如果偏移是内存页大小的整数倍 , 则调用 sys_mmap_pgoff 函数 , 继续向下执行 ;
当时放到测试环境后一直显示乱码，看了下报错是说字体不存在。第一个想法是在主机上安装字体，但是又有问题了，生产不可能这样吧，运维也不同意啊。
· 资源与计算强耦合，其他计算框架需要重复实现资源管理，例如如果用spark也要进行调用，不知道哪个是被MapReduce调用的
UltraCompare 是一款文件内容比较工具。可进行文本模式，文件夹模式以及二进制模式的比较，并且可以对比较的文件进行合并，同步等操作，支持撤消操作。
我们发现，每一个不同文件的inode编号都不相同，所以inode可以说是用来标识文件的标识符。接下来，我们通过下面指令来给mysoft文件，创建软链接：
HDFS是什么 Hadoop Distributed File System(简称HDFS)是Hadoop分布式文件系统。 HDFS有着高容错性（fault-tolerant）的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以实现流的形式访问（streaming access）文
UNIX/Linux 的缔造者们将数据的 来源和目标 都抽象为 文件，所以在 UNIX/Linux 系统中 一切皆文件
传统的机械硬盘一般为3.5英寸硬盘，并由多个圆形蝶片组成，每个蝶片拥有独立的机械臂和磁头，每个堞片的圆形平面被划分了不同的同心圆，每一个同心圆称为一个磁道，位于最外面的道的周长最长称为外道，最里面的道称为内道，通常硬盘厂商会将圆形蝶片最靠里面的一些内道(速度较慢，影响性能)封装起来不用；道又被划分成不同的块单元称为扇区，每个道的周长不同，现代硬盘不同长度的道划分出来的扇区数也是不相同的，而磁头不工作的时候一般位于内道，如果追求响应时间，则数据可存储在硬盘的内道，如果追求大的吞吐量，则数据应存储在硬盘的外道；
最近因为项目上的需要，利用动态链接库来实现一个插件系统，顺便就复习了一下关于Linux中一些编译、链接相关的内容。
但是，如果我们有很多个程序都要通过装载器装载到内存里面，那里面链接好的同样的功能代码，也都需要再装载一遍，再占一遍内存空间。
链接的方式，让我们在写代码的时候做到了“复用”。 同样的功能代码只要写一次，然后提供给很多不同的程序进行链接就行了。
本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！
本文转自小甲鱼的PE文件详解系列原文传送门 到此为止，小甲鱼和大家已经学了许多关于 DOS header 和 PE header 的知识。接下来就该轮到SectionTable (区块表，也成节表)。 越学越多的结构，大家可能觉得PE挺乱挺杂的哈，所以这里插播下一下必要知识的详细注释，大伙可以按需要看。 PE文件中所有节的属性都被定义在节表中，节表由一系列的IMAGE_SECTION_HEADER结构排列而成，每个结构用来描述一个节，结构的排列顺序和它们描述的节在文件中的排列顺序是一致的。 全部有效结构的最后以一个空的IMAGE_SECTION_HEADER结构作为结束，所以节表中总的IMAGE_SECTION_HEADER结构数量等于节的数量加一。 节表总是被存放在紧接在PE文件头的地方。 另外，节表中 IMAGE_SECTION_HEADER 结构的总数总是由PE文件头 IMAGE_NT_HEADERS 结构中的 FileHeader.NumberOfSections 字段来指定的。
PDF Plus Mac版是Mac平台上的一款PDF文档处理工具，功能强大，只需三个简单的步骤即可帮助您合并，拆分，加水印和裁切PDF文档。
kafka 使用日志文件的方式来保存生产者和发送者的消息，每条消息都有一个 offset 值来表示它在分区中的偏移量。Kafka 中存储的一般都是海量的消息数据，为了避免日志文件过大，一个分片并不是直接对应在一个磁盘上的日志文件，而是对应磁盘上的一个目录，这个目录的命名规则是_。 比如创建一个名为firstTopic的topic，其中有3个partition，那么在 kafka 的数据目录（/tmp/kafka-log）中就有 3 个目录，firstTopic_0~3 多个分区在集群中多个broker上的分配方法
那么多对于我们初学者来说要学习哪种风格呢？答案是肯定的，学习GNU风格的汇编代码，因为做Linux驱动开发必须掌握的linux内核、uboot，而这两个软件就是GNU风格的。
计算机是用来执行简单任务的复杂机器：比如 上网、文本编辑、网页服务、视频游戏……，还可以对数据进行操作，图片 音乐 文本 数据库……
Linux的内存管理分为 虚拟内存管理 和 物理内存管理，本文主要介绍 虚拟内存管理 的原理和实现。在介绍 虚拟内存管理 前，首先介绍一下 x86 CPU 内存寻址的具体过程。
---前面的文章里面，仔细讲了在linux系统对文件的读写操作以及文件管理，为今天要讲的内容作了铺垫（如果您是刚接触这方面的内容，可以先看我之前写的文章，有错误的地方，还望指出来，在这里先说一声谢谢）。好了废话不多说，直接进入主题。
IT之家 12 月 14 日消息，Linux 6.2 今日合并了来自华为郑磊（Zhen Lei，音译）的代码，将核心内核功能的速度提高了 715 倍。
常见的内存分配函数有malloc，mmap等，但大家有没有想过，这些函数在内核中是怎么实现的？换句话说，Linux内核的内存管理是怎么实现的？
ClickHouse 是一个用于联机分析处理（OLAP）的列式数据库管理系统（Columnar DBMS）。
配置关闭：主节点产生的数据无论大小都会及时的发送给从节点。redis默认关闭此配置，以保障较小的主从延迟。当然，这需要主从间保持较好的网络状况。
• 启动后，fsimage和edits加载到内存？，合并生成新的fsimage，然后edits清空
Prometheus是著名开源监控项目，其监控任务调度给具体的服务器，该服务器到目标上抓取监控数据，然后保存在本地的TSDB中。自定义强大的PromQL语言查询实时和历史时序数据，支持丰富的查询组合。 Prometheus 1.0版本的TSDB（V2存储引擎）基于LevelDB，并且使用了和Facebook Gorilla一样的压缩算法，能够将16个字节的数据点压缩到平均1.37个字节。 Prometheus 2.0版本引入了全新的V3存储引擎，提供了更高的写入和查询性能。本文主要分析该存储引擎设计思路。
系统层面上有.和…硬链接指向目录。假设我们是超级用户，允许给目录建立硬链接，给根目录建立硬链接，从根目录开始查找，当查找硬链接的时候就是根目录，这时候递归式查找，形成了环路查找，最后导致软件无法正常进行查找工作！所以不允许普通用户给目录建立硬链接。
在Provenance存储库中存储每个FlowFile的历史记录。此历史记录用于提供每个数据的数据沿袭（也称为产销监管链）。每次为FlowFile发生事件（创建，分叉，克隆，修改FlowFile等）时，都会创建一个新的Provenance事件。这个出处事件是流文件的快照，因为它看起来就是在那个时间点存在的流。创建Provenance事件后，它将复制所有FlowFile的属性和指向FlowFile内容的指针，并将其与FlowFile的状态（例如其与其他出处事件的关系）聚合到Provenance存储库里。该快照将不会更改，直到过期。根据“nifi.properties”文件中的指定，Provenance存储库将在完成后的一段时间内保留所有这些来源事件。
uC/os内存管理机制为内存块形式，用户申请内存是需要自己指定内存区内内存块数和内存块大小，看起来很灵活，实际上很不方便，需要使用者记住内存块大小，自己维护内存区，给使用者增加了负担。
引用一句经典的话：“UNIX下一切皆文件”。 文件是一种抽象机制，它提供了一种方式用来存储信息以及在后面进行读取。
链接与装载是一个比较晦涩的话题，大家往往容易陷入复杂的细节中而难以看清问题的本来面目。从本质上讲各个系统的编译、链接、装载过程都是大同小异的，或许可以用一种更抽象的形式来理解这些过程，梳理清楚宏观的来龙去脉有利于对特定系统进行深入学习。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
