首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Linuxlz4压缩命令小结

lz4是一个让"人见人爱、花见花开"的压缩算法,能够在多核上很好的扩展。lz4压缩率上略微逊色, 但是在解压速度上有着惊人的优势 (大概是gzip的3倍(多次测试对比))。...因为压缩时高效的多核利用,再加上惊艳的解压,lz4已经在非常多重要场合使用了! 对于需要频繁压缩、实时快速解压的场景来说,lz4非常适合;lz4压缩的对象是文件而不是目录。...1)lz4工具安装 # yum install -y lz4 lz4-devel 2)lz4压缩命令格式 压缩 (默认解压之后的名称filename.lz4) # lz4 filename...-m: 多个输入文件(表示自动输出文件名) -r: 在目录上递归操作(也设置为-m) -l: 使用旧格式压缩Linux内核压缩) 4)lz4压缩示例 [root@MGR-node3 ~]#...cat /etc/redhat-release CentOS Linux release 7.5.1804 (Core) [root@MGR-node3 ~]# cd /opt/ [root@localhost

8.7K30

PostgreSQL 数据压缩 LZ4 OR PGLZ 为什么都说要用新的压缩方式

首先从数据压缩的角度上来说,对于PG 数据库 TOAST 数据存储方式是对于一些大的字段的数据进行压缩和存储的一种模式。默认这样数据压缩的模式是PGLZ的模式。...我们通过下面的示例可以看到,两个表在数据插入之间的区别,一个是使用LZ4 来进行数据压缩处理的,一个是使用PGLZ方式来进行数据处理的。...可以看到明显的使用 LZ4 压缩方式的比 PGLZ 方式数据插入的速度快了 2.5倍。...后,来查看两个不同压缩方式后的表的大小,可以明显的看出,使用LZ4的表大小是由 119MB 而 使用PGLZ的压缩方式的表的大小为238MB 。...写到最后,在数据库安装时如果你将默认的压缩模式变为LZ4 那么上面的部分你都不用担心,他默认会选择LZ4作为数据压缩的方案,而不是PLGZ,但如果你没有改,那么你就需要在建立表格的时候,来重新对字段进行设置

28010
您找到你想要的搜索结果了吗?
是的
没有找到

PostgreSQL 14中TOAST的新压缩算法LZ4,它有多快?

对于列压缩选项,PostgreSQL 14提供了新的压缩方法LZ4。与TOAST中现有的PGLZ压缩方法相比,LZ4压缩更快。本文介绍如何使用整个选项,并和其他压缩算法进行性能比较。...如何使用LZ4? 为了使用LZ4压缩特性,在编译时需要指定--with-lz4,并且在操作系统中按照LZ4库。...,col1仍使用PGLZ压缩算法,即使将压缩算法从PGLZ修改到了LZ4。...LZ4压缩算法的数据与未压缩数据相比,函数处理的速度几乎一样,LZ4算法几乎不会影响字符串操作速度。 与PGLZ相比,LZ4压缩和解压缩TOAST数据更加高效,并提供很好的性能。...除了LZ4,还有很多其他压缩算法比如Zstandard。支持Zstandard用户可以得到比PGLZ更好的压缩率。LZ4 HC具有比LZ4解压98.5%的压缩速度,但是可以大幅提升压缩率。

2.6K20

PostgreSQL16中pg_dump的LZ4和ZSTD压缩

PostgreSQL16中pg_dump的LZ4和ZSTD压缩 pg_dump压缩lz4和zstd LZ4和ZSTD压缩算法合入了PG16。LZ4补丁的作者是Georgios Kokolatos。...lz4:这是一种非常快的压缩算法,以较低的压缩比为代价提供较高的压缩和解压速度。Lz4压缩转出的文件在48-50MB范围,明显大于gzip压缩转储。...Zstd:这是一种比较新的压缩算法,压缩比高,压缩速度也不错。Zstd压缩转储的文件大小在8-8.5MB范围内,是三种压缩方法中最小的。 令人吃惊的是zstd压缩时间最少,其次是lz4和gzip。...默认压缩级别,zstd生成最小的转储文件大小,其次是lz4和gzip。在最大压缩级别,zstd仍然生成最小的转储文件大小,其次是gzip和lz4。...基于这些观察,如果首要任务是减少磁盘使用空间,zstd是推荐的压缩方法。但如果首要任务是减少压缩时间,则zstd和lz4都表现不错。如果担心与其他实用程序的兼容性,gzip仍然是一个可行的选择。

81330

数据压缩 —— 一种基于LZ4算法的硬件加速的快速无损压缩

作者也就对 LZ4 进行了改进,并根据改进后的 LZ4压缩提出了一种硬件架构。...LZ4 通过哈希表来匹配数据,从而提高了压缩速度。...总的来说,压缩速率取决于压缩比,压缩速率也与压缩比呈正比。 由于在LZ4中有一个加速选项,加速值越高,压缩越快;相应的,压缩比会降低。...这里便有了与LZ4各加速方案进行了比较的实验在上述两图。 总结 本文提出了一种改进的 LZ4 算法 和硬件结构。可变长的偏移量、优化的哈希算法以及硬件流水线都提高了压缩速率和压缩比。...该设计可实现高达3.84Gbps的压缩吞吐量和高达4的压缩比。 它的压缩速度比 LZ4 算法快4%,比 LZ4 算法高5%,但它的最高时钟频率比LZ4慢。

1.5K20

Linux 极限压缩

一、概述 LZMA  (Lempel-Ziv-Markov  chain-Algorithm)  基于著名的LZ77压缩算法改进的压缩/解压工具,特点:高压缩率,高解压速度,低内存消耗,lzma命令行工具使用方式和...对比两大主流压缩工具:gzip,bzip2: 1,lzma和bzip2在速度上面远远输给gzip,但在压缩率方面,lzma算法占优势。...2,lzma拥有比gzip,bzip2更高的压缩比率,压缩后文件更小,纯文本文件压缩更加明显,在解压方面比bzip2速度快出数倍,对于想要有较高的压缩率,又不想消耗太多内存,lzma是首先。...3,文件属性,lzma压缩和解压缩能保持文件所有人,权限和修改时间等信息,但是gzip不保存这些信息。...可以发现,原始文件通过zma压缩后,缩小了12.8倍。

2.6K30

Linux 压缩,解压缩,打包指令

linux压缩文件扩展名有以下几种: *.Z compress程序压缩的扩展名 *.gz gzip压缩后的扩展名 *.bz2 bzip2压缩后的扩展名 *.tar...tar打包后的扩展名,没有被压缩过 *.tar.gz tar打包后经过gzip压缩后的扩展名 *.tar.bz2 tar打包后经过bzip2压缩后的扩展名 这些扩展名的意义是方便识别是那种压缩指令进行压缩的...gzip 文件名 参数: -v: 显示压缩比等信息 -c: 将压缩的数据输出到屏幕上,可以通过数据流重导向来处理 -d: 解压缩参数 使用-v参数显示压缩比,压缩后文件名为man_dbtest.conf.gz...tar指令的参数非常多 -j: 通过bzip2支持进行压缩/解压缩 -z: 通过gzip支持进行压缩/解压缩 -v: 在压缩/解压缩过程中,将正在处理的文件名显示出来 -c: 建立压缩文件...-f filename.tar.bz2 解压缩:tar -jxv -f filename.tar.bz2 -C 要将压缩文件解压缩到的目录 gzip支持的压缩/解压缩方式 压缩:tar -zcv

4K10

Linux入门】压缩与解压缩

在Windows操作系统中,常见的有rar、zip等压缩文件格式,使用如 winrar 软件即可完成压缩与解压缩的操作。...在Linux操作系统中,压缩的命令及文件格式更多,本文主要列举常用的压缩与解压缩命令。...压缩打包处理命令tar:打包及压缩zip / unzip:压缩及解压缩 zip 文件rar:压缩及解压缩 rar 文件打包及压缩命令 tartar 命令是Linux下最常用的打包压缩命令,可以将多个文件或目录打包压缩成一个文件...命令格式:tar [参数] 文件名 文件/目录名-c 建立打包文件-x 压缩打包 或 解压缩-t 查看打包文件的内容-z 通过 gzip 的方式进行压缩 / 解压缩,文件名为:.tar.gz-j...rar命令格式:# 压缩rar [参数] 文件名.rar 文件/目录名# a 将文件添加到压缩文件# 解压缩rar [参数] 文件名.rar 目录名# x 解压缩命令示例:# 将目录内的文件生成压缩文件

1.6K21

Linux中的压缩压缩命令

常用压缩格式:.zip, .gz ,.bz2,tar.gz, .tar.bz2 Linux中常用的软件包都是用红色展示的 压缩文件不一定比原文件小,因为压缩文件还包括压缩格式,当原文件比较小时,压缩文件可能会比原文件大....zip压缩 Windows和Linux中的.zip格式是通用的 zip 压缩文件名 源文件 //压缩文件 例:zip 12.zip(必须要加后缀名) 12 zip -r 压缩目录名 源目录 /.../压缩目录 .zip格式解压缩 unzip 压缩文件 //解压缩文件 .gz格式压缩 Windows可以解压缩Linux的.gs格式文件,Linux不能解压缩Windows的.rar格式文件 gzip...,但是不能压缩目录 .gz解压缩压缩文件不保留) gzip -d 压缩文件 //解压缩文件 gunzip 压缩文件 //解压缩文件 .bz2压缩 bzip2 源文件名 //压缩文件,源文件会消失...bzip2 -k 源文件 //压缩后保留源文件 bzip2不能压缩目录 .bz2解压缩 bzip -d 压缩文件 //解压bzip2文件(-k保留压缩文件) bunbzip 压缩文件 //压缩文件(

3.2K40

linux压缩解压命令

gzip 是在 Linux 系统中经常使用的一个对文件进行压缩和解压缩的命令,既方便又好用。...语法:gzip [选项] 压缩(解压缩)的文件名该命令的各选项含义如下: -c 将输出写到标准输出上,并保留原有文件。-d 将压缩文件解压。...-l 对每个压缩文件,显示下列字段: 压缩文件的大小;未压缩文件的大小;压缩比;未压缩文件的名字-r 递归式地查找指定目录并压缩其中的所有文件或者是解压缩。-t 测试,检查压缩文件是否完整。...-v 对每一个压缩和解压的文件,显示文件名和压缩比。...-num 用指定的数字 num 调整压缩的速度,-1 或 --fast 表示最快压缩方法(低压缩比),-9 或--best表示最慢压缩方法(高压缩比)。系统缺省值为 6。

7.8K20

Linux文件归档,压缩与解压缩

命令 常用功能 gzip 压缩和解压缩 gunzip 解压缩 zcat 查看压缩文件内容 zless 查看压缩文本文件内容...; -z 或 --compress:强制执行压缩压缩与解压缩 #压缩a文件为a.bz2,并删除a文件 bzip2 a #压缩a文件为a.bz2,并保留a文件 bzip2 -k a 这里压缩的时候没有标准输出...命令 常用功能 rar 压缩和解压缩 unrar 解压缩 压缩与解压缩 #压缩文件 rar a test a b c image-20200414224941647.png...#要测试归档的完整性,使用: $ 7z t image-20200415101739102.png 参考: https://www.linuxidc.com/Linux...,在最右边 -p 保留备份数据的原本权限与属性,常用于备份(-c)重要的配置文件 -P 保留绝对路径 Linux主要有三种压缩方式 gzip:是公认的压缩这速度最快,压缩大文件的时候与其他的压缩方式相比更加明显

9.4K40

Linux 下的压缩和解压缩

Linux 下常见的压缩文件格式有: .tar .gz .tar.gz .tgz .bz2 .tar.bz2 .Z .tar.Z .zip .rar 下面我们就分别讲一下在 Linux 下如何用不同的方式对文件进行打包...、压缩和解压缩 tar Linux 下最常用的打包程序就是 tar 了,使用 tar 程序打出来的包我们常称为 tar包,tar包 文件的命令通常都是以 .tar 结尾的。...-f 使用档案名字,切记,这个参数是最后一个参数,后面只能接档案名 zip 和 rar .zip 和 .rar 是 Window 下的常见压缩文件,Linux也有相应的方法来解压它们: zip Linux...rar 要在 Linux 下处理 .rar 文件,需要安装 RAR for Linux,可以从网上下载 下载地址:http://www.rarsoft.com/download.htm 安装后就有了...unrar e all.rar 总结 到此为至,已经介绍了 Linux 下的 tar gzip gunzip bzip2 bunzip2 compress uncompress zip unzip rar

2.4K20

linux压缩与解压缩命令小结

linux压缩与解压操作非常常见,其命令参数也非常的多,这里只介绍最经常用的带打包文件的几种压缩和解压方式和几个最常用的参数。...现在最常用的压缩和解压工具是gzip和bzip2,这两种工具不能相互解压对方压缩的文件。...在linux中其实没有后缀名这一说法,但是为了方便用户解压文件时方便,所以在压缩的时候往往使用不同的后缀名以区分是使用的那个工具,一般使用gzip压缩的文件后缀名是.gz,用bzip2压缩的文件取名为....(当然也有其他几种形式的,这里只讨论这两个,后面会补充一个.tar.xz的) 好了下面说一下压缩解压的命令和主要参数,其实压缩和解压都是用tar命令,只是配置不同参数而已。...解压后的文件会在此目录中如 tar -xjv -f fliename1 C  /home/filename2 好了常用的两种工具就写到这里,下面写一个用的也还比较多的.tar.xz文件的解压,这个文件的解压工具一般linux

2.7K60

Linux基础命令——压缩和解压缩命令

压缩格式的介绍 Linux默认支持的压缩格式: .gz .bz2 .zip 说明: .gz和.bz2的压缩包需要使用tar命令来压缩和解压缩 .zip的压缩包需要使用zip命令来压缩,使用unzip命令来解压缩..., 必须放到所有选项后面 -z 压缩或解压缩(.gz) -j 压缩或解压缩(.bz2) -x 解包 -C 解压缩到指定目录 压缩成.gz的效果图: tar-1.png 压缩成.bz2的效果图:...tar-2.png 解压缩.gz的效果图: tar-3.png 解压缩.gz到指定目录效果图: tar-4.png 解压缩.bz2的效果图: tar-5.png 解压缩.bz2到指定目录效果图...压缩成.zip的效果图: zip-1.png 解压缩.gz的效果图: unzip-1.png 解压缩.zip到指定目录效果图: unzip-2.png 说明: 压缩文件尽量使用.gz格式,因为占用空间较少...小结 .gz和.bz2的压缩文件使用tar命令来完成压缩和解压缩 .zip的压缩文件使用zip和unzip命令来完成压缩和解压缩

31.2K55

linux常用命令~压缩压缩

tar命令,对文件进行打包,默认情况并不会压缩,如果指定了相应的参数,它还会调用相应的压缩程序(如gzip和bzip等)进行压缩和解压 -c :新建打包文件 -t :查看打包文件的内容含有哪些文件名...-x :解打包或解压缩的功能,可以搭配-C(大写)指定解压的目录,注意-c,-t,-x不能同时出现在同一条命令中 -j :通过bzip2的支持进行压缩/解压缩 -z :通过gzip的支持进行压缩/解压缩...-v :在压缩/解压缩过程中,将正在处理的文件名显示出来 -f filename :filename为要处理的文件 -C dir :指定压缩/解压缩的目录dir 压缩: tar -jcv -f filename.tar.bz2...file1 创建一个zip格式的压缩包 unzip file1.zip 解压一个zip格式压缩包 zip -r file1.zip file1 file2 dir1 将几个文件和目录同时压缩成一个...zip格式的压缩

2.1K10

Linux下的压缩命令

zip 压缩方法: 压缩当前的文件夹 zip -r ...../* -r表示递归 zip [参数] [打包后的文件名] [打包的目录路径] 解压 unzip xahot.zip 不解释 linux zip命令的基本用法是: linux zip命令参数列表:...-a 将文件转成ASCII模式 -F 尝试修复损坏的压缩文件 -h 显示帮助界面 -m 将文件压缩之后,删除源文件 -n 特定字符串 不压缩具有特定字尾字符串的文件 -o 将压缩文件内的所有文件的最新变动时间设为压缩时候的时间...-u 与-f参数类似,但是除了更新现有的文件外,也会将压缩文件中的其他文件解压缩到目录中。 -v 执行是时显示详细的信息。 -z 仅显示压缩文件的备注文字。...-X 解压缩时同时回存文件原来的UID/GID。 [.zip文件] 指定.zip压缩文件。 [文件] 指定要处理.zip压缩文件中的哪些文件。 -d 指定文件解压缩后所要存储的目录。

3.6K20
领券