zipfile.ZipFile(file, mode='r', compression=0, allowZip64=True, compresslevel=None)
下面我们就分别讲一下在 Linux 下如何用不同的方式对文件进行打包、压缩和解压缩
本文介绍了linux下的压缩程式tar、gzip、gunzip、bzip2、bunzip2、compress 、uncompress、 zip、 unzip、rar、unrar等程式，以及如何使用它们对.tar、.gz 、.tar.gz、.tgz、.bz2、.tar.bz2、.Z、. tar.Z、.zip、.rar这10种压缩文件进行操作
Hive 建设离线数据仓库通常符合：一次写入，多次读取。所以需要我们在建表的时候选择恰当的存储格式和数据的压缩模式。
配置CentOS能连接外网。Linux虚拟机ping www.baidu.com 是畅通的 注意：采用root角色编译，减少文件夹权限出现问题
关于上面的依赖包，如果在Ubuntu下，使用sudo apt-get install * 命令安装，如果在CentOS下，使用sudo yum install *命令来安装。
因为不可能同时压缩与解压缩。 -z ：是否同时具有 gzip 的属性？亦即是否需要用 gzip 压缩？ -j ：是否同时具有 bzip2 的属性？亦即是否需要用 bzip2 压缩？ -v ：压缩的过程中显示文件！这个常用，但不建议用在背景执行过程！ -f ：使用档名，请留意，在 f 之后要立即接档名喔！不要再加参数！ 例如使用『 tar -zcvfP tfile sfile』就是错误的写法，要写成 『 tar -zcvPf tfile sfile』才对喔！ -p ：使用原文件的原来属性（属性不会依据使用者而变） -P ：可以使用绝对路径来压缩！ -N ：比后面接的日期(yyyy/mm/dd)还要新的才会被打包进新建的文件中！ –exclude FILE：在压缩的过程中，不要将 FILE 打包！
Squid是Linux系统中最为流行的一款高性能代理服务软件,通常作为Web网站的前置缓存服务,能够代替用户向网站服务器请求页面数据并进行缓存。Squid服务配置简单、效率高、更能丰富，可以基于多种条件禁止用户访问存在威胁或不适宜的网站资源,因此可以保护企业内网的安全,提升用户的网络体验,帮助节省网络带宽.
最常用的打包 是 tar，使用 tar 程序打出来的包我们常称为 tar 包，tar 包文件的命令通常都是以 .tar 结尾的。生成 tar 包后，就可以用其它的程序来进行压缩了，所以首先就来讲讲 tar 命令的基本用法。
zip可能是目前使用得最多的文档压缩格式。它最大的优点就是在不同的操作系统平台，比如Linux， Windows以及Mac OS，上使用。缺点就是支持的压缩率不是很高，而tar.gz和tar.gz2在压缩率方面做得非常好。
作者：ninetyhe，腾讯 CDG 后台开发工程师 本文详细描述如何实现：目前手上可用的资源仅剩一个 16 核剩余 4-8G 内存的机器，单点完成在 1 个小时内千万级别 feed 流数据 flush 操作（主要包括：读数据，计算综合得分，淘汰低分数据，并更新最新得分，回写缓存和数据库）。 背景 目前工作负责的一款产品增加了综合得分序的 Feed 流排序方式：需要每天把（将近 1000W 数据量）的 feed 流信息进行算分计算更新后回写到数据层。手上的批跑物理机器是 16 核（因为混部，无法独享 CPU
http://blog.csdn.net/zhongnanjun_3/article/details/6312678
另：有些服务器没有安装zip包执行不了zip命令，但基本上都可以用tar命令的，实例如下：
交叉编译脚本参考 : 之前已经做过两个函数库的交叉编译脚本 , FFMPEG 和 x264 开源库 , 而且都是使用 configure 生成 Makefile 文件 ;
压缩工具compress-tools 0.6.0发布。compress-tools是基于libarchive的开发的，并提供部分原库的压缩功能。这个工具现在可以解压：
参数： -c ：建立一个压缩文件的参数指令(create 的意思)； -x ：解开一个压缩文件的参数指令！ -t ：查看 tarfile 里面的文件！ 特别注意，在参数的下达中， c/x/t 仅能存在一个！不可同时存在！ 因为不可能同时压缩与解压缩。 -z ：是否同时具有 gzip 的属性？亦即是否需要用 gzip 压缩？ -j ：是否同时具有 bzip2 的属性？亦即是否需要用 bzip2 压缩？ -v ：压缩的过程中显示文件！这个常用，但不建议用在背景执行过程！ -f ：使用档名，请留意，在 f 之后要立即接档名喔！不要再加参数！ 例如使用『 tar -zcvfP tfile sfile』就是错误的写法，要写成 『 tar -zcvPf tfile sfile』才对喔！ -p ：使用原文件的原来属性（属性不会依据使用者而变） -P ：可以使用绝对路径来压缩！ -N ：比后面接的日期(yyyy/mm/dd)还要新的才会被打包进新建的文件中！ --exclude FILE：在压缩的过程中，不要将 FILE 打包！ 范例： 范例一：将整个 /etc 目录下的文件全部打包成为 /tmp/etc.tar [root@linux ~]# tar -cvf /tmp/etc.tar /etc
在 Linux 系统选有相当多的压缩命令可以使用,这些压缩指令可以让我们更方便的从网上下载大型文件,本章第一节内容我们就来谈谈这个 Linux 系统下常用的几种压缩格式吧.
文 | 云豆 来源 | 菜鸟教程 云豆贴心提醒，本文阅读时间5分钟，文末有秘密！ Linux ar命令 Linux ar命令用于建立或修改备存文件，或是从备存文件中抽取文件。 ar可让您集合许
MySQL 8.0开始采用快速迭代开发模式，基本上是每隔3个月就发布一个新的小版本。去年1月18日（2022.1.18）发布MySQL 8.0.28，今年1月17日发布MySQL 8.0.32，再看看其他几个版本的时间，还真是贼守时啊。
2021 年 5 月 4 日，Containerd 1.5 正式发布[1]，该版本默认启用了 OCIcrypt 解密功能，并引入了对 NRI、zstd 和 FreeBSD jails 的支持，同时还简化了对 Containerd 的贡献流程。下面就来看看具体更新了哪些功能吧。
bs_is_seq_randIfthisoptionisset,fiowillusethenormalread,writeblocksizesettingsassequential,randominstead.AnyrandomreadorwritewillusetheWRITEblocksizesettings,andanysequentialreadorwritewillusetheREADblocksizesetting.zero_buffersIfthisoptionisgiven,fiowillinittheIObufferstoallzeroes.Thedefaultistofillthemwithrandomdata.refill_buffersIfthisoptionisgiven,fiowillrefilltheIObuffersoneverysubmit.Thedefaultistoonlyfillitatinittimeandreusethatdata.Onlymakessenseifzero_buffersisn't specified, naturally. If data verification is enabled, refill_buffers is also automatically enabled. scramble_buffers=bool If refill_buffers is too costly and the target is using data deduplication, then setting this option will slightly modify the IO buffer contents to defeat normal de-dupe attempts. This is not enough to defeat more clever block compression attempts, but it will stop naive dedupe of blocks. Default: true. buffer_compress_percentage=int If this is set, then fio will attempt to provide IO buffer content (on WRITEs) that compress to the specified level. Fio does this by providing a mix of random data and a fixed pattern. The fixed pattern is either zeroes, or the pattern specified by buffer_pattern. If the pattern option is used, it might skew the compression ratio slightly. Note that this is per block size unit, for file/disk wide compression level that matches this setting, you'llalsowanttosetrefill_buffers.buffer_compress_chunk=intSeebuffer_compress_percentage.Thissettingallowsfiotomanagehowbigtherangesofrandomdataandzeroeddatais.Withoutthisset,fiowillprovidebuffer_compress_percentageofblocksizerandomdata,followedbytheremainingzeroed.Withthissettosomechunksizesmallerthantheblocksize,fiocanalternaterandomandzeroeddatathroughouttheIObuffer.buffer_pattern=strIfset,fiowillfilltheiobufferswiththispattern.Ifnotset,thecontentsofiobuffersisdefinedbytheotheroptionsrelatedtobuffercontents.Thesettingcanbeanypatternofbytes,andcanbeprefixedwith0xforhexvalues.Itmayalsobeastring,wherethestringmustthenbewrappedwit
上一篇博客 【Android 内存优化】Android 工程中使用 libjpeg-turbo 压缩图片 ( JNI 传递 Bitmap | 获取位图信息 | 获取图像数据 | 图像数据过滤 | 释放资源 ) 介绍了从 Java 层传入 Bitmap 对象到 JNI 层 , JNI 层获取到了图像对应的 RGB 像素数据 , 本篇博客中将获取的图像数据进行压缩 , 存储到 JPEG 格式图片中 ;
在上一篇博客 【Android 内存优化】Android 原生 API 图片压缩原理 ( 哈夫曼编码开关 | 哈夫曼编码原理 | libjpeg-turbo 函数库 ) 对哈夫曼编码进行了介绍 , 如果需要在所有的 Android 手机上使用哈夫曼编码压缩图片, 那就需要使用 libjpeg-turbo 函数库 , 从 libjpeg-turbo/libjpeg-turbo GitHub 项目的 Release 发布版本页面 下载 Release 版本的源码 , 这里下载最新的 Source code (tar.gz) 源码 ;
压缩方式选择时重点考虑：压缩/解压缩速度、压缩率（压缩后存储大小）、压缩后是否 可以支持切片。
原文:https://wsgzao.github.io/post/logrotate/
操作系统：ubuntu18.04 X64位 和 嵌入式Linux操作(ARM)
我们Hadoop 2.4集群默认不支持snappy压缩，但是最近有业务方说他们的部分数据是snappy压缩的（这部分数据由另外一个集群提供给他们时就是snappy压缩格式的）想迁移到到我们集群上面来进行计算，但是直接运行时报错：
gzip是GNU开发的一个压缩程序，对应的解压缩程序为gunzip，压缩后一般结尾为.gz
在Linux中如果应用程序会产生日志，那么就需要考虑日志切割，例如按照固定的大小切割、按照日期进行切割等等。同样，在编译Nginx1.9.0、MySQL5.7.7rc和PHP7后，这三个应用服务都会产生日志，尤其是Nginx进程根据配置文件ngnix.conf记录每条访问记录到access.log中。如果所有的日志都打印到同一个文件中的话，那么时间长了的话就会影响效率。
lzo压缩格式有很快的压缩/解压速度和合理的压缩率，并且支持分块(split)，所以lzo是目前在Hadoop中最流行的压缩格式。hadoop中的lzo不是自带的，如果要支持lzo，需要另外安装。本文介绍了在hadoop2.0上安装和配置lzo，同样也适用于hadoop1.0。
编写shell脚本的时候经常需要解压缩到指定的文件夹，tar命令是最常用的 参考一下说明，其中注意-C的用法。 tar命令 解压文件到指定目录：tar -zxvf /home/zjx/aa.tar.gz -C /home/zjx/pf tar [-cxtzjvfpPN] 文件与目录 .... 参数： -c ：建立一个压缩文件的参数指令(create 的意思)； -x ：解开一个压缩文件的参数指令！ -t ：查看 tarfile 里面的文件！ 特别注意，在参数的下达中， c/x/t 仅能存在一个！不
tar命令 解压文件到指定目录：tar -zxvf /home/zjx/aa.tar.gz -C /home/zjx/pf tar [-cxtzjvfpPN] 文件与目录.... 参数： -c ：建立一个压缩文件的参数指令(create 的意思)； -x ：解开一个压缩文件的参数指令！ -t ：查看tarfile 里面的文件！ 特别注意，在参数的下达中，c/x/t 仅能存在一个！不可同时存在！ 因为不可能同时压缩与解压缩。 -z ：是否同时具有gzip 的属性？亦即是否需要用gzip 压缩？ -j ：是否同
在文章《CentOS系统下多种图片压缩方案》中xiaoz介绍过OptiPNG和jpegoptim工具来对图片进行压缩，并且这两个工具都支持无损压缩，于是xiaoz编写了一个shell脚本来调用OptiPNG、jpegoptim工具自动完成批量压缩图片。
下载链接：https://ffmpeg.org/download.html#build-linux
在开发板上如果想要显示jpeg格式的图片，必须用到libjpeg库，不可能自己去编写jpg的解码代码。
所以进行执行 mandb 就行了。 老版本的 linux 需要执行： /usr/sbin/makewhatis
我发现了一些公众号大号整天转发垃圾文章引发焦虑，让看得人怀疑自己，读者越是焦虑他们就越是开心，方便做广告卖课程，赚钱也没错，卖广告也是为了恰饭，但是一周推两三次广告谁能受得了啊。
LAMP是 linux Apache MySQL PHP的简写，即把Apache MySQL PHP 安装在linux系统上，组成一个环境来运行PHP网站。这里的Apache是httpd服务。这些可以安装在一个机器上，也可以安装在多台机器上，但是httpd和PHP安装在一台机器上（php作为httpd的一个模块存在的。 他们两者必须要在一起，才能实现效果）
MySQL的主从搭建大家有很多种方式，传统的mysqldump方式是很多人的选择之一。但对于较大的数据库则该方式并非理想的选择。使用Xtrabackup可以快速轻松的构建或修复mysql主从架构。本文描述了基于现有的从库来快速搭建主从，即作为原主库的一个新从库。该方式的好处是对主库无需备份期间导致的相关性能压力。搭建过程中使用了快速流备份方式来加速主从构建以及描述了加速流式备份的几个参数，供大家参考。
本章将通过某案例介绍在使用SQL*Loader工具时的性能相关知识和提高执行效率的方法。
ﾍ^ヽ､ /⌒､ , | ￣7 (⌒r⌒7/ レ ＼/￣＼｣ ＿/ { _ﾌ ● ゝ _人 ο ● ナ `ト､＿ メ / ￣ ーィﾞ 〈ﾟ･｡｡｡･ﾟ 丶
logrotate: linux上的日志工作, 可进行阶段/轮询/压缩/删除的动作
最近在安装国外的开源软件的时候，总是下载到后缀名为xz的文件，乍一看听新鲜的，没有解压过xz文件，就在google上学习了一下，并且记录了一下这个命令的用法。 安装 一般Linux/Unix都默认安装了xz命令，如果没有安装，需要进行安装，安装方法非常简单， 在centos下，直接运行： yum install xz 也可以使用源码包安装： 先下载该工具源码包http://tukaani.org/xz/ 下载后解压进入该目录运行configure生成makefile文件用—prefix指定安装目录 ./
tar命令用于将Linux的文件和目录创建为档案或将档案还原为文件和目录。此外，tar也可以在档案中改变文件，或者向档案中加入新的文件。
对目录打包(归档),我们一般使用tar之类的命令来做, 原生的tar命令是单线程的, 也不支持加密操作. 当然可以借助第三方工具来实现, 但都使用第三方工具了, 为何不自己写一个呢.
Windows XP SP1 & Windows Server 2003泄漏源码 下载链接： 磁力链接：magnet:?xt=urn:btih:1a4e5b67060ff2bc8fe2de36a6c2
-c: 建立压缩档案 -x：解压 -t：查看内容 -r：向压缩归档文件末尾追加文件 -u：更新原压缩包中的文件
互联网文件传输协议(File Transfer Protocol ,FTP) 标准是在RFC959说明的。该协议定义了一个从远程计算机系统和本地计算机系统之间传输文件的一个标准。一般来说，传输文件的用户需要先经过认证以后才能登录网站，然后方能访问在远程服务器的文件。而大多数的FTP服务器往往提供一个GUEST的公共帐户来允许没有远程服务器的用户可以访问该FTP服务器。
gzip是Linux系统中最常用也是高效的压缩压缩命令。早期Linux系统中主要使用compress命令压缩，得到后缀为“.Z”的压缩文件，但是后来gzip被发明出来替代了compress成为主流的压缩命令。gzip有更好的压缩比，而且能够解压“.Z”文件。后来bzip2又被发明出来，且具有比gzip更高的压缩比。不过，个人认为bzip2并不如gzip好用，因为bzip2的压缩比提升并不是很显著，但是压缩用时和CPU占用率比gzip要大很多，所以个人认为得不偿失，毕竟现在时间效率要比空间效率更宝贵。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
