专栏首页黯羽轻扬打包压缩加密备份_bash笔记6

打包压缩加密备份_bash笔记6

tar

tape archives,用来打包文件,文件格式具备可移植性

打包(或者叫归档,因为不压缩):

# -c创建文件,-f指定文件名
tar -cf bundle.tar file1 file2...
# 支持通配符
tar -cf bash_bundle.tar "*.sh"

追加:

# -r向已存在的包中添加一个文件
tar -rf bash_bundle.tar new.sh
# 对比时间戳,比同名文件新的话才添加
# vv是为了输出详细日志,没有就表示文件不新,没往进塞
tar -uvvf bash_bundle.tar new.sh

删除:

# --delete删除包里的文件
tar -f sh.tar --delete test.sh

P.S.Mac下没有--delete选项

查看:

# -t查看包内容
tar -tf bash_bundle.tar
# -v看详细点的(文件权限、修改日期,类似于ls -l)
tar -tvf bash_bundle.tar
# -vv看更详细的(比上面多一行包文件格式信息)
tar -tvvf bash_bundle.tar

P.S.-v-vv可以配合其它选项,用来输出log

提取(解压):

# -x提取到当前目录
tar -xf bash_bundle.tar
# -C提取到指定目录(目录必须已存在,否则报错)
tar -xf bash_bundle.tar -C ./tmp
# 只提取指定文件
tar -C ./tmp -xf bash_bundle.tar ab.diff

奇怪的技巧:

# stdin/stdout
# 把打包结果输出到stdout
tar -cf - test.sh
# 从stdin读取包内容
tar -xf - -C ./tmp test.sh

配合ssh,就能一管子插到远程机器上,批量传输文件:

# 本地打包,远程提取(用来同步目录)
tar -cf - test.sh | ssh <user>@<IP> "mkdir -p ~/tmp/sh; tar -xf - -C ~/tmp/sh"
# 本地打包,远程保存(用来批量上传文件)
tar -cf - test.sh | ssh jiajiejie.jj@10.125.1.214 "mkdir -p ~/tmp; cat > ~/tmp/sh.tar"
# 把远程文件提取到本地(用来批量下载文件)
ssh jiajiejie.jj@10.125.1.214 "cat ~/tmp/sh.tar" | tar -xf - -C ./tmp

减少中间文件,减少读写磁盘,效率更高一些

tar默认只是归档,用来打包文件,不压缩,提供了压缩选项:

# -z压缩为zip格式
tar -a -cf bash.tar.gz "*.sh"
# -j压缩为bunzip2格式
tar -a -cf bash.tar.bz2 "*.sh"
# --lzma压缩为lzma格式(Mac下没有该选项)
tar -a -cf bash.tar.lzma
tar -a -cf filename.tar.lzo

-a/--autocompress选项能够根据文件名自动选择压缩格式,如上例。解压时需要指定压缩格式,如常见的编译安装方法:

# 下载源码
wget http://path/to/source.tar.gz
# 解压
tar -zxvf source.tar.gz
# 或者,-a自动检测压缩格式
tar -axvf source.tar.gz
# 三板斧
cd source
./configure
make
make install

其它选项和用法:

# -A合并包(把2合并到1)
tar -Af bundle1.tar bundle2.tar
# -d比较包里外的文件
tar -df sh1.tar test.sh
# --exclude排除指定文件(排除md文件)
tar -cf bundle.tar "*" --exclude "*.md"
# 或者把需要排除的文件名写入文件,通过-X选项排除
echo "*.md" > tar.ignore
tar -cf bundle.tar "*" -X tar.ignore
# 排除版本控制目录(.git, .svn之类的)
tar --exclude-vcs -zcvf proj.tar.gz ./proj
# --totals输出包文件大小
tar -zcvf dir.tar.gz "*" --totals

P.S.Mac下没有-d--totals选项,低版本tar不支持--exclude-vcs

cpio

tar类似,从stdin接收输入文件名,并把打包文件输出到stdout,多用于rpm软件包,不常用

特点是支持绝对路径tar打包时会把绝对路径转相对路径,cpio不转,如果打包时输入了绝对路径,提取时也按绝对路径恢复,否则,与tar一样,提取到当前目录:

# 只能从stdin接收文件名
# 打包,-o指定输出文件名,-v输出文件列表
find . -name "*.sh" -print | cpio -ov > bash.cpio
# 查看,-i指定输入包名,-t列出包内容
cpio -vit < bundle.cpio
# 提取,-d表示提取操作
cpio -vid < bundle.cpio

注意:cpio覆盖文件没有提示,如果绝对路径对应的文件已存在且比较旧,会被静默替换掉。提取时会自动对比时间戳,如果包里文件新,就替掉,否则跳过提取该文件

P.S.用cpio解压rpm包需要先把rpm包转成cpio包,需要rpm2cpio工具

gzip/gunzip、zcat

这3个命令都能处理gzip压缩文件,gzip命令只能压缩单文件,无法直接处理目录和多个文件。所以一般先用tar命令打包,再用gzip压缩

gzip/gunzip

压缩:

# 会删除test.sh,再生成test.sh.gz
gzip test.sh

解压:

# 删除test.sh.gz,生成test.sh
gunzip test.sh.gz

查看:

# -l列出包内文件名、压缩前后大小、压缩比
gzip -l test.sh.gz

也配合stdin/stdout使用:

# -c输出到stdout
cat sub.sh | gzip -c > sub.sh.gz

这样就保留了原文件sub.sh

其它选项和用法:

# --fast/--best指定压缩级别,分别对应最低/最高压缩比
# 一共有9级,--fast对应1,--best对应9
gzip test.sh --fast
# 等价于
gzip test.sh -1
# tar的-z选项使用gzip压缩
tar -zcvf bash.tar.gz "*.sh"
# 或者,-a自动检测压缩格式
tar -acvf bash.tar.gz "*.sh"
# 或者,先打包再压缩
tar -cvf bash.tar "*.sh"; gzip bash.tar

zcat

不解压,直接读取gzip压缩文件内容,输出到stdout

# 读取gz文件内容
zcat test.sh.gz

P.S.在Mac下zcat会强制给输入文件名添上.Z后缀,导致报错:

zcat: can’t stat: sub.sh.gz (sub.sh.gz.Z): No such file or directory

所以为了保证可移植性,不建议用zcat,可以用gunzip -c代替,更多信息请查看zcat on OS X always appends a .Z to the filename (better use gunzip -c)

bzip2/bunzip2

一般情况下,比gzip压缩比更高,用法与gzip完全一致:

# 压缩
# 会删除test.sh,生成test.sh.bz2
bzip2 test.sh
# 解压
bunzip2 test.sh.bz2

实测发现对于文本文件test.sh,同样火力全开(-9)的情况下,bzip2gzip的压缩比还稍低一点:

-rwxr-xr-x  1 ayqy  staff  1064  4  9 16:31 test.sh
-rwxr-xr-x  1 ayqy  staff  682  4  9 16:31 test.sh.bz2
-rwxr-xr-x  1 ayqy  staff  632  4  9 16:31 test.sh.gz

同样,gzip有的bzip2几乎都有:

# 指定压缩级别
bzip2 -1 test.sh
# tar -j选项压缩成bz2
tar -jcvf bash.tar.gz "*.sh"
# ...同gzip

另外,还有一些独有特性(bzip2有,而gzip没有的):

# -k保留输入文件
bzip2 -k test.sh

P.S.还有一个新一些的压缩工具叫lzma/unlzma,据说压缩比更高,一般不给预装,需要手动装一个,用法与gzip/bzip2一样,二者的所有选项都支持

zip

非常常见的压缩格式,压缩比不很高,但很多网络资源都是这个格式

压缩:

# 生成test.sh.zip,不删除test.sh
zip test.sh.zip test.sh
# -r递归处理目录
zip -r bundle.zip .

解压:

# 解压到当前目录,不会删除test.sh.zip
unzip test.sh.zip

如果发现目标文件已存在,会提示选项是否替换/重命名/取消

更新:

# -u用新文件替掉包里的
zip test.sh.zip -u test.sh

删除:

# -d删除包里指定文件
zip -d test.sh.zip test.sh

查看:

# -l列出包内容
unzip -l test.sh.zip

加密/编码

linux提供了很多加密/编码工具:crypt, gpg, base64等等

crypt

stdin接收文件输入和口令,把加密结果输出到stdout

加密:

# 交互提示输入口令
crypt < test.sh
# 把加密结果重定向到文件
crypt < test.sh > test.lock.sh

解密:

# 同样,只接受来自stdin的,只输出到stdout
crypt 口令 < test.lock.sh > test.sh

P.S.Mac下没有该命令

gpg

GUN privacy guard,采用密钥签名方式,简单用法如下:

# 加密,交互提示输入口令,生成test.sh.gpg
gpg -c test.sh
# 解密,交互提示输入口令
gpg test.sh.gpg

P.S.Mac下没有该命令

base64

与上面2个命令不同,因为很容易解码,与明文没什么区别,只能算作编码方式:

# 编码
base64 test.sh > test.sh.base64
# 解码
base64 -D test.sh.base64 > test.sh

rsync

rsync用来备份系统快照,自带diff和压缩机制,比scp等命令高效,此外还支持网络数据传输,会比较源和目标端的文件,只复制备份更新的,也支持加密选项

备份:

# 备份到本地
# 在当前目录创建bash.bak/bash,复制下面所有内容
# -a归档,-v输出log
rsync -av bash bash.bak
# 备份到远程
rsync -av bash ayqy@<IP>:~/bak

注意:路径格式有讲究,如果源路径结尾有/,就只复制下面所有文件/子文件到目标路径,否则在目标路径下创建对应文件夹,再复制下面所有文件/子文件。一句话,有/不创建文件夹,目标路径结尾的/含义类似

定期备份只需要定期执行相同的命令,自动检查差异和更新并备份

恢复:

# 从本地恢复
rsync -av bash.bak bash
# 从远端恢复
rsync -av ayqy@<IP>:~/bak bash

交换参数位置即可

其它选项和特性:

# -z压缩传输
rsync -zav bash bash.bak
# --exclude排除指定文件
rsync -av bash bash.bak --exclude "*.md"
# --delete备份时删除不存在的文件,默认不会删掉源端已经删掉的东西
rsync -av bash bash.bak --exclude --delete

本文分享自微信公众号 - 前端向后(backward-fe),作者:ayqy

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-05-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 文件_bash笔记3

    UNIX系统把一切都看作文件,甚至命令终端也是和一个设备文件关联在一起的,可以通过向该文件写入来实现向终端写入信息,例如:

    ayqy贾杰
  • 数据库层如何扩展?

    这样看来,似乎只要加几个数据库,共同分担来自应用层的流量就完成了从单库到多库的扩展:

    ayqy贾杰
  • MobX

    也就是说,只要知道哪些东西是状态相关的(源于应用状态),在状态发生变化时,就应该自动完成状态相关的所有事情,自动更新UI,自动缓存数据,自动通知server

    ayqy贾杰
  • Linux数据备份

    本文包含: 备份工具 tar、备份命令 cpio、压缩工具 gzip、bzip2与整盘备份工具 dd

    Theo Tsao
  • Linux常用命令-解压缩篇

    Linux常用命令中,有很多用于对文件的压缩或解压,本文将介绍这些解压缩命令中不常见却非常实用的用法。

    编程珠玑
  • tar包管理入门

    1、在windows下常见的压缩文件有zip和rar,但是linux系统中有gz、tar.gz、taz、bz2、Z、tar,其中windows下的也可以在lin...

    苦咖啡
  • Linux命令之tar——压缩

    通过SSH访问服务器,难免会要用到压缩,解压缩,打包,解包等,这时候tar命令就是是必不可少的一个功能强大的工具。linux中最流行的tar是麻雀虽小,五脏俱全...

    浩Coding
  • 站在巨人的肩膀上,深度学习的9篇开山之作

    大数据文摘
  • 使用zeppelin-solidity建立标准代币

    OpenZeppelin是一个加密合约函数库,提供了兼容ERC20的智能合约,可以使用它来简化钱包的开发过程。 使用npm进行安装

    foochane
  • Android 绿色应用公约

    Android 绿色应用公约(草案) 宗旨 这是一项旨在推动Android生态中的优秀应用共同维护一个更加良性的『设备体验』而发起的开放公约。 设备体验:影响效...

    xiangzhihong

扫码关注云+社区

领取腾讯云代金券