打包压缩加密备份_bash笔记6
tar
tape archives，用来打包文件，文件格式具备可移植性
打包（或者叫归档，因为不压缩）：
# -c创建文件，-f指定文件名
tar -cf bundle.tar file1 file2...
# 支持通配符
tar -cf bash_bundle.tar "*.sh"追加：
# -r向已存在的包中添加一个文件
tar -rf bash_bundle.tar new.sh
# 对比时间戳，比同名文件新的话才添加
# vv是为了输出详细日志，没有就表示文件不新，没往进塞
tar -uvvf bash_bundle.tar new.sh删除：
# --delete删除包里的文件
tar -f sh.tar --delete test.shP.S.Mac下没有--delete选项
查看：
# -t查看包内容
tar -tf bash_bundle.tar
# -v看详细点的（文件权限、修改日期，类似于ls -l）
tar -tvf bash_bundle.tar
# -vv看更详细的（比上面多一行包文件格式信息）
tar -tvvf bash_bundle.tarP.S.-v和-vv可以配合其它选项，用来输出log
提取（解压）：
# -x提取到当前目录
tar -xf bash_bundle.tar
# -C提取到指定目录（目录必须已存在，否则报错）
tar -xf bash_bundle.tar -C ./tmp
# 只提取指定文件
tar -C ./tmp -xf bash_bundle.tar ab.diff奇怪的技巧：
# stdin/stdout
# 把打包结果输出到stdout
tar -cf - test.sh
# 从stdin读取包内容
tar -xf - -C ./tmp test.sh配合ssh，就能一管子插到远程机器上，批量传输文件：
# 本地打包，远程提取（用来同步目录）
tar -cf - test.sh | ssh <user>@<IP> "mkdir -p ~/tmp/sh; tar -xf - -C ~/tmp/sh"
# 本地打包，远程保存（用来批量上传文件）
tar -cf - test.sh | ssh jiajiejie.jj@10.125.1.214 "mkdir -p ~/tmp; cat > ~/tmp/sh.tar"
# 把远程文件提取到本地（用来批量下载文件）
ssh jiajiejie.jj@10.125.1.214 "cat ~/tmp/sh.tar" | tar -xf - -C ./tmp减少中间文件，减少读写磁盘，效率更高一些
tar默认只是归档，用来打包文件，不压缩，提供了压缩选项：
# -z压缩为zip格式
tar -a -cf bash.tar.gz "*.sh"
# -j压缩为bunzip2格式
tar -a -cf bash.tar.bz2 "*.sh"
# --lzma压缩为lzma格式（Mac下没有该选项）
tar -a -cf bash.tar.lzma
tar -a -cf filename.tar.lzo-a/--autocompress选项能够根据文件名自动选择压缩格式，如上例。解压时需要指定压缩格式，如常见的编译安装方法：
# 下载源码
wget http://path/to/source.tar.gz
# 解压
tar -zxvf source.tar.gz
# 或者，-a自动检测压缩格式
tar -axvf source.tar.gz
# 三板斧
cd source
./configure
make
make install其它选项和用法：
# -A合并包（把2合并到1）
tar -Af bundle1.tar bundle2.tar
# -d比较包里外的文件
tar -df sh1.tar test.sh
# --exclude排除指定文件（排除md文件）
tar -cf bundle.tar "*" --exclude "*.md"
# 或者把需要排除的文件名写入文件，通过-X选项排除
echo "*.md" > tar.ignore
tar -cf bundle.tar "*" -X tar.ignore
# 排除版本控制目录（.git, .svn之类的）
tar --exclude-vcs -zcvf proj.tar.gz ./proj
# --totals输出包文件大小
tar -zcvf dir.tar.gz "*" --totalsP.S.Mac下没有-d、--totals选项，低版本tar不支持--exclude-vcs
cpio
与tar类似，从stdin接收输入文件名，并把打包文件输出到stdout，多用于rpm软件包，不常用
特点是支持绝对路径：tar打包时会把绝对路径转相对路径，cpio不转，如果打包时输入了绝对路径，提取时也按绝对路径恢复，否则，与tar一样，提取到当前目录：
# 只能从stdin接收文件名
# 打包，-o指定输出文件名，-v输出文件列表
find . -name "*.sh" -print | cpio -ov > bash.cpio
# 查看，-i指定输入包名，-t列出包内容
cpio -vit < bundle.cpio
# 提取，-d表示提取操作
cpio -vid < bundle.cpio注意：cpio覆盖文件没有提示，如果绝对路径对应的文件已存在且比较旧，会被静默替换掉。提取时会自动对比时间戳，如果包里文件新，就替掉，否则跳过提取该文件
P.S.用cpio解压rpm包需要先把rpm包转成cpio包，需要rpm2cpio工具
gzip/gunzip、zcat
这3个命令都能处理gzip压缩文件，gzip命令只能压缩单文件，无法直接处理目录和多个文件。所以一般先用tar命令打包，再用gzip压缩
gzip/gunzip
压缩：
# 会删除test.sh，再生成test.sh.gz
gzip test.sh解压：
# 删除test.sh.gz，生成test.sh
gunzip test.sh.gz查看：
# -l列出包内文件名、压缩前后大小、压缩比
gzip -l test.sh.gz也配合stdin/stdout使用：
# -c输出到stdout
cat sub.sh | gzip -c > sub.sh.gz这样就保留了原文件sub.sh
其它选项和用法：
# --fast/--best指定压缩级别，分别对应最低/最高压缩比
# 一共有9级，--fast对应1，--best对应9
gzip test.sh --fast
# 等价于
gzip test.sh -1
# tar的-z选项使用gzip压缩
tar -zcvf bash.tar.gz "*.sh"
# 或者，-a自动检测压缩格式
tar -acvf bash.tar.gz "*.sh"
# 或者，先打包再压缩
tar -cvf bash.tar "*.sh"; gzip bash.tarzcat
不解压，直接读取gzip压缩文件内容，输出到stdout：
# 读取gz文件内容
zcat test.sh.gzP.S.在Mac下zcat会强制给输入文件名添上.Z后缀，导致报错：
zcat: can’t stat: sub.sh.gz (sub.sh.gz.Z): No such file or directory
所以为了保证可移植性，不建议用zcat，可以用gunzip -c代替，更多信息请查看zcat on OS X always appends a .Z to the filename (better use gunzip -c)
bzip2/bunzip2
一般情况下，比gzip压缩比更高，用法与gzip完全一致：
# 压缩
# 会删除test.sh，生成test.sh.bz2
bzip2 test.sh
# 解压
bunzip2 test.sh.bz2实测发现对于文本文件test.sh，同样火力全开（-9）的情况下，bzip2比gzip的压缩比还稍低一点：
-rwxr-xr-x 1 ayqy staff 1064 4 9 16:31 test.sh
-rwxr-xr-x 1 ayqy staff 682 4 9 16:31 test.sh.bz2
-rwxr-xr-x 1 ayqy staff 632 4 9 16:31 test.sh.gz同样，gzip有的bzip2几乎都有：
# 指定压缩级别
bzip2 -1 test.sh
# tar -j选项压缩成bz2
tar -jcvf bash.tar.gz "*.sh"
# ...同gzip另外，还有一些独有特性（bzip2有，而gzip没有的）：
# -k保留输入文件
bzip2 -k test.shP.S.还有一个新一些的压缩工具叫lzma/unlzma，据说压缩比更高，一般不给预装，需要手动装一个，用法与gzip/bzip2一样，二者的所有选项都支持
zip
非常常见的压缩格式，压缩比不很高，但很多网络资源都是这个格式
压缩：
# 生成test.sh.zip，不删除test.sh
zip test.sh.zip test.sh
# -r递归处理目录
zip -r bundle.zip .解压：
# 解压到当前目录，不会删除test.sh.zip
unzip test.sh.zip如果发现目标文件已存在，会提示选项是否替换/重命名/取消
更新：
# -u用新文件替掉包里的
zip test.sh.zip -u test.sh删除：
# -d删除包里指定文件
zip -d test.sh.zip test.sh查看：
# -l列出包内容
unzip -l test.sh.zip加密/编码
linux提供了很多加密/编码工具：crypt, gpg, base64等等
crypt
从stdin接收文件输入和口令，把加密结果输出到stdout
加密：
# 交互提示输入口令
crypt < test.sh
# 把加密结果重定向到文件
crypt < test.sh > test.lock.sh解密：
# 同样，只接受来自stdin的，只输出到stdout
crypt 口令 < test.lock.sh > test.shP.S.Mac下没有该命令
gpg
GUN privacy guard，采用密钥签名方式，简单用法如下：
# 加密，交互提示输入口令，生成test.sh.gpg
gpg -c test.sh
# 解密，交互提示输入口令
gpg test.sh.gpgP.S.Mac下没有该命令
base64
与上面2个命令不同，因为很容易解码，与明文没什么区别，只能算作编码方式：
# 编码
base64 test.sh > test.sh.base64
# 解码
base64 -D test.sh.base64 > test.shrsync
rsync用来备份系统快照，自带diff和压缩机制，比scp等命令高效，此外还支持网络数据传输，会比较源和目标端的文件，只复制备份更新的，也支持加密选项
备份：
# 备份到本地
# 在当前目录创建bash.bak/bash，复制下面所有内容
# -a归档，-v输出log
rsync -av bash bash.bak
# 备份到远程
rsync -av bash ayqy@<IP>:~/bak注意：路径格式有讲究，如果源路径结尾有/，就只复制下面所有文件/子文件到目标路径，否则在目标路径下创建对应文件夹，再复制下面所有文件/子文件。一句话，有/不创建文件夹，目标路径结尾的/含义类似
定期备份只需要定期执行相同的命令，自动检查差异和更新并备份
恢复：
# 从本地恢复
rsync -av bash.bak bash
# 从远端恢复
rsync -av ayqy@<IP>:~/bak bash交换参数位置即可
其它选项和特性：
# -z压缩传输
rsync -zav bash bash.bak
# --exclude排除指定文件
rsync -av bash bash.bak --exclude "*.md"
# --delete备份时删除不存在的文件，默认不会删掉源端已经删掉的东西
rsync -av bash bash.bak --exclude --delete