首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

大数据压缩处理:数据分卷压缩和分卷压缩解压

最近工作有个需求,用kettle run了好几天的数据,最终产生了1W个文件,94G的大小 公司作为供应商需要提供处理之后的数据给甲方,虽然提供了VPN, 但是网络不稳定会有数据丢失的情况,数据分卷压缩可以很好地解决这个问题...10G的数据,使用好压分卷压缩,每个分卷1G,压缩之后只有6.1G 然后再通过VPN上传到服务器就相对容易能保证数据的完整性 二、数据分卷压缩 1、右键点击文件,选择“添加到压缩文件” ?...2、压缩文件格式选择“7Z”,压缩分卷大小这里选择了1G ? ?  压缩之每个分卷压缩文件的文件名以 xxx,7z.00n 结尾,文件大小只有6.1个G ? ?...三、分卷压缩解压 分卷压缩文件只需要解压第一个文件,软件会自动识别压缩文件全部解压 需要注意的是每个分卷文件都缺一不可,并且在同一文件夹下,否则会解压失败 windows解压只需要右键点击第一个文件解压就可以全部解压...linux解压7z文件需要先安装解压工具 yum -y install p7zip 解压命令 7za x filename.7z.001

1.4K10

ATT&CK视角下的红蓝对抗:十三.内网穿透之Linux文件传输技巧详解

Linux文件传输技巧详解Tar是linux系统中最常用的打包命令。...压缩文件前面我们已经说过如果想压缩一个文件夹我们必须先将其打包,但大多数情况我们是打包压缩一起执行,这里有两个参数供我们选择,-z参数是压缩或解压缩.tar.gz格式文件,而-j参数压缩或解压缩.tar.bz2...7.分卷压缩加解密如果我们想对单个文件夹进行分卷压缩加密,我们可以通过Openssl+Gizp+Tar命令的方式来实现分卷压缩加密,Openssl是一个可以实现“密钥证书管理”“对称加密“和“非对称加密...四.本篇总结本文介绍了Linux系统中最常用的打包命令Tar,以及其参数和功能。Tar本身没有压缩功能,但可以调用压缩功能来实现相关功能。...分卷压缩加解密部分,通过Openssl+Gizp+Tar命令实现分卷压缩加密,Openssl是一个安全套接字层密码库,可以实现“密钥证书管理”“对称加密“和“非对称加密”。

36281

rar分卷压缩操作方法

分卷压缩是拆分压缩文件的一部分,通常分卷压缩是在将大型的压缩文件保存到数个磁盘或是可移动磁盘时使用。很多朋友不知道rar分卷压缩的具体操作方法,下面就来看看是怎么操作的吧!...rar压缩简单的说就是将原有的文件数据经过压缩处理之后进行保存的行为动作,很多朋友不知道其实rar压缩有多种形式,常见的有rar分卷压缩,rar加密压缩等,今天我就来说说rar分卷压缩的方法。   ...rar分卷压缩操作方法   1.鼠标右键选择要进行分卷压缩的文件,选择“添加到压缩文件”。...rar图-1   2.在“压缩文件名和参数”界面中,选择rar格式,压缩分卷大小根据要压缩的文件大小和要压缩成分卷的个数设置,小编这里设置每个分卷的大小为1M,即可压缩成9个分卷,最后一个分卷不足1MB...rar分卷压缩图-2   3.点击“确定”,进入压缩过程,压缩完成后,即可看到压缩分卷。 rar压缩图-3 rar压缩图-4   以上就是rar分卷压缩操作方法了

4.8K40

LinuxShell下分卷压缩与解压

简介 由于网络传输有时会限制单个文件大小,所以对于大文件的传输我们需要将其分卷压缩成多个小的压缩包。...在 LinuxShell 下可以使用 split & cat(系统自带)命令或直接使用压缩软件 rar、zip、7z(需自行安装)命令来实现分卷压缩和解压。...2. rar/7z 命令 2.1 分卷压缩 rar/7z a -v[b,k,m,g,...]...2.2 解压 rar/7z 命令解压很方便,只需对任意一个压缩卷执行解压即可恢复原文件: rar/7z x 3. zip 3.1 分卷压缩 zip 分卷压缩与 rar/7z 有些许不同:...3.2 解压 zip 分卷压缩后会形成若干个 .zxx 文件和一个 .zip 文件,解压时需要根据该 .zip 文件来合并其他所有分卷为单个分卷,然后在利用 unzip 解压即可恢复原文件: zip -

2.6K20

如何使用宝塔 linux 面板上传文件、解压缩 zip 和 tar.gz

使用宝塔 linux 面板的初学者有时候搞不懂一些操作设置,比如有人会问:如何使用宝塔 linux 面板上传文件?宝塔 linux 如何解压上传的文件?下面魏艾斯博客就来解答一下。 ?...首先我们登陆宝塔 linux 面板的管理后台,还没有安装的参考宝塔服务器管理助手 Linux 面版-安装教程,不懂怎么使用的参考宝塔服务器管理助手 Linux 面版-使用教程。...老魏上传了一个 zip 压缩包来举例子,因为接下来要说的是如何使用宝塔 linux 面板解压缩 zip 文件。 目前宝塔 linux 面板支持的压缩格式有 zip和 tar.gz。...关于 tar.gz 压缩格式,这里有一篇教程windows 下如何生成 tar 或 gz 压缩包,你从网上下载的 wordpress 安装程序,会有 zip 格式和 tar.gz 格式两种,tar.gz...宝塔 linux 面板解压缩 tar.gz 文件也和上面一样的操作这里就不再重复了。 ?

6K40

python实现zip分卷压缩与解压

1. python实现zip分卷压缩 WinHex 开始16进制一个一个文件对比 WinRar 创建的分卷压缩和单个 zip 文件的差异。...如果想把单个大文件 test.zip -> 分卷文件 test.z01、test.z02、test.zip 首先,在创建的第一个分卷文件 test.z01的前面加上 \x50\x4b\x07\x08 这个是分卷压缩的文件头...其实单个压缩文件本身 header 就有这个了,而分卷压缩的需要两个emmm。...之后便是从单个大压缩文件文件test.zip中读取 "一个分卷大小 -4 个字节"的数据,写入test.z01中,如何接着读取一个分卷大小的数据,写入test.z02,以此类推,最后一个分卷文件名也是test.zip...100MB path = zip_by_volume(file, volume_size) print(path) # 输出分卷压缩文件的路径  1.2 缺点: 该方法创建分卷压缩的时候

1.7K20
领券