首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

大数据压缩处理:数据分卷压缩分卷压缩解压

最近工作有个需求,用kettle run了好几天的数据,最终产生了1W个文件,94G的大小 公司作为供应商需要提供处理之后的数据给甲方,虽然提供了VPN, 但是网络不稳定会有数据丢失的情况,数据分卷压缩可以很好地解决这个问题...10G的数据,使用好压分卷压缩,每个分卷1G,压缩之后只有6.1G 然后再通过VPN上传到服务器就相对容易能保证数据的完整性 二、数据分卷压缩 1、右键点击文件,选择“添加到压缩文件” ?...2、压缩文件格式选择“7Z”,压缩分卷大小这里选择了1G ? ?  压缩之每个分卷压缩文件的文件名以 xxx,7z.00n 结尾,文件大小只有6.1个G ? ?...三、分卷压缩解压 分卷压缩文件只需要解压第一个文件,软件会自动识别压缩文件全部解压 需要注意的是每个分卷文件都缺一不可,并且在同一文件夹下,否则会解压失败 windows解压只需要右键点击第一个文件解压就可以全部解压...linux解压7z文件需要先安装解压工具 yum -y install p7zip 解压命令 7za x filename.7z.001

1.5K10

ATT&CK视角下的红蓝对抗:十二.内网穿透之Windows文件传输技术详解

3. 7z文件压缩工具7z是一款压缩比很高的开源软件,支持Windows系统和linux系统版本,当下载并安装完成后,我们需要到安装目录将其命令行工具(7z.exe)及同目录下的7z.dll共同保存到一个文件夹...递归压缩-p指定密码-o指定输出目录-v{size}分卷压缩(2)压缩文件假设通过漏洞进入内网获取到权限后,要对其桌面下的test文件夹进行下载读取,考虑到文件存储较大的情况,可利用7z压缩工具的命令行进行压缩...(4)分卷压缩加解密1)当我们需要使用7z压缩工具对数据进行分卷加密压缩时,可以执行7z.exe a -r -v2m -ptest ./test.7z ..../test表示将要分卷压缩加密的文件夹。在次实验中我们通过7z命令参数将大小为26MB,名称为test的文件夹进行了分卷压缩,每个分卷设置大小为2MB,并指定了分卷压缩密码为test。...7z是一款压缩比很高的开源软件,支持Windows和Linux系统版本。通过这些工具,可以实现文件压缩、解压缩、分卷压缩、分卷解压缩等功能。

536150
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    LinuxShell下分卷压缩与解压

    简介 由于网络传输有时会限制单个文件大小,所以对于大文件的传输我们需要将其分卷压缩成多个小的压缩包。...在 LinuxShell 下可以使用 split & cat(系统自带)命令或直接使用压缩软件 rar、zip、7z(需自行安装)命令来实现分卷压缩和解压。...2. rar/7z 命令 2.1 分卷压缩 rar/7z a -v[b,k,m,g,...]...2.2 解压 rar/7z 命令解压很方便,只需对任意一个压缩卷执行解压即可恢复原文件: rar/7z x 3. zip 3.1 分卷压缩 zip 分卷压缩与 rar/7z 有些许不同:...3.2 解压 zip 分卷压缩后会形成若干个 .zxx 文件和一个 .zip 文件,解压时需要根据该 .zip 文件来合并其他所有分卷为单个分卷,然后在利用 unzip 解压即可恢复原文件: zip -

    2.9K20

    【Android 安装包优化】7z 文件压缩格式 ( 7z 格式简介 | 7z 命令使用说明 )

    文章目录 一、7z 文件压缩格式简介 二、7z 命令使用说明 1、压缩命令 2、解压命令 三、7z 命令示例 1、配置 7z 命令环境变量 2、压缩 3、解压缩 四、参考资料 一、7z 文件压缩格式简介...命令使用说明 ---- 1、压缩命令 7z 压缩命令 : 7z a outputFile inputFile -mx=compressDegree -tcompressType 其中 a 代表 add...解压缩命令 : 7z x [输入文件] -o[输出目录] 输入文件指的就是压缩文件 ; 输出目录就是将压缩文件解压到哪 ; 注意 : -o 与输出目录之间没有空格 ; 三、7z 命令示例 ---- 1...、配置 7z 命令环境变量 将 7zip 安装目录 A:\Program Files\7-Zip 配置到 Path 环境变量中 ; 配置环境变量 ; 配置完成后 , 可以在任意目录中调用 7z 命令了...; 2、压缩 7z 压缩命令 : 将本目录压缩到 string.7z 压缩包中 , 压缩等级设置为极限压缩 ; 7z a string.7z .

    2.6K20

    Linux 使用rarcrack暴力破解RAR,ZIP,7Z压缩包

    Linux 使用rarcrack暴力破解RAR,ZIP,7Z压缩包在某些情况下,我们可能会遇到需要破解受密码保护的压缩包的需要。...一种常见的方法是使用暴力破解工具进行尝试,其中rarcrack是一款功能强大的工具,可以在Linux系统上用于破解RAR、ZIP和7Z压缩包。...本文将介绍如何在Linux系统上使用rarcrack进行暴力破解。步骤 1:安装rarcrack在开始之前,我们需要先安装rarcrack。...同样,你也可以使用rarcrack来破解ZIP和7Z压缩包。用法类似,只需要将命令中的.rar替换为.zip或.7z即可。注意事项请注意,暴力破解是一种侵犯隐私和违反法律的行为。...结论本文介绍了如何在Linux系统上使用rarcrack进行暴力破解RAR、ZIP和7Z压缩包。

    2.2K10

    rar分卷压缩操作方法

    分卷压缩是拆分压缩文件的一部分,通常分卷压缩是在将大型的压缩文件保存到数个磁盘或是可移动磁盘时使用。很多朋友不知道rar分卷压缩的具体操作方法,下面就来看看是怎么操作的吧!...rar压缩简单的说就是将原有的文件数据经过压缩处理之后进行保存的行为动作,很多朋友不知道其实rar压缩有多种形式,常见的有rar分卷压缩,rar加密压缩等,今天我就来说说rar分卷压缩的方法。   ...rar分卷压缩操作方法   1.鼠标右键选择要进行分卷压缩的文件,选择“添加到压缩文件”。...rar分卷压缩图-2   3.点击“确定”,进入压缩过程,压缩完成后,即可看到压缩分卷。 rar压缩图-3 rar压缩图-4   以上就是rar分卷压缩操作方法了

    5.3K40

    ATT&CK视角下的红蓝对抗:十三.内网穿透之Linux文件传输技巧详解

    下面将介绍一下具体Linux文件传输技巧详解。二.前文推荐ATT&CK视角下的红蓝对抗:一. 隧道穿透技术详解ATT&CK视角下的红蓝对抗:二. 内网探测协议出网ATT&CK视角下的红蓝对抗:三....Linux文件传输技巧详解Tar是linux系统中最常用的打包命令。...7.分卷压缩加解密如果我们想对单个文件夹进行分卷压缩加密,我们可以通过Openssl+Gizp+Tar命令的方式来实现分卷压缩加密,Openssl是一个可以实现“密钥证书管理”“对称加密“和“非对称加密...四.本篇总结本文介绍了Linux系统中最常用的打包命令Tar,以及其参数和功能。Tar本身没有压缩功能,但可以调用压缩功能来实现相关功能。...分卷压缩加解密部分,通过Openssl+Gizp+Tar命令实现分卷压缩加密,Openssl是一个安全套接字层密码库,可以实现“密钥证书管理”“对称加密“和“非对称加密”。

    40281

    学习笔记:7z在delphi的应用

    所以压缩是不可避免了,delphi中的默认压缩算法整了半天不太好使,就看了看7z,在windows下有dll那么就用它吧。...Dir:待压缩的目录 Path:压缩包中的目录(就是压缩后在压缩包里的根目录) Wildcard:通配符,可以用于过滤文件(*.*) recurse:递归子目录 其他的压缩我就没去试了,生成7z...解压 7z也提供了解压的算法,但是不同的压缩算法生成的压缩包格式是不同的,需要指定解压类型来解压。但我看7z里支持的算法类型还是很全的,于是就整了个If列表。...sExt='.LZH') or (sExt='.LHA') then Result := CreateInArchive(CLSID_CFormatLzh) else if (sExt='.7Z...后记:以前在.net平台上调用过7z,只不过是使用shell方式调用的7z.exe。用命令感觉会麻烦一些,使用dll集成在程序中还是挺方便的。

    2.6K100

    5 种常见的 Linux 打包类型:tar、gzip、bzip2、zip 、 7z

    Linux 系统中,打包和压缩文件是常见的操作。不同的打包类型适用于不同的用途和需求。...本文将详细介绍 5 种常见的 Linux 打包类型,包括tar、gzip、bzip2、zip 和 7z,以及它们的特点、使用方法和适用场景。...7z 压缩后的文件以 .7z 扩展名结尾。它的特点包括: 极高的压缩比:7z 使用 LZMA 压缩算法,可以获得非常高的压缩比,比其他压缩工具更高。...使用示例: # 压缩文件和目录 7z a archive.7z file1 file2 dir1 # 解压缩 7z x archive.7z 结论 在 Linux 系统中,打包和压缩文件是常见的操作...本文介绍了 5 种常见的 Linux 打包类型,包括 tar、gzip、bzip2、zip 和 7z。每种类型都有其特点和适用场景。

    87530

    5 种常见的 Linux 打包类型:tar、gzip、bzip2、zip 、 7z

    本文将详细介绍 5 种常见的 Linux 打包类型,包括tar、gzip、bzip2、zip 和 7z,以及它们的特点、使用方法和适用场景。...7z 压缩后的文件以 .7z 扩展名结尾。它的特点包括:极高的压缩比:7z 使用 LZMA 压缩算法,可以获得非常高的压缩比,比其他压缩工具更高。...支持多种压缩格式:除了自有的 7z 格式,7z 还支持多种其他压缩格式,如zip、gzip等。密码保护:7z 支持对压缩文件设置密码,保护文件的安全性。...使用示例:# 压缩文件和目录7z a archive.7z file1 file2 dir1# 解压缩7z x archive.7z结论在 Linux 系统中,打包和压缩文件是常见的操作,有助于减少文件大小...本文介绍了 5 种常见的 Linux 打包类型,包括 tar、gzip、bzip2、zip 和 7z。每种类型都有其特点和适用场景。

    7.2K20
    领券