首页
学习
活动
专区
圈层
工具
发布

大数据压缩处理:数据分卷压缩和分卷压缩解压

最近工作有个需求,用kettle run了好几天的数据,最终产生了1W个文件,94G的大小 公司作为供应商需要提供处理之后的数据给甲方,虽然提供了VPN, 但是网络不稳定会有数据丢失的情况,数据分卷压缩可以很好地解决这个问题...10G的数据,使用好压分卷压缩,每个分卷1G,压缩之后只有6.1G 然后再通过VPN上传到服务器就相对容易能保证数据的完整性 二、数据分卷压缩 1、右键点击文件,选择“添加到压缩文件” ?...2、压缩文件格式选择“7Z”,压缩分卷大小这里选择了1G ? ?  压缩之每个分卷压缩文件的文件名以 xxx,7z.00n 结尾,文件大小只有6.1个G ? ?...三、分卷压缩解压 分卷压缩文件只需要解压第一个文件,软件会自动识别压缩文件全部解压 需要注意的是每个分卷文件都缺一不可,并且在同一文件夹下,否则会解压失败 windows解压只需要右键点击第一个文件解压就可以全部解压...linux解压7z文件需要先安装解压工具 yum -y install p7zip 解压命令 7za x filename.7z.001

3.1K10

ATT&CK视角下的红蓝对抗:十二.内网穿透之Windows文件传输技术详解

3. 7z文件压缩工具7z是一款压缩比很高的开源软件,支持Windows系统和linux系统版本,当下载并安装完成后,我们需要到安装目录将其命令行工具(7z.exe)及同目录下的7z.dll共同保存到一个文件夹...递归压缩-p指定密码-o指定输出目录-v{size}分卷压缩(2)压缩文件假设通过漏洞进入内网获取到权限后,要对其桌面下的test文件夹进行下载读取,考虑到文件存储较大的情况,可利用7z压缩工具的命令行进行压缩...(4)分卷压缩加解密1)当我们需要使用7z压缩工具对数据进行分卷加密压缩时,可以执行7z.exe a -r -v2m -ptest ./test.7z ..../test表示将要分卷压缩加密的文件夹。在次实验中我们通过7z命令参数将大小为26MB,名称为test的文件夹进行了分卷压缩,每个分卷设置大小为2MB,并指定了分卷压缩密码为test。...7z是一款压缩比很高的开源软件,支持Windows和Linux系统版本。通过这些工具,可以实现文件压缩、解压缩、分卷压缩、分卷解压缩等功能。

1.1K150
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    LinuxShell下分卷压缩与解压

    简介 由于网络传输有时会限制单个文件大小,所以对于大文件的传输我们需要将其分卷压缩成多个小的压缩包。...在 LinuxShell 下可以使用 split & cat(系统自带)命令或直接使用压缩软件 rar、zip、7z(需自行安装)命令来实现分卷压缩和解压。...2. rar/7z 命令 2.1 分卷压缩 rar/7z a -v[b,k,m,g,...]...2.2 解压 rar/7z 命令解压很方便,只需对任意一个压缩卷执行解压即可恢复原文件: rar/7z x 3. zip 3.1 分卷压缩 zip 分卷压缩与 rar/7z 有些许不同:...3.2 解压 zip 分卷压缩后会形成若干个 .zxx 文件和一个 .zip 文件,解压时需要根据该 .zip 文件来合并其他所有分卷为单个分卷,然后在利用 unzip 解压即可恢复原文件: zip -

    3.9K20

    推荐5款跨平台、功能稳定的压缩软件

    基本都是免费开源、极速解压 ▌1. 7-Zip(7-zip.org) 定位:开源免费压缩工具,以7Z格式高压缩率著称(比ZIP高30%-70%)。...核心能力:支持7Z、ZIP、RAR、TAR等80+格式,AES-256加密、分卷压缩,命令行/图形界面双模式,极限压缩与数据备份。...核心能力:支持RAR5、7Z、ZIPX等主流格式,解压速度快,支持批量解压、编码自动识别,避免文件名乱码。...核心能力:AES-256加密、分卷压缩、文件修复(独家专利)、自解压包制作,定位传输大型/受损压缩包。...PeaZip 定位:跨平台开源压缩工具,支持Windows/macOS/Linux。 核心能力:兼容180+格式,支持加密、分卷、批量操作,内置文件校验与哈希计算,适合跨系统文件管理。

    2.4K10

    开源的文件压缩和解压缩软件7-Zip

    功能特点: 多种格式支持: 7-Zip支持压缩和解压缩多种格式的文件,包括7z、XZ、BZIP2、GZIP、TAR、ZIP和WIM等。...分卷压缩和自解压功能: 7-Zip支持将大文件分卷压缩成多个小文件,并且可以创建自解压的压缩包,方便在没有安装压缩软件的环境中解压缩文件。...跨平台支持: 7-Zip不仅支持Windows平台,还提供了基于命令行的版本,可以在Linux和macOS等操作系统上使用。 2....高压缩比:使用LZMA算法的7z格式通常能够提供较高的压缩比,节省存储空间。 强大的加密功能:支持AES-256加密算法,确保数据的安全性。...跨平台支持:不仅支持Windows平台,还提供了Linux和macOS等操作系统的版本。 缺点: 用户界面相对简单:与一些商业压缩软件相比,7-Zip的用户界面可能显得比较简单,不够直观。

    2.2K10

    运维:跨平台非常好用的压缩软件PeaZip介绍

    它不仅适用于 Windows 操作系统,同样支持 Linux 和 macOS,为用户提供了一个跨平台的文件管理解决方案。...PeaZip 支持超过 200 种压缩格式及其变体,包括但不限于 7Z、ACE、ARC、BZ2、CAB、GZ、ISO、PAQ、PEA、RAR、TAR、WIM、ZIP 和 ZIPX 等。...二、软件功能 2.1 广泛的格式支持 除了自家独特的PEA压缩格式,它还广泛兼容市面上绝大多数主流格式,如7Z、RAR、ZIP、TAR等。完全满足我们日常解压缩的问题。...2.2 分卷压缩与合并 当需要将大文件分割成多个小文件以便于存储或传输时,PeaZip 的分卷压缩功能显得尤为实用。它可以将一个大文件按照指定大小分割成多个部分,每个部分都可以独立保存和传输。

    1.7K20

    手机常用压缩工具下载,RAR,ZIP,7Z解压缩,zip解压缩,Bandizip,ZArchiver等解压工具

    安装7Z解压缩,RAR,Bandizip,ZArchiver等apk等地址7Z解压缩看名字就知道,解压缩的功能特色: 支持RAR,ZIP,好多ZIP解压不了的可以用到了。...ZArchiver支持以下文件格式操作:创建压缩类型格式:7z (7zip), zip, bzip2 (bz2), gzip (gz), XZ, tar;支持解压类型格式:7z (7zip), zip,...、tar、xz等格式的文件,支持恢复记录,恢复卷,固实压缩,多核压缩,设置加密,设置配置文件,设置默认配置,重新组织配置文件,并且可设置分卷压缩文件大小,恢复分卷数量,支持创建每个压缩卷后自动暂停,支持显示压缩时间...功能特点:支持解压格式有ZIP,7Z,RAR,TAR,APK,GZ,BZ2等几十种格式;支持ZIP,7Z,RAR 等分卷压缩包解压;支持ZIP,7Z,RAR格式的加密文件解压;支持文件加密后分享传输;专业的本地文件管理...支持解压ZIP、7z、RAR文件。支持在生成压缩文件时设置密码。支持解压带有密码保护的ZIP、RAR、7z文件。支持压缩任意格式的照片、图片、视频。支持压缩和解压 微信/QQ里的文件。

    1.8K10

    压缩包,所有人都离开的软件,好像就省它没广告了

    其核心优势在于: 压缩比领先:采用改进的LZ77变体算法,在文本和二进制文件上比ZIP高10-20% 功能创新:率先支持分卷压缩、冗余数据修复和Unicode文件名,完美适配早期中文环境 专利壁垒:通过严格的专利控制...中国互联网早期的盗版软件分发场景中,RAR的分卷压缩功能完美适配256MB U盘的传输需求,而修复功能则提高了受损压缩包的可用性。...2.3 7z的开源逆袭与技术极限 开源社区对专利格式的反击诞生了7z格式。2000年发布的7-Zip采用LZMA算法,实现了当时最高的压缩比——比ZIP小30-70%,甚至超过RAR。...WinRAR 官方地址:https://www.rarlab.com 功能:商业软件,高压缩率,支持RAR/ZIP等格式,分卷压缩、自解压,可修复受损压缩包,AES-256加密,Windows平台主流。...快压 官方地址:https://www.kuaiya.cn 功能:免费,支持主流压缩格式,具备智能高速压缩、分卷压缩、加密压缩等功能,可解压受损压缩包,界面简洁易用。

    49910

    【Android 安装包优化】7z 文件压缩格式 ( 7z 格式简介 | 7z 命令使用说明 )

    文章目录 一、7z 文件压缩格式简介 二、7z 命令使用说明 1、压缩命令 2、解压命令 三、7z 命令示例 1、配置 7z 命令环境变量 2、压缩 3、解压缩 四、参考资料 一、7z 文件压缩格式简介...命令使用说明 ---- 1、压缩命令 7z 压缩命令 : 7z a outputFile inputFile -mx=compressDegree -tcompressType 其中 a 代表 add...解压缩命令 : 7z x [输入文件] -o[输出目录] 输入文件指的就是压缩文件 ; 输出目录就是将压缩文件解压到哪 ; 注意 : -o 与输出目录之间没有空格 ; 三、7z 命令示例 ---- 1...、配置 7z 命令环境变量 将 7zip 安装目录 A:\Program Files\7-Zip 配置到 Path 环境变量中 ; 配置环境变量 ; 配置完成后 , 可以在任意目录中调用 7z 命令了...; 2、压缩 7z 压缩命令 : 将本目录压缩到 string.7z 压缩包中 , 压缩等级设置为极限压缩 ; 7z a string.7z .

    4.1K20

    【安装库】matlab2020b安装及百度网盘提速

    这个是在线版安装包,我们是离线安装可以不用管,删了也行 二,解压(解压密码:0daydown) 下载完后的目录,文件是分卷压缩的,只要解压第一卷它就会自动解压 ‭‭‭‭ 只要能解压就是解压的全部,...因为分卷压缩只要缺一卷都无法解压的 win10解压分卷需要额外下载压缩软件 推荐压缩软件(安装一个就行): bandzip 7zip winrar(这个要钱) 举个栗子: bandzip:...7z: WinRAR:这玩意我没有就不演示了 解压完后得到 (懂的可以对一下md5或者sha1以确保文件完整性) 三,安装 先把网络断了(开飞行模式,或者禁用网卡之类的,反正断网就行,在学校的话直接把那个天翼客户端断开就行了

    9K21

    玩转服务器—Linux文件压缩与解压一览表

    压缩与解压的操作,大家都再熟悉不过,在 Linux 系统中,当然也提供了多种压缩工具。正因如此,不同格式的选择和使用常常让人感到困惑。下面让我们来一起梳理一下。...它在 Linux 和类 Unix 系统中非常流行,并且常用于软件包的分发和备份。...tar -xf archive.tar.xz 注:如果记不住解压gz、bz2、xz压缩文件的具体参数,只需要记住tar -xf 即可,会自带识别文件后缀,使用对应的工具来解压 .zip 文件 在 Linux...RAR 文件格式在 Linux 中通常也不是内建支持的,但可以通过安装unrar 或 rar来处理 .rar 文件。安装可以系统管理员安装也可以自己安装。...7z 格式支持多种压缩算法、加密、分卷压缩等高级功能,广泛用于高效的文件压缩和存储。

    1.2K10

    7-Zip下载安装使用教程 官方网站怎么下载?7zip和bandizip选哪个?选哪个?如何选择?

    以下是对它们的综合比较以及选择建议: 下载地址:点击这里获取 更多请看这里: 三款压缩包解压,BANDIZIP、win_RAR、7-Zip,压缩/解压缩:7z, XZ, BZIP2, GZIP, TAR...格式支持 7-Zip:支持创建和解压多种压缩文件格式,包括其自有的7z格式,以及广泛使用的ZIP、GZIP、BZIP2等。...以下是它们的对比分析: 压缩性能: 7-Zip:以高压缩比著称,其采用的LZMA和LZMA2算法能够极大程度地减小文件体积,尤其是在处理7z格式文件时优势明显,能有效节省存储空间,但压缩速度相对较慢...Bandizip:免费版就具备分卷压缩、多核高速压缩等功能,付费版本还可使用密码管理器、修复压缩包等更多实用功能,它也支持AES-256加密算法,能满足用户对文件加密的需求。...平台支持: 7-Zip:支持Windows、Linux等多个平台,跨平台性好。 Bandizip:仅支持Windows和Mac系统,平台支持范围相对较窄。

    2.4K10

    Linux 使用rarcrack暴力破解RAR,ZIP,7Z压缩包

    Linux 使用rarcrack暴力破解RAR,ZIP,7Z压缩包在某些情况下,我们可能会遇到需要破解受密码保护的压缩包的需要。...一种常见的方法是使用暴力破解工具进行尝试,其中rarcrack是一款功能强大的工具,可以在Linux系统上用于破解RAR、ZIP和7Z压缩包。...本文将介绍如何在Linux系统上使用rarcrack进行暴力破解。步骤 1:安装rarcrack在开始之前,我们需要先安装rarcrack。...同样,你也可以使用rarcrack来破解ZIP和7Z压缩包。用法类似,只需要将命令中的.rar替换为.zip或.7z即可。注意事项请注意,暴力破解是一种侵犯隐私和违反法律的行为。...结论本文介绍了如何在Linux系统上使用rarcrack进行暴力破解RAR、ZIP和7Z压缩包。

    6.2K11

    rar分卷压缩操作方法

    分卷压缩是拆分压缩文件的一部分,通常分卷压缩是在将大型的压缩文件保存到数个磁盘或是可移动磁盘时使用。很多朋友不知道rar分卷压缩的具体操作方法,下面就来看看是怎么操作的吧!...rar压缩简单的说就是将原有的文件数据经过压缩处理之后进行保存的行为动作,很多朋友不知道其实rar压缩有多种形式,常见的有rar分卷压缩,rar加密压缩等,今天我就来说说rar分卷压缩的方法。   ...rar分卷压缩操作方法   1.鼠标右键选择要进行分卷压缩的文件,选择“添加到压缩文件”。...rar分卷压缩图-2   3.点击“确定”,进入压缩过程,压缩完成后,即可看到压缩分卷。 rar压缩图-3 rar压缩图-4   以上就是rar分卷压缩操作方法了

    6.9K40
    领券