首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

大数据压缩处理:数据分卷压缩分卷压缩解压

最近工作有个需求,用kettle run了好几天的数据,最终产生了1W个文件,94G的大小 公司作为供应商需要提供处理之后的数据给甲方,虽然提供了VPN, 但是网络不稳定会有数据丢失的情况,数据分卷压缩可以很好地解决这个问题...10G的数据,使用好压分卷压缩,每个分卷1G,压缩之后只有6.1G 然后再通过VPN上传到服务器就相对容易能保证数据的完整性 二、数据分卷压缩 1、右键点击文件,选择“添加到压缩文件” ?...压缩之每个分卷压缩文件的文件名以 xxx,7z.00n 结尾,文件大小只有6.1个G ? ?...三、分卷压缩解压 分卷压缩文件只需要解压第一个文件,软件会自动识别压缩文件全部解压 需要注意的是每个分卷文件都缺一不可,并且在同一文件夹下,否则会解压失败 windows解压只需要右键点击第一个文件解压就可以全部解压...linux解压7z文件需要先安装解压工具 yum -y install p7zip 解压命令 7za x filename.7z.001

1.4K10
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    LinuxShell下分卷压缩与解压

    简介 由于网络传输有时会限制单个文件大小,所以对于大文件的传输我们需要将其分卷压缩成多个小的压缩包。...在 LinuxShell 下可以使用 split & cat(系统自带)命令或直接使用压缩软件 rar、zip、7z(需自行安装)命令来实现分卷压缩和解压。...2. rar/7z 命令 2.1 分卷压缩 rar/7z a -v[b,k,m,g,...]...2.2 解压 rar/7z 命令解压很方便,只需对任意一个压缩卷执行解压即可恢复原文件: rar/7z x 3. zip 3.1 分卷压缩 zip 分卷压缩与 rar/7z 有些许不同:...3.2 解压 zip 分卷压缩后会形成若干个 .zxx 文件和一个 .zip 文件,解压时需要根据该 .zip 文件来合并其他所有分卷为单个分卷,然后在利用 unzip 解压即可恢复原文件: zip -

    2.9K20

    rar分卷压缩操作方法

    分卷压缩是拆分压缩文件的一部分,通常分卷压缩是在将大型的压缩文件保存到数个磁盘或是可移动磁盘时使用。很多朋友不知道rar分卷压缩的具体操作方法,下面就来看看是怎么操作的吧!...rar压缩简单的说就是将原有的文件数据经过压缩处理之后进行保存的行为动作,很多朋友不知道其实rar压缩有多种形式,常见的有rar分卷压缩,rar加密压缩等,今天我就来说说rar分卷压缩的方法。   ...rar分卷压缩操作方法   1.鼠标右键选择要进行分卷压缩的文件,选择“添加到压缩文件”。...rar分卷压缩图-2   3.点击“确定”,进入压缩过程,压缩完成后,即可看到压缩分卷。 rar压缩图-3 rar压缩图-4   以上就是rar分卷压缩操作方法了

    5.2K40

    ATT&CK视角下的红蓝对抗:十三.内网穿透之Linux文件传输技巧详解

    下面将介绍一下具体Linux文件传输技巧详解。二.前文推荐ATT&CK视角下的红蓝对抗:一. 隧道穿透技术详解ATT&CK视角下的红蓝对抗:二. 内网探测协议出网ATT&CK视角下的红蓝对抗:三....Linux文件传输技巧详解Tar是linux系统中最常用的打包命令。...7.分卷压缩加解密如果我们想对单个文件夹进行分卷压缩加密,我们可以通过Openssl+Gizp+Tar命令的方式来实现分卷压缩加密,Openssl是一个可以实现“密钥证书管理”“对称加密“和“非对称加密...四.本篇总结本文介绍了Linux系统中最常用的打包命令Tar,以及其参数和功能。Tar本身没有压缩功能,但可以调用压缩功能来实现相关功能。...分卷压缩加解密部分,通过Openssl+Gizp+Tar命令实现分卷压缩加密,Openssl是一个安全套接字层密码库,可以实现“密钥证书管理”“对称加密“和“非对称加密”。

    40081

    ATT&CK视角下的红蓝对抗:十二.内网穿透之Windows文件传输技术详解

    3. 7z文件压缩工具7z是一款压缩比很高的开源软件,支持Windows系统和linux系统版本,当下载并安装完成后,我们需要到安装目录将其命令行工具(7z.exe)及同目录下的7z.dll共同保存到一个文件夹...在这条命令中,-a表示压缩文件,-r表示递归压缩,-v表示分卷压缩,-v参数后面指定了分卷大小,-p表示压缩密码,./test.7z表示分卷压缩加密后的文件名,..../test表示将要分卷压缩加密的文件夹。在次实验中我们通过7z命令参数将大小为26MB,名称为test的文件夹进行了分卷压缩,每个分卷设置大小为2MB,并指定了分卷压缩密码为test。...2)执行完相关分卷压缩命令后,如图1-17所示,可以查看到test文件已经被分卷压缩成了13个加密压缩包。...7z是一款压缩比很高的开源软件,支持Windows和Linux系统版本。通过这些工具,可以实现文件压缩、解压缩、分卷压缩、分卷解压缩等功能。

    529150

    邮件发送,附件太大怎么办 → 那就用分卷压缩

    分卷压缩   关于概念,不做介绍,大家自行去搜索,重点给大家演示实现   借助第三方组件: zip4j   很容易实现分卷压缩 /** * 分卷压缩 * @param sizeThreshold...mysql-8.0.25-winx64.zip (其他的不用管),即可得到最初的源文件: mysql-8.0.25-winx64.zip 邮件大附件   相信此时,大家应该知道怎么处理了吧   先进行分卷压缩...,然后一封邮件发送一个附件,以多封邮件的方式将最初的源文件发送出去   收到人收到附件后,将全部附件下载到同个目录下,然后进行解压即可得到最初的源文件   其实就是将 分卷压缩 与 发送附件 结合起来即可...i++) { // 可以异步发送 sendMailNick("邮件正文", MAIL_TO, Arrays.asList(fileList.get(i)), "大文件,分卷压缩...(" + (i+1) + "/" + fileList.size() + ")"); } } /** * 分卷压缩 * @param sizeThreshold 分卷阈值,即多大进行一次分卷

    37240

    linux系统开mc服务器

    之前在课堂或者自学有了一定了linux基础,现在是实战啦! 1....先前往java官网,找到java的linux安装包,如下图 下载到本地后,在本地使用如下指令进行一个上传(到服务器,其中xx.xxx.xxx.xxx代表着服务器的ip地址)【下载则地址反过来】 scp...jre-8u333-linux-x64.rpm root@xx.xxx.xxx.xxx:/home/jre-8u333-linux-x64.rpm 上传成功后,服务器来到home目录,使用ls查看是否存在该文件...如果存在,可以使用如下指令对rpm进行一个安装: rpm -ivh jre-8u333-linux-x64.rpm 其中i表示install,v表示安装过程可视化,h表示显示进度(#####) 如果在服务器安装成功后...3. mc服务器的迁移 首先将原服务器的mc服务所在文件夹进行分卷压缩,得到若干卷。然后通过scp指令上传到linux服务器。

    5.2K10

    什么叫0day和Warez? 游戏网络应用

    �o�oTT在这里简略说明一下0day的主要发布类型:基于发行形式~~~~~~ISO�o�o某些软件为了保留原汁原味,就将原版光碟做成ISO、Bin文件,然后用winRAR分卷压缩后,加上nfo说明档发行...所谓RIP就是只有软件执行的必要部分,其它说明文件、教学视频、附赠的其它试用软件都删除了,然后用winRAR分卷压缩后,加上nfo说明档发行。...�o�oTT在这里简略说明一下0day的主要发布类型:基于发行形式~~~~~~ISO�o�o某些软件为了保留原汁原味,就将原版光碟做成ISO、Bin文件,然后用winRAR分卷压缩后,加上nfo说明档发行...所谓RIP就是只有软件执行的必要部分,其它说明文件、教学视频、附赠的其它试用软件都删除了,然后用winRAR分卷压缩后,加上nfo说明档发行。...所谓RIP就是只有软件执行的必要部分,其它说明文件、教学视频、附赠的其它试用软件都删除了,然后用winRAR分卷压缩后,加上nfo说明档发行。

    1.3K40
    领券