首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

大数据压缩处理:数据分卷压缩分卷压缩解压

最近工作有个需求,用kettle run了好几天的数据,最终产生了1W个文件,94G的大小 公司作为供应商需要提供处理之后的数据给甲方,虽然提供了VPN, 但是网络不稳定会有数据丢失的情况,数据分卷压缩可以很好地解决这个问题...10G的数据,使用好压分卷压缩,每个分卷1G,压缩之后只有6.1G 然后再通过VPN上传到服务器就相对容易能保证数据的完整性 二、数据分卷压缩 1、右键点击文件,选择“添加到压缩文件” ?...压缩之每个分卷压缩文件的文件名以 xxx,7z.00n 结尾,文件大小只有6.1个G ? ?...三、分卷压缩解压 分卷压缩文件只需要解压第一个文件,软件会自动识别压缩文件全部解压 需要注意的是每个分卷文件都缺一不可,并且在同一文件夹下,否则会解压失败 windows解压只需要右键点击第一个文件解压就可以全部解压...linux解压7z文件需要先安装解压工具 yum -y install p7zip 解压命令 7za x filename.7z.001

1.4K10
您找到你想要的搜索结果了吗?
是的
没有找到

ATT&CK视角下的红蓝对抗:十三.内网穿透之Linux文件传输技巧详解

Linux文件传输技巧详解Tar是linux系统中最常用的打包命令。...7.分卷压缩加解密如果我们想对单个文件夹进行分卷压缩加密,我们可以通过Openssl+Gizp+Tar命令的方式来实现分卷压缩加密,Openssl是一个可以实现“密钥证书管理”“对称加密“和“非对称加密...,完成分卷压缩加密操作后,我们再通过head命令来去查看验证下我们分卷压缩加密的文件内容,如图1-10所示。...四.本篇总结本文介绍了Linux系统中最常用的打包命令Tar,以及其参数和功能。Tar本身没有压缩功能,但可以调用压缩功能来实现相关功能。...分卷压缩加解密部分,通过Openssl+Gizp+Tar命令实现分卷压缩加密,Openssl是一个安全套接字层密码库,可以实现“密钥证书管理”“对称加密“和“非对称加密”。

31781

ATT&CK视角下的红蓝对抗:十二.内网穿透之Windows文件传输技术详解

3. 7z文件压缩工具7z是一款压缩比很高的开源软件,支持Windows系统和linux系统版本,当下载并安装完成后,我们需要到安装目录将其命令行工具(7z.exe)及同目录下的7z.dll共同保存到一个文件夹...在这条命令中,-a表示压缩文件,-r表示递归压缩,-v表示分卷压缩,-v参数后面指定了分卷大小,-p表示压缩密码,./test.7z表示分卷压缩加密后的文件名,..../test表示将要分卷压缩加密的文件夹。在次实验中我们通过7z命令参数将大小为26MB,名称为test的文件夹进行了分卷压缩,每个分卷设置大小为2MB,并指定了分卷压缩密码为test。...2)执行完相关分卷压缩命令后,如图1-17所示,可以查看到test文件已经被分卷压缩成了13个加密压缩包。...7z是一款压缩比很高的开源软件,支持Windows和Linux系统版本。通过这些工具,可以实现文件压缩、解压缩、分卷压缩、分卷解压缩等功能。

407150

linux objdump命令,Linux objdump命令

linux常用命令–开发调试篇 前言 Linux常用命令中有一些命令可以在开发或调试过程中起到很好的帮助作用,有些可以帮助了解或优化我们的程序,有些可以帮我们定位疑难问题.本文将简单介绍一下这些命令...u012247418/article/details/80 … Linux 常用命令:开发调试篇 前言 Linux常用命令中有一些命令可以在开发或调试过程中起到很好的帮助作用,有些可以帮助了解或优化我们的程序...示例程序 我们用一个小程序,来 … linux grep命令 linux grep命令1.作用Linux系统中grep命令是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹 配的行打印出来.grep...全称是Global Regular Expressio … Linux常用命令(一) Linux常用命令 1. pwd查看当前路径(Print Working Directory) [root@CentOS...;创建用户成功linux系统会自动创建一个和用户名相同的分组,并将该用户分到改组中 … Linux paste命令 Linux paste命令用于合并文件的列. paste指令会把每个文件以列对列的方式

28K31

rar分卷压缩操作方法

分卷压缩是拆分压缩文件的一部分,通常分卷压缩是在将大型的压缩文件保存到数个磁盘或是可移动磁盘时使用。很多朋友不知道rar分卷压缩的具体操作方法,下面就来看看是怎么操作的吧!...rar压缩简单的说就是将原有的文件数据经过压缩处理之后进行保存的行为动作,很多朋友不知道其实rar压缩有多种形式,常见的有rar分卷压缩,rar加密压缩等,今天我就来说说rar分卷压缩的方法。   ...rar分卷压缩操作方法   1.鼠标右键选择要进行分卷压缩的文件,选择“添加到压缩文件”。...rar分卷压缩图-2   3.点击“确定”,进入压缩过程,压缩完成后,即可看到压缩分卷。 rar压缩图-3 rar压缩图-4   以上就是rar分卷压缩操作方法了

4.5K40

Linux命令 cat命令

那么用这条命令就可以了ls -a-u-F >ttyb。这充分利用了Unix操作系统系统多用户的设计思想。...在Dos里这条命令被写成copy file1+file2 file3 当你用'>'来输出重定向的时候,Unix操作系统马上打开一个空文件来准备存放'>'之前那个文件命令的输出结果。...所以:cat file1 file2>file1这条命令将产生一个错误提示。也许这条命令的本意是增加file1里的内容,但在系统初始这条命令的时候就把file1里的 内容清空了。...Unix常用命令cat命令格式参数   命令:cat   使用权限:所有使用者   使用方式:cat [-AbeEnstTuv] [--help] [--version] fileName   说明:把档案串连接后传到基本输出...我正在为cat命令写文档 我来测试cat向文档追加内容的功能; OK?

62.5K30

linux命令: chown命令

系统管理员经常使用chown命令,在将文件拷贝到另一个用户的名录下之后,让用户拥有使用该文件的权限。...1.命令格式:     chown [选项]… [所有者][:[组]] 文件… 2.命令功能:     通过chown改变文件的拥有者和群组。...3.命令参数:  必要参数:     -c 显示更改的部分的信息     -f 忽略错误信息     -h 修复符号链接     -R 处理指定目录以及其子目录下的所有文件     -v 显示详细的处理信息...当前用户:当前群组> 只有当前用户和群组跟指定的用户和群组相同时才进行改变     –help 显示帮助信息     –version 显示版本信息 4.使用实例: 实例1:改变拥有者和群组   命令...-rw-r--r-- 1 root users 0 11-30 08:39 log2017.log [root@localhost test6]# 说明: 实例3:改变文件群组   命令

34K30

linux tar命令详解_linux gzip命令

linux中最流行的tar是麻雀虽小,五脏俱全,功能强大。 tar命令可以为linux的文件和目录创建档案。...利用tar命令,可以把一大堆的文件和目录全部打包成一个文件,这对于备份文件或将几个文件组合成为一个文件以便于网络传输是非常有用的。 首先要弄清两个概念:打包和压缩。...这源于Linux中很多压缩程序只能针对一个文件进行压缩,这样当你想要压缩一大堆文件时,你得先将这一大堆文件先打成一个包(tar命令),然后再用压缩程序进行压缩(gzip bzip2命令)。...linux下最常用的打包程序就是tar了,使用tar程序打出来的包我们常称为tar包,tar包文件的命令通常都是以.tar结尾的。生成tar包后,就可以用其它的程序来进行压缩。...1.命令格式: tar[必要参数][选择参数][文件] 2.命令功能: 用来压缩和解压文件。tar本身不具有压缩功能。

12.5K20

linux命令大全(手册)_Linux order命令

Linux命令大全(超详细版) 1.简单系统命令 # 查看ip地址 ip a ip addr # ping网络(测试网络连通) ip 目标机器的ip # 查看系统时间 date # 注销 logout...、E盘 目录结构 文件含义 Linux 含义 windows /bin 所有用户可用的基本命令存放的位置 windows没有固定的命令存放目录 /sbin 需要管理员权限才能使用的命令 /boot.../root root账户的家目录,仅供root账户使用 类似windows中的Administrator账户的”我的文档” /lib linux命令和系统启动,需要使用一些公共的依赖,放在lib中,类似我们开发的代码执行需要引入的...↑ #上一行 ↓ #下一行 G #最后一页 g #第一页 空格 #下一页 /关键词 #搜索关键词 # 退出浏览模式,回到Linux命令行模式 q #退出...2、ls命令查看的都是linux的元数据信息 3、数据块中才是文件的真正数据 硬链接 图 命令 ln 源文件 硬链接文件 软连接 图 命令 ln -s 目标文件或文件夹 软连接名字 7.

25.8K20

扫码

添加站长 进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

    运营活动

    活动名称
    广告关闭
    领券