大批量散装文件的迁移 原

有幸我遇到这样一个数据迁移场景: 有很多小文件散落到在不同的文件夹,我需要将这些小文件按照一定的规则找出来,然后将他转移到另外的一个文件系统。如果看到这个可能还会说这个场景不算奇葩,但是事情往往就是万万想不到,这个场景之下有一个比较恶心的网络策略限制,本来数据要从a机器传到b机器,但是a机器只能联通b机器的80端口。

开始我想通过ssh隧道技术将本地的ssh端口转接到80端口,可是这样一搞,ssh直接拒绝连接,我猜测ssh做了特别严格的限制,这也就意味着scp的方式是没办法了。

然后又想ftp能不能做到,可是ftp和nfs很类似,有专用的控制端口和数据传输端口,也就是说ftp至少需要两个端口才能完成数据传输。

网上有两个办法比较可行: nc -l 80 > file nc ip 80 < file 这种方式有一个缺陷,每次有且只能有一个客户端传输数据,否则数据就会混淆 不过这样的方式比较临时和轻便,是一个非常临时的高级办法。

开始我对rsync有一个错误的认识,我总以为rsync是一个同步对比文件夹的软件,把他的重点放在了文件的同步对比上了,rsync可以使用指定的单一端口完成大批量文件的同步传输,算是比较好的利器。如果rsync有比较强悍的php扩展就更加牛逼了,可以做非常好的文件同步服务。对业务的种种咳咳要求会比较ok

另外本次中我发现众多小文件打包也是一个难点,小文件太多,如果tar的时候再压缩,耗费的资源就会很多,进而大大影响效率,建议仅仅在数据传输的时候进行压缩,这样节省带宽和流量。 如果有需要可以采用虚拟磁盘镜像的技术采用多进程的方式对文件进行copy,这样能很快将大量小文件打包。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏吴伟祥

最值得推荐的免费Linux防火墙 转

ClearOS在本次评估报告中是迄今为止最流行的防火墙发行版。它是一款基于CentOS和Red Hat Enterprise Linux,主要面向中小企业和分布...

80930
来自专栏大史住在大前端

一统江湖的大前端(3) DOClever——你的postman有点low

有了Mock服务器和Excel的文档说明后,相信大家的沟通效率会比以前提升很多,但仍然被沟通占据着绝大部分开发时间,常常遇到的情况会有:

21250
来自专栏美团技术团队

【沙龙干货】RDS平台介绍

今天我就给大家讲一下我们这边做的数据库运维的自动化平台,他是怎么样子的。首先我会给大家简单介绍一下我们做平台的背景,以及平台的一些技术架构,以及针对我们DBA和...

55540
来自专栏Golang语言社区

为什么决定要重新造一个轮子?

目前网上优秀的开源游戏服务器框架也不少(当然与web框架比起来就少太多了),但总结起来都各有各的优缺点,下面列出我在选型过程中的一些考量,希望大家能开放的讨论,...

77670
来自专栏张善友的专栏

Vista Gadgets

Sidebar与Gadgets,作为微软在Windows Vista中新纳入的组件,能够提供相当丰富的功能,为用户的日常操作与使用带来很大的便利,比如说,在Si...

21950
来自专栏吉浦迅科技

菜鸟如何顺利用JetPack3.0刷机?(第一部分)

最近Lady遇到不少Jetson TK1的新手,在用JetPack刷机的过程遭遇到各种问题,于是Lady特意召唤东莞理工学院Robot Pioneer战队,请他...

39580
来自专栏java一日一条

浅析数据一致性

在数据有多分副本的情况下,如果网络、服务器或者软件出现故障,会导致部分副本写入成功,部分副本写入失败。这就造成各个副本之间的数据不一致,数据内容冲突。 实践中,...

66510
来自专栏aoho求索

几种分布式调用链监控组件的实践与比较(二)比较

引言:最近在调研与选型分布式调用链监控组件。选了主要的三种APM组件进行了实践与比较。本来打算一篇文章写完的,篇幅太长,打算分两篇。距离《几种分布式调用链监控组...

55880
来自专栏开源优测

AutoLine开源平台发布

AutoLine开源平台是一个开源自动化测试解决方案,基于RobotFramework进行二次开发,支持RobotFramework几乎所有的库。

12720
来自专栏程序员的SOD蜜

探寻背后的机制化繁为简:网站程序升级不过是文件同步

苹果落到地上而不是天上,这是重力的作用; 树叶从树枝上飘落的样子谁也无法预测,这是混沌过程; 热恋中的恋人总是难分难舍,这是荷尔蒙等激素作用于下丘脑的结果; 。...

23450

扫码关注云+社区

领取腾讯云代金券