专栏首页北京马哥教育[诀窍]上G文件双机互传首选工具BBCP

[诀窍]上G文件双机互传首选工具BBCP

由来:

局域网双机拷贝单个大文件 【200G大小】,不要问我是啥! 也不要问我为毛会生成那么大的单文件,事实就是这样!然后就开始了操蛋之旅!再次做下记录备忘!

尝试:

方式一:scp

什么是scp: scp 命令是 SSH中最方便有用的命令了,scp就是secure copy,是用来进行远程文件拷贝的。数据传输使用 ssh,并且和ssh 使用相同的认证方式,提供相同的安全保证。 与rcp 不同的是,scp 在需要进行验证时会要求你输入密码或口令。

速度:刚开始的时候33M/s 持续3分钟左右就跌落到3M左右的传输速度

方式二:rsync

什么是rsync: rsync是rcp的替代品之一,rsync 是一款高效的远程数据备份和镜象工具,

速度:无响应

方式三:wget

什么是wget: wget 是一个经由 GPL 许可的可从网络上自动获取文件的自由软件包。它是一个非交互式的命令行工具。支持 HTTP,HTTPS 和 FTP 协议,支持代理服务器以及断点续传功能。 wget 可实现递归下载,即可跟踪 HTML 页面上的链接依次下载来创建远程服务器的本地版本,完全重建原始站点的目录结构,实现远程网站的镜像。在递归下载时,wget 将页面中的超级链接转换成指向本地文件,方便离线浏览。由于非交互特性,wget 支持后台运行,用户在退出系统后,仍可继续运行。功能强大,设置方便简单。

速度:刚开始的时候50M/s 持续3分钟左右就跌落到3M左右的传输速度

方式四;bbcp 【感谢纪爷的推荐】

什么是bbcp: bbcp 是由SLAC(斯坦福直线加速器中心)的Andy Hanushevsky创立的点对点网络文件拷贝工具。经过简单测试,发现速度比 scp 快了10倍左右,因此推荐大家采用bbcp来取代scp等老家伙 :)

速度:针对20G的文件进行了测试,测试下来平均下来速度在21M左右,耗时16分钟

附图为2G文件的传输速度:

总结:不用的应用场景使用不同的工具,单个大文件个人感觉bbcp还是极好极好的!

安装bbcp【两端都要安装】

wget http://www.slac.stanford.edu/~abh/bbcp/bin/amd64_rhel60/bbcp -O /usr/bin/bbcp

chmod +x /usr/bin/bbcp

来自http://heylinux.com/archives/2984.html的中文参数解释:

-k 保留所有未传输完成的文件,并允许在重试时进行覆盖

-a 保留checkpoint信息用于校验文件的完整性

-r 递归传输指定路径下的所有文件

-P 2 每两秒显示传输的进程

-V 打印调试信息

-f 强制清除远程主机上传输失败的数据

-w 设置Disk (I/O) buffers

算法为(window = netspeed/8*RTT = 1000Mb/8*74ms = 1000/1000/8*74 = 9.25 M)

对应链接:http://www.slac.stanford.edu/~abh/bbcp/#_Toc332986061

-s 16 设置并发数为16

参考官方建议:http://www.slac.stanford.edu/~abh/bbcp/#_Streams_(-s)

-T "ssh -x -a -p 2222 -oFallBackToRsh=no -i /home/dong.guo/.ssh/id_rsa -l heydevops heylinux.com /usr/bin/bbcp"

指定远端主机的认证方式:

采用-p 2222指定端口;

设置-oFallBackToRsh=no减少ssh响应时间;

设置-i /home/dong.guo/.ssh/id_rsa指定SSH Key;

设置-l heydevops指定登陆用户;

heylinux.com为远程主机地址;

/usr/bin/bbcp为远程主机的bbcp路径;

参考文档:

http://pcbunn.cithep.caltech.edu/bbcp/using_bbcp.htm

http://heylinux.com/archives/2984.html

http://imysql.cn/2008_12_08_using_bbcp_instead_scp

http://linux.cn/article-4527-1-rss.html

http://teachmyself.blog.163.com/blog/static/188814229201242314917237/

本文分享自微信公众号 - 马哥Linux运维(magedu-Linux),作者:强子

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2016-01-25

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 优维科技融资3000W,DevOps 运维时代已来!

    近日,企业级DevOps解决方案服务商优维科技(深圳)有限公司对外宣布圆满完成A轮3000万人民币融资。本轮融资由祥峰资本领投,君盛资本跟投。 ? 优维科技创...

    小小科
  • 老司机告诉你:正规的运维工作是什么的?

    联网运维工作,以服务为中心,以稳定、安全、高效为三个基本点,确保公司的互联网业务能够 7×24 小时为用户提供高质量的服务。

    小小科
  • 谷歌SRE与运维工作的思考

    运维部门要保障产品业务稳定性,开发部门要想随时随地快速上线新功能,而线上的故障往往是由新的变更导致的——不管是新发布了版本,还是修改配置,或者是改变了用户某些行...

    小小科
  • PMP对项目管理的实际意义

    渐进明细: 随着信息越来越详细具体,估算越来越准确,持续改进和细化项目管理计划。

    公众号php_pachong
  • Python入门学习教程:数据库操作,连接MySql数据库

    本教程致力于程序员快速掌握Python语言编程。 本文章内容是基于上次课程Python教程:Python教程:连接数据库,对数据进行增删改查操作和python基...

    做全栈攻城狮
  • 根据后台返回的UIButton title动态改变UIButton宽度

    developerbfl
  • 通过XShell远程连接Ubuntu

    版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

    村雨遥
  • 深度学习系列 | 诺亚面向语音语义的深度学习研究进展

    ? 本次演讲简要回顾了深度学习近十年进展,重点介绍华为诺亚方舟实验室最近两年内和深度学习相关的研究成果,并探讨了深度学习的未来趋势。 一、深度学习的近十年进...

    携程技术
  • 人们需要了解的顶级公共云遣返用例

    采用云计算技术可能会带来计费、管理和合规性问题,人们需要了解一些企业将工作负载从云平台遣返回内部部署数据中心的主要原因。

    静一
  • 交互设计师必看:怎样让你的线框图发挥出真正价值?

    初级设计师的设计进程 ? 以上这则小插图是从大神Julie Zhou的文章,Junior Designers vs. Senior Designer(初...

    前朝楚水

扫码关注云+社区

领取腾讯云代金券