替换scp/rsync的适合1G以上大文件拷贝工具--bbcp

3次阅读
没有评论

最近系统升级需要迁移大量数据,本地已经说万兆网络和NVme硬盘了,但是用scp拷贝文件还是不快100MB左右,后来发现是scp默认有加密影响速度,遂上网搜索,发现这个大文件高效拷贝软件bbcp,速度能达500M左右,复制mysql的binlogs
超快。

bbcp 是一个高效的数据传输工具,适用于在网络上快速复制大量文件或目录。它类似于 scp,但针对高性能、大规模数据传输进行了优化,特别是在高带宽、长延迟网络条件下表现出色。官方文档在这https://www.slac.stanford.edu/~abh/bbcp/

安装方法 很简单,下载二进制文件到/usr/bin/下,然后缺少依赖的时候yum install libnsl一个就行,如果缺少libcrypto.so.10也找一个拷贝到/usr/lib64/下就行。安装完 bbcp  --version即可查看版本

介绍一下我用的命令,具体了解可以参见官网:
bbcp -v -P 2 -s 16 -r youdata/ root@younameserver:/yourcopydata

基本用法,-v显示详细信息 ,-P显示几秒一次进度,-s几线程,-r递归,-z压缩,

不过最近遇到一个问题,有个机器怎么拷贝到别的主机都报错:[root@mysql67 ~]# bbcp -z -P 2 -v -s 16 -F test_largefile   root@192.168.111.101:/root

Authorized users only. All activities may be monitored and reported.
root@192.168.111.101's password: bbcp: Accept timed out on port 5031
bbcp: Unable to allocate more than 0 of 16 data streams.

希望大佬们尝试下,觉得好用了遇到相同问题有解决方法分享下,谢谢。

安装文件官方下载网站:https://www.slac.stanford.edu/~abh/bbcp/bin/

我的主机是openeuler,amd64,所以蓝奏云网盘里放了rpm包,需要可用:https://wwxy.lanzoub.com/iHEkF2imjeqh
密码52pj

正文完
 0
116博客
版权声明:本篇文章由 116博客 于2024-12-21发表,共计935字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
评论(没有评论)
验证码