最近系统升级需要迁移大量数据,本地已经说万兆网络和NVme硬盘了,但是用scp拷贝文件还是不快100MB左右,后来发现是scp默认有加密影响速度,遂上网搜索,发现这个大文件高效拷贝软件bbcp,速度能达500M左右,复制mysql的binlogs
超快。
bbcp 是一个高效的数据传输工具,适用于在网络上快速复制大量文件或目录。它类似于 scp,但针对高性能、大规模数据传输进行了优化,特别是在高带宽、长延迟网络条件下表现出色。官方文档在这https://www.slac.stanford.edu/~abh/bbcp/
安装方法 很简单,下载二进制文件到/usr/bin/下,然后缺少依赖的时候yum install libnsl一个就行,如果缺少libcrypto.so.10也找一个拷贝到/usr/lib64/下就行。安装完 bbcp --version即可查看版本
介绍一下我用的命令,具体了解可以参见官网:
bbcp -v -P 2 -s 16 -r youdata/ root@younameserver:/yourcopydata
基本用法,-v显示详细信息 ,-P显示几秒一次进度,-s几线程,-r递归,-z压缩,
不过最近遇到一个问题,有个机器怎么拷贝到别的主机都报错:[root@mysql67 ~]# bbcp -z -P 2 -v -s 16 -F test_largefile root@192.168.111.101:/root
Authorized users only. All activities may be monitored and reported.
root@192.168.111.101's password: bbcp: Accept timed out on port 5031
bbcp: Unable to allocate more than 0 of 16 data streams.
希望大佬们尝试下,觉得好用了遇到相同问题有解决方法分享下,谢谢。
安装文件官方下载网站:https://www.slac.stanford.edu/~abh/bbcp/bin/
我的主机是openeuler,amd64,所以蓝奏云网盘里放了rpm包,需要可用:https://wwxy.lanzoub.com/iHEkF2imjeqh
密码52pj