=Start=
缘由:
在实际工作中经常需要在两台(或多台)服务器之间传文件,在此记录一下我常用的方法&从其它的地方学来的一些技巧,方便要用的时候参考。
正文:
参考解答:
# tar+ssh(先归档压缩,再用SSH传输;可以用pv命令进行限速)
$ tar czf - file_or_dir | pv -e -t -b -L 20m | ssh user@remote_host 'tar zxvf - -C /path/to/dir/' $ tar cf - file_or_dir | gzip - | pv -e -t -b -L 20m | ssh user@remote_host 'tar zxvf - -C /path/to/dir/' $ cat paramiko-1.16.0.tar.gz | pv -e -t -b -L 20m | ssh user@remote_host 'tar zxvf - -C /path/to/dir/'
# scp(最好启用压缩选项「-C」以提升传输效率)
$ scp -C mysql_master_slave.sql user@remote_host:/path/to/dir/
# sftp
先将文件上传至FTP服务器,然后再在远端机器上用FTP把对应文件下载下来(即,用FTP服务器做一个中转)。
# nc(需要sudo权限)
在服务器端(remote_host): $ sudo nc -l -p port | tar zxf - # `-l` 参数用于监听 $ sudo nc -l -p port > mysql_master_slave.sql 在客户端: $ tar czf - mysql_master_slave.sql | sudo nc remote_host port $ sudo nc remote_host port < mysql_master_slave.sql
#socat(加强版nc)
host2$ socat tcp4-listen:portnum stdout | tar xvpf - host1$ tar cvf - filespec | socat stdin tcp4:host2:portnum
# rsync
rsync -avz --rsh='ssh -p port' mysql_master_slave.sql user@remote_host:/path/to/dir/
rsync -avz mysql_master_slave.sql user@remote_host::module_name
参考链接:
- Linux下常用的文件传输方式介绍与比较
- Linux 上的常用文件传输方式介绍与比较
- 最大限度的榨取SCP的传输速度
- 使用tar+lz4/pigz+ssh更快的数据传输
- http://johnveldboom.com/posts/copytransfer-files-between-two-servers-using-linux-scp/
- http://serverfault.com/questions/18125/how-to-copy-a-large-number-of-files-quickly-between-two-servers
=END=
《 “Linux下常用的文件传输方式” 》 有 5 条评论
【渗透神器系列】nc
http://thief.one/2017/04/10/1/
如何利用 socat 更方便地穿透目标内网
https://klionsec.github.io/2017/07/31/socat-meterpreter/
利用ew轻松穿透多级目标内网
https://klionsec.github.io/2017/08/05/ew-tunnel/
大文件传输利器WDT,跨网、跨国效果非常赞
https://mp.weixin.qq.com/s/uRHsnckaAtJ_nEHyLFyGgw
https://github.com/facebook/wdt
tunnel-安全的暴露你的本地服务器到互联网
https://github.com/labstack/tunnel
https://labstack.com/docs/tunnel
https://github.com/localtunnel/localtunnel
https://localtunnel.me/
fast reverse-proxy
https://github.com/longXboy/lunnel
A fast TCP tunnel over HTTP
https://github.com/jpillora/chisel
A light weight http tunnels to localhost.
https://github.com/qgy18/pangolin
LZ4
https://www.amazingkoala.com.cn/Lucene/yasuocunchu/2019/0226/37.html
`
LZ4是一种无损数据压缩算法,着重于压缩和解压的速度,并且应用广泛。在Hadoop、Linux内核、文件系统都有应用,而在Lucene中,则是使用LZ4对倒排表的数据以及词向量(termVector)进行压缩存储。在本篇文章中,介绍LZ4Fast的压缩逻辑在Lucene中的Java实现。
Lucene中提供了两种LZ4的算法实现,分别是LZ4Fast跟LZ4High:
LZ4Fast
本文介绍的就是LZ4Fast,它是原生的LZ4算法的实现,性能跟内存开销小于LZ4High,最多使用16KB的内存。
LZ4High
LZ4High相比较LZ4Fast,它的压缩速度较慢,并且占用更多的内存(每个线程占用~256KB),但是它提供了更高的压缩比,处理很大的数据时更能体现压缩比的优势。可能会随后的博客中更新:)。
`