Linux下常用的文件传输方式


=Start=

缘由:

在实际工作中经常需要在两台(或多台)服务器之间传文件,在此记录一下我常用的方法&从其它的地方学来的一些技巧,方便要用的时候参考。

正文:

参考解答:
# tar+ssh(先归档压缩,再用SSH传输;可以用pv命令进行限速)
$ tar czf - file_or_dir | pv -e -t -b -L 20m | ssh user@remote_host 'tar zxvf - -C /path/to/dir/'
$ tar cf - file_or_dir | gzip - | pv -e -t -b -L 20m | ssh user@remote_host 'tar zxvf - -C /path/to/dir/'

$ cat paramiko-1.16.0.tar.gz | pv -e -t -b -L 20m | ssh user@remote_host 'tar zxvf - -C /path/to/dir/'
# scp(最好启用压缩选项「-C」以提升传输效率)
$ scp -C mysql_master_slave.sql user@remote_host:/path/to/dir/
# sftp

先将文件上传至FTP服务器,然后再在远端机器上用FTP把对应文件下载下来(即,用FTP服务器做一个中转)。

# nc(需要sudo权限)
在服务器端(remote_host):
$ sudo nc -l -p port | tar zxf -     # `-l` 参数用于监听
$ sudo nc -l -p port > mysql_master_slave.sql

在客户端:
$ tar czf - mysql_master_slave.sql | sudo nc remote_host port
$ sudo nc remote_host port < mysql_master_slave.sql
#socat(加强版nc)
host2$ socat tcp4-listen:portnum stdout | tar xvpf -
host1$ tar cvf - filespec | socat stdin tcp4:host2:portnum
# rsync
rsync -avz --rsh='ssh -p port' mysql_master_slave.sql user@remote_host:/path/to/dir/
rsync -avz mysql_master_slave.sql user@remote_host::module_name
参考链接:

=END=

, ,

《 “Linux下常用的文件传输方式” 》 有 5 条评论

  1. LZ4
    https://www.amazingkoala.com.cn/Lucene/yasuocunchu/2019/0226/37.html
    `
    LZ4是一种无损数据压缩算法,着重于压缩和解压的速度,并且应用广泛。在Hadoop、Linux内核、文件系统都有应用,而在Lucene中,则是使用LZ4对倒排表的数据以及词向量(termVector)进行压缩存储。在本篇文章中,介绍LZ4Fast的压缩逻辑在Lucene中的Java实现。

    Lucene中提供了两种LZ4的算法实现,分别是LZ4Fast跟LZ4High:

    LZ4Fast
    本文介绍的就是LZ4Fast,它是原生的LZ4算法的实现,性能跟内存开销小于LZ4High,最多使用16KB的内存。

    LZ4High
    LZ4High相比较LZ4Fast,它的压缩速度较慢,并且占用更多的内存(每个线程占用~256KB),但是它提供了更高的压缩比,处理很大的数据时更能体现压缩比的优势。可能会随后的博客中更新:)。
    `

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注