linux分割大文件(tar + split)

2010-08-09

在Linux下使用 tar 命令来将文件打包并压缩是很通常的用法了。可是Linux的文件系统对文件大小有限制,也就是说一个文件最大不能超过2G,如果压缩包的的内容很大,最后的结果就会超过2G,那么该怎么办呢?又或者压缩包希望通过光盘来进行备份,而每张光盘的容量只有700M,那么该如何存储呢?解决的办法就是将最后的压缩包按照指定大小进行分割,这就需要用到split命令了。 举例说明: 要将目录logs打包压缩并分割成多个1M的文件,可以用下面的命令:

tar cjf - logs/ |split -b 1m - logs.tar.bz

完成后会产生下列文件: -rw-r--r-- 1 httpd nobody 1048576 Oct 5 15:37 logs.tar.bz2.aa -rw-r--r-- 1 httpd nobody 1048576 Oct 5 15:37 logs.tar.bz2.ab -rw-r--r-- 1 httpd nobody 1048576 Oct 5 15:37 logs.tar.bz2.ac -rw-r--r-- 1 httpd nobody 1048576 Oct 5 15:38 logs.tar.bz2.ad -rw-r--r-- 1 httpd nobody 1048576 Oct 5 15:38 logs.tar.bz2.ae -rw-r--r-- 1 httpd nobody 829440 Oct 5 15:39 logs.tar.bz2.af 这里对命令做一些讲解。 压缩和分割命令行中红色部分的为命令对应的I/O文件名参数,其中- 表示标准输入或输出。那么结合上面的例子,tar命令表示的意思就是将logs目录压缩,生成的结果直接输送到标准输出上;而split命令表示从标准输入获得文件内容进行分割,结果文件前缀为logs.tar.bz2.。二者再通过管道将各自的标准输入输出对接起来。