大文件切割

需求:

一个特别大的文件进行group,且group多次,比较浪费时间,所以 将这个大文件切割为多个小文件,可以同时group(需要多核CPU同时工作)

定义:

大文件 :text.txt
命令:     split (一般系统都有)

注意:

此命令是按行切割,即需要提前定义需要将多少行分为一个文件

做法:

首先wc -l 查看这个大文件有多少行  比如有  一万行
那么我现在把他分为10个文件来说
一个文件就是一千行

那么命令就是: (源文件依然存在且不少数据)

split -l 1000 text.txt -d -a 4 ceshi_

命令详解:

-l  指定一个文件有多少行 (1000行)
text.txt  被分割的原文件名
-d  生成的文件以数字命名 (默认为英文,按照英文字母排序,不直观)
-a 生成的新文件名除了自定的前缀以外,生成 几位(4位)
ceshi_   这个自定义生成文件的前缀

实际举例:

[root@xor-vhreport android]# wc -l 1.txt 
40 1.txt
文件有40行
split -l 10 1.txt -d -a 4 text_
将这个文件10行分割为一个文件
以4位数字结尾
前缀位text_
[root@xor-vhreport android]# ls
1.txt  text_0000  text_0001  text_0002  text_0003
执行完毕之后就可以看到,被分为了四个 文件 
源文件没有被任何破坏和少数据
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容