现有两个4G大小、按行分割、每行为50字符(大小写字母)的text文件A, B, 现在需要在有限的内存下(如2G)以B文件为基准,计算出B相对于A增加了哪些数据和减少了哪些数据,分别以added.txt
和deleted.txt
命名保存。要求不能使用Spark或Hadoop这样的大数据处理框架。
思路:
首先使用外排序算法对A, B分别按字典序排序,输出a.sorted
和b.sorted
两个文件,然后再遵循以下步骤逐行对比即可:
- 先分别读取
lineA
和lineB
- 如果B比A大,则把
lineA
输出至deleted.txt
中, 然后更新lineA
至下一行 - 如果B比A小,则将
lineB
输出至added.txt
中,然后更新lineB
至下一行 - 如果B与A相等,则将
lineA
和lineB
分别更新至下一行 - 如果A已经EOF, 则将B中剩下所有的行都输出至
added.txt
中 - 如果B已经EOF, 则将A中剩下所有的行都输出至
deleted
.txt中
至于外排序,如果用的是 Java 的话就很方便了,可以直接使用第三方库
<dependency>
<groupId>com.google.code.externalsortinginjava</groupId>
<artifactId>externalsortinginjava</artifactId>
<version>0.2.5</version>
</dependency>
实现。