2019-05-31

Java去除文件中的重复行

public static void main(String[] args) throws IOException {

        LinkedHashMap<String,String> map = new LinkedHashMap<String,String>();

        ArrayList<String> arrayList = new ArrayList<>(10000);

        List<String> repeatList = new ArrayList<String>(10000);

        String line="";

        File file =new File("D:/companyFile/TestToExcel/recursionzznissan.txt");

        File fileOutPut =new File("D:/companyFile/TestToExcel/recursionDistinct.txt");

        FileInputStream fis;InputStreamReader isr;BufferedReader br;

    try {

    fis = new FileInputStream(file);

    isr = new InputStreamReader(fis, "UTF-8");

    br = new BufferedReader(isr);

    while((line=br.readLine())!=null){

    String[] sArray = line.split(",");

                for (String s : sArray) {

                //set.add(s.substring(s.lastIndexOf("\\")+1, s.length()));

                //set.add(s.substring(0,s.lastIndexOf("\\")));

                map.put(s.toString(),"");

                //map.put(s.substring(s.lastIndexOf("\\")+1, s.length()),"");

                }

    }

                br.close();isr.close();fis.close();

                for(String key:map.keySet()){

                FileOutputStream fos = new FileOutputStream(fileOutPut,true);

                OutputStreamWriter osw = new OutputStreamWriter(fos, "UTF-8");

                BufferedWriter bw = new BufferedWriter(osw);

                bw.write(key.toString());

                bw.newLine();

                bw.close();

                osw.close();

                fos.close();

    }

            }catch (Exception e){

    e.printStackTrace();

    }

 }

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Java查找文件中的重复行 public static void main(String[] args) { ...
    hotchen阅读 215评论 0 0
  • Java实现复制文件夹中的文件内容到另一个文件夹中 public static void main(String[...
    hotchen阅读 205评论 0 0
  • 今天中午把江淮的配件拿回来,下午让老于来严严气门,下午洗洗刷刷晚上加班把缸盖装好装了上去正时全部对好了,明天再装装...
    AAAAA京心达张水尚阅读 112评论 0 0