poi

SXSSF位于org.apache.poi.xssf.streaming包中,在兼容XSSF的同时,能够应对大数据量和内存空间有限的情况。SXSSF每次获取的行数是在一个数值范围内,这个范围被称为“滑动窗口”,在这个窗口内的数据均存在于内存中,超出这个窗口大小时,数据会被写入磁盘,由此控制内存使用,相比较而言,XSSF则每次都是获取全部行。

这个“滑动窗口”的大小在定义SXSSF实例的时候,可以由构造函数中的参数指定,方法如下:

newSXSSFWorkbook(intwindowSize)

SXSSFWorkbook.DEFAULT_WINDOW_SIZE是一个默认的窗口大小,其值为100。窗口大小为-1,表示不限制窗口大小,这里普及一下,excel 2003最多只允许存储65536条数据,excel2007以上版本可以支持1048576条数据,单个sheet表就支持近104万条数据了。如果窗口大小=-1,则只有手动调用flushRows()时,数据才会被写入磁盘。


createRow()可以创建一个新的行,此时内存中的"窗口"大小就增加,如果超出了窗口限制,索引值最小的行会先被“刷入”磁盘中,一旦某行数据被写入磁盘,则不能使用getRow()方法获取该数据。

需要注意,SXSSF会自动分配临时文件,这些临时文件需要我们手动清除,清除的方式是使用dispose()方法,例如:

SXSSFWorkbook wb =newSXSSFWorkbook(100);

wb.dispose();

SXSSFWorkbook默认使用内联字符(inline strings),而不是共享字符(shared strings),两者的区别在于,如果两个单元格存储了相同的字符串,inline strings把它们当做两个字符串对待,每个单元格都保留此字符串的值,而shared strings则只在内存中保留一个值,单元格中只保留这个字符串的引用。

inline strings的好处是比较高效,因为不需要在内存中保留字符串的内容,坏处是有可能存在兼容性问题。而shared strings的好处是当文档中存在很多重复的字符内容时,该方式能节省空间,产生的文档也会相对更小,坏处是需要把所有字符串内容保存在内存中,这样插入新的字符数据的时候才能知道是否已经存在。因此需要根据内存的实际情况,判断使用哪种string。

除了字符之外,诸如合并单元格、超链接、批注等是直接存储在内存里面的,因此如果文档中大量使用这些特性,需要留意内存的空间。


下面这个例子将“窗口”大小设置为100,当行数达到101时,第0行的数据被写入磁盘,然后当行数=102时,第1行的数据被写入磁盘,以此类推:

第二个例子演示,在关闭自动写入磁盘的属性(即将窗口大小设置为-1)时,手动控制何时写入磁盘:

SXSSFWorkbook wb =newSXSSFWorkbook(-1);// 关闭自动写入磁盘的功能,所有数据将放在内存中Sheet sh = wb.createSheet();

        for(intrownum = 0; rownum < 1000; rownum++){

            Row row = sh.createRow(rownum);

            for(intcellnum = 0; cellnum < 10; cellnum++){

                Cell cell = row.createCell(cellnum);

                String address =new CellReference(cell).formatAsString();

                cell.setCellValue(address);

            }

          // 手动控制写入磁盘的时机if(rownum % 100 == 0) {

                ((SXSSFSheet)sh).flushRows(100);// 保留最后100行数据,将其余数据写入磁盘中

                // ((SXSSFSheet)sh).flushRows() 相当于 ((SXSSFSheet)sh).flushRows(0),表示将所有数据写入磁盘          }

        }

        FileOutputStream out =newFileOutputStream("/temp/sxssf.xlsx");

        wb.write(out);

        out.close();

        // 删除临时文件        wb.dispose();


SXSSFWorkbook大体介绍

SXSSFWorkbook是poi中专门做大数据量导出的一个类吧。它的构造中可以传入一个数值,超过这个数值的行将被写入临时文件。这个数值指的是我们生成此EXCEL中数据的行数。(是行数不是数据的行数)因为我们一般大数据量导出的时候经常碰到OOM的情况。这个类以这种方式来避免了OOM。

//当为-1的时候表示 将会把所有的行刷新到临时文件

Workbook workbook = new SXSSFWorkbook(-1);

//当为100的时候表示 将会把超过100行的数据刷新到临时文件

Workbook workbook = new SXSSFWorkbook(100);

//表示手动刷新所有数据到临时文件的方式 ,可指定参数  行数

((SXSSFSheet) sheet).flushRows();

这里需要注意的是,当每次刷新到临时文件。内存中的数据就不存在了,因此避免了OOM。有些小伙伴可能会犯还去拿行数,或者操作行数据的问题。这些数据已经被刷新到临时文件,内存中已经不存在了。所以就拿不到了。(抛异常)

关于这个临时文件默认路径及实现自定义配置的实现

首先我说一下这个类它默认的临时文件存放目录:

windows下:AppData\Local\Temp\poifiles文件夹下,生成一个叫poi-sxssf-sheet**************的文件

Linux系统下:会在/tmp/poifiles文件下生成该临时文件

这是源码中创建的文件的俩个方法,他们都调用了 createPOIFilesDirectory()方法:

//参数前缀(文件名)  后缀(文件类型)   

public File createTempFile(String prefix, String suffix) throws IOException {

        // Identify and create our temp dir, if needed

        createPOIFilesDirectory();


        // Generate a unique new filename

        File newFile = File.createTempFile(prefix, suffix, dir);

        // Set the delete on exit flag, unless explicitly disabled

        if (System.getProperty(KEEP_FILES) == null) {

            newFile.deleteOnExit();

        }

        // All done

        return newFile;

    }

public File createTempDirectory(String prefix) throws IOException {

        // Identify and create our temp dir, if needed

        createPOIFilesDirectory();


        // Generate a unique new filename

        // FIXME: Java 7+: use java.nio.Files#createTempDirectory

        final long n = random.nextLong();

        File newDirectory = new File(dir, prefix + Long.toString(n));

        createTempDirectory(newDirectory);

        // Set the delete on exit flag, unless explicitly disabled

        if (System.getProperty(KEEP_FILES) == null) {

            newDirectory.deleteOnExit();

        }

        // All done

        return newDirectory;

    }

以下是 createPOIFilesDirectory()方法的实现

private void createPOIFilesDirectory() throws IOException {

        // 此处的dir是一个file类型的对象  也就是指临时存放的目录

        if (dir == null) {

        //为空的话他回去取默认的临时文件路径  JAVA_IO_TMPDIR的值为  java.io.tmpdir  系统的配置信息

            String tmpDir = System.getProperty(JAVA_IO_TMPDIR); 

            if (tmpDir == null) {

                throw new IOException("Systems temporary directory not defined - set the -D"+JAVA_IO_TMPDIR+" jvm property!");

            }

            //创建这个目录

            dir = new File(tmpDir, POIFILES);   

        }

        //此方法是对此目录的一个检验,不重要忽略

        createTempDirectory(dir);

    }

可以看到如果获取到的dir为空的话,它会默认去哪系统的配置信息默认的临时文件路径。这个配置信息是可以进行修改的。通过System.setProperty(“java.io.tmpdir”,“你期望的存放文件目录”);。在此配置运行后就会把临时文件放到你期望的位置。我是在项目启动时运行此行代码的,用的springboot。代码如下:

@Component

public class ExporPathConfig {

    //此处是配置的临时缓存路径在yml文件中

@Value("${export.message}")

private String Path;

private final Logger log = LoggerFactory.getLogger(ExporPathConfig.class);

@PostConstruct

    public void init() {

        try {

            System.setProperty("java.io.tmpdir", Path);

        } catch (Exception ex) {

            log.error(ex.getMessage(),"获取消息导出临时缓存路径失败");

        }

    }

}

通过以上配置就可以实现临时文件的自定义配置。再有就是大家主要临时文件的清理。自带api就有实现

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,634评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,951评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,427评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,770评论 1 290
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,835评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,799评论 1 294
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,768评论 3 416
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,544评论 0 271
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,979评论 1 308
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,271评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,427评论 1 345
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,121评论 5 340
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,756评论 3 324
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,375评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,579评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,410评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,315评论 2 352

推荐阅读更多精彩内容