Excel操作工具(Easyexcel vs EEC)对比(二)

点击这里查看原文

上一篇我们对比了java操作Excel的两款工具easyexcel和EEC的使用便利性和功能对比，本篇主要比较两款工具读写时的性能和内存。

本次测试在高配和低配两台机器上进行

1. 低配机测试

硬件:

  • CPU: 2.7 GHz Intel Core i5 (双核)
  • 内存: 8 GB 1867 MHz DDR3
  • 硬盘: SATA 128G(35G可用)
  • 系统: macOS 10.12.6

测试版本:

  • easyexcel: 2.1.6
  • EEC: 0.4.2

为了避免内存对速度的影响，测试过程中添加jvm参数-Xmx64m -Xms1m，限制最大堆内存为64MB，后面会有放开内存限制的测试，这里透露一下内存不是影响速度的关键因素。

测试实体由29个字段组成，分别由int,long,Date,double各一个，加上25个字符串，按1000条记录进行一次分片。

测试数据如下格式

下面对比两个工具分别对1w，5w, 10w, 50w, 100w数据的读写，所有测试代码已上传到github，地址eec-poi-compares

1.1 读写性能对比

测试之前先进行1w~100w数据空测，模拟取数据的时间以此为基准来测试Excel读写时间。

这是测试结果截图

为了抓取jvm参数我在test100w方法里休眠了20秒钟，从测试数据上看100w空转时间为3秒。

下面我们用图表来直观展示:

1〜100w行数据写文件（时间为秒）

写文件对比

读取1~100w行数据（时间为秒）

读文件对比

通过上图可以简单总结: 在64MB内存限制下，写文件EEC平均比easyexcel快1倍以上，读文件EEC平均比easyexcel快约2倍左右。

1.2 堆内存对比

我们限制了jvm堆大小为64M，以下是运行过程中堆的波动情况，鼠标标识的位置(21:44:11)左边是easyexcel使用堆内存情况，右边是EEC使用堆内存情况。
两个工具均能在64MB的限制下完成测试，easyexcel最高占用57.7MB，EEC最高49.3MB略低。


堆使用情况

下面详细日志有准确的时间序列

1.3 文件大小对比(单位为MB)

文件大小影响不太重要，某些情况下如网络传输会有一些影响。我们测试数据中有Date类型，EEC使用int值或者double值保存时间数据，这与Office Excel的处理方式相同。最终两个文件大小非常接近，如果全部是字符串可能会得到另一种结论

描述 1w 5w 10w 50w 100w
EEC 1.7M 8.6M 17.2M 86.6M 173.4M
Easy excel 1.7M 8.7M 17.4M 87.7M 175.7M

1.4 更细节的分析

下面贴出测试日志进一步分析，为了减少篇幅我对日志进行了删减仅保留主要信息

2020-03-05 21:34:44.412 [LargeExcelTest:200] - Easy-excel start to write...
2020-03-05 21:34:49.922 [LargeExcelTest:206] - 0 fill success.
2020-03-05 21:35:33.660 [LargeExcelTest:206] - 500 fill success.
2020-03-05 21:36:17.902 [LargeExcelTest:206] - 999 fill success.
2020-03-05 21:37:09.910 [LargeExcelTest:209] - Easy-excel write finished. used: 145481
2020-03-05 21:37:09.911 [LargeExcelTest:226] - Easy-excel start to read...
2020-03-05 21:37:35.376 [LargeDataListener:19] - Already read:100000
2020-03-05 21:39:02.767 [LargeDataListener:19] - Already read:500000
2020-03-05 21:40:35.470 [LargeDataListener:19] - Already read:1000000
2020-03-05 21:40:35.471 [LargeDataListener:25] - Large row count:1000000
2020-03-05 21:40:35.477 [LargeExcelTest:230] - Easy-excel read finished. used: 205566

2020-03-05 21:44:11.408 [LargeExcelTest:213] - EEC start to write...
2020-03-05 21:44:11.765 [LargeExcelTest$1:218] - 0 fill success.
2020-03-05 21:44:25.623 [LargeExcelTest$1:218] - 500 fill success.
2020-03-05 21:44:38.838 [LargeExcelTest$1:218] - 1000 fill success.
2020-03-05 21:45:18.211 [LargeExcelTest:222] - EEC write finished. used: 66803
2020-03-05 21:45:18.212 [LargeExcelTest:234] - EEC start to read...
2020-03-05 21:45:27.765 [LargeExcelTest:238] - Worksheet [Sheet1] dimension: A1:AC1000001
2020-03-05 21:45:32.812 [LargeExcelTest:242] - Reading 100000 rows
2020-03-05 21:46:19.416 [LargeExcelTest:242] - Reading 1000000 rows
2020-03-05 21:46:19.417 [LargeExcelTest:246] - Data rows: 1000000
2020-03-05 21:46:19.556 [LargeExcelTest:250] - EEC read finished. used: 61343

第一段日志是easyexcel导出100w数据，我们看到从21:34:44.412开始到21:36:17.902写完100w数据，再到21:37:09.910完成数据压缩，写数据用时93.49秒，压缩用时52.008秒。
而EEC写100w用时27.43秒(实际比这个大一点，因为EEC使用pull方式拉数据，我们无法知道最后1000条数据完成的实际时间)，压缩用了39.373秒，写数据的速度远超easyexcel，我们进一步列出所有写数据和压缩时间

描述 1w 5w 10w 50w 100w
EEC写数据 0.252 1.118 2.144 10.867 27.43
EEC压缩数据 0.364 1.777 3.399 16.816 39.373
Easy excel写数据 0.935 4.172 7.944 37.38 93.49
Easy excel压缩数据 0.7 2.586 4.409 23.174 52.008

上图可以发现EEC写数据的速度远大于easyexcel，压缩速度略快于后者(EEC的压缩等级为5，文件可能较easyexcel大)。

2. 高配机测试

硬件:

  • CPU: 3 GHz Intel Core i5 (6核)
  • 内存: 16 GB 3000 MHz DDR4
  • 硬盘: Samsung SSD 970 PRO 512GB（267G可用）
  • 系统: macOS 10.14.4

测试代码与上面的完全一样，所以这里不写细节直接上最终的对比图。

2.1 限制内存64MB测试

本轮限制内存64MB进行测试

写文件测试

描述 1w 5w 10w 50w 100w
EEC 0.306 1.530 3.680 14.807 32.939
Easy excel 0.682 3.443 6.996 34.415 78.789
倍数 223% 225% 190% 232% 239%
写文件

读文件测试

描述 1w 5w 10w 50w 100w
EEC 0.452 2.201 4.359 20.917 41.929
Easy excel 1.100 4.953 9.875 49.848 98.390
倍数 243% 225% 227% 238% 235%
读文件

高配本上两者差距有所减少，EEC的速度仅比Easyexcel快一倍.

内存和CPU使用情况，同样鼠标位置左边为easyexcel右边为EEC


2.2 不限制内存测试

本轮我们不限制内存进行测试

写文件测试

描述 1w 5w 10w 50w 100w
EEC 0.320 1.506 3.118 14.922 37.280
Easy excel 0.879 3.304 6.834 33.375 76.182
倍数 275% 219% 219% 224% 204%

读文件测试

描述 1w 5w 10w 50w 100w
EEC 0.451 2.211 4.377 20.766 43.117
Easy excel 1.194 5.593 10.494 55.605 99.653
倍数 265% 253% 240% 268% 231%

内存和CPU使用情况，同样鼠标位置左边为easyexcel右边为EEC


可以看出无论在高配机和低配机上，EEC的读写速度均超过easyexcel，且在一个稳定范围内。

3. 其它测试

最后我在低配机上做了32MB和16MB的内存极限测试，其中测试16MB时将分批数量改为100条，32MB未做修改，所有文件均为inlineStr方式写字符串。

3.1 32MB内存

本轮限制内存32MB进行测试

写文件测试

描述 1w 5w 10w 50w 100w
EEC 0.578 2.334 4.586 25.918 83.500
Easy excel 1.331 6.336 13.671 65.490 143.368
倍数 230% 271% 298% 253% 172%

读文件测试

描述 1w 5w 10w 50w 100w
EEC 0.658 2.948 6.280 25.277 53.847
Easy excel 1.699 9.202 16.215 78.261 163.702
倍数 258% 312% 258% 310% 304%

32MB完全没问题，与64MB相比也没有明显变慢，所以内存大小并不能明显影响两个工具的性能


32MB内存

3.2 16MB内存

本轮限制内存32MB进行测试

easyexcel并没有完成16MB的写文件测试，确切的说未完成10~100W数据写Excel文件测试，后面会贴出部分日志。所以这里我先测试EEC的读写然后再测试easyexcel在16MB限制下的读文件测试。

3.2.1 EEC读写测试

描述 1w 5w 10w 50w 100w
EEC写 0.576 2.196 4.824 22.360 46.903
EEC读 0.672 2.867 6.286 25.261 51.137
EEC 16MB内存

EEC 16MBCPU使用

3.2.2 easyexcel测试

上面已经说了easyexcel在写到7万数据左右时就抛错误"Exception in thread "RMI TCP Connection(idle)" java.lang.OutOfMemoryError: GC overhead limit exceeded"，同时CPU掉到0终止运行

下面是测试截图


Easyexcel 16MB错误截图

CPU截图


Easyexcel 16MBCPU波动

CPU波动很大且多次爆满，内存回收活动一直占用较高CPU，有时爆到100%。相比下EEC的CPU使用就非常平稳。

内存截图


Easyexcel 16MB内存波动

可以看到在16MB限制下Easyexcel内存一直保持在12~13MB的高位，说明一次GC仅回收少量内存，导致程序不停GC使CPU的占用爆满。回看上面EEC的内存截图它一次回收可以释放较多的内存，也就不用一直GC占CPU了。

Easyexcel部分测试日志

2020-03-08 10:56:20.463 INFO [main][LargeExcelTest:200] - Easy-excel start to write...
2020-03-08 10:56:23.301 INFO [main][LargeExcelTest:206] - 0 fill success.
2020-03-08 10:56:23.341 INFO [main][LargeExcelTest:206] - 1 fill success.
2020-03-08 10:56:23.382 INFO [main][LargeExcelTest:206] - 2 fill success.

2020-03-08 10:57:17.462 INFO [main][LargeExcelTest:206] - 690 fill success.
2020-03-08 10:57:17.832 INFO [main][LargeExcelTest:206] - 691 fill success.
2020-03-08 10:57:18.087 INFO [main][LargeExcelTest:206] - 692 fill success.
2020-03-08 10:58:55.359 INFO [main][LargeExcelTest:206] - 693 fill success. <-
2020-03-08 10:58:56.282 INFO [main][LargeExcelTest:206] - 694 fill success.
2020-03-08 10:58:56.982 INFO [main][LargeExcelTest:206] - 695 fill success.
2020-03-08 10:58:57.337 INFO [main][LargeExcelTest:206] - 696 fill success.
2020-03-08 11:00:34.404 INFO [main][LargeExcelTest:206] - 697 fill success. <-
2020-03-08 11:00:35.214 INFO [main][LargeExcelTest:206] - 698 fill success.
2020-03-08 11:00:35.642 INFO [main][LargeExcelTest:206] - 699 fill success.
2020-03-08 11:01:36.603 INFO [main][LargeExcelTest:206] - 700 fill success. <-
2020-03-08 11:01:40.382 INFO [main][LargeExcelTest:206] - 701 fill success.
2020-03-08 11:01:40.830 INFO [main][LargeExcelTest:206] - 702 fill success.
2020-03-08 11:03:21.814 INFO [main][LargeExcelTest:206] - 703 fill success. <-
2020-03-08 11:03:54.896 INFO [main][LargeExcelTest:206] - 704 fill success. <-
2020-03-08 11:04:27.861 INFO [main][LargeExcelTest:206] - 705 fill success. <-
Exception in thread "RMI TCP Connection(idle)" java.lang.OutOfMemoryError: GC overhead limit exceeded
Exception in thread "RMI TCP Connection(idle)" java.lang.OutOfMemoryError: GC overhead limit exceeded

我们可以发现刚开始速度还很快，每100条记录只需要40ms，随着数据不断增加速度也就不断减少，后来每100条记录需要1秒钟，应该是CPU一直被GC占用的原因。

Easyexcel读文件是正常的，与EEC的性能差别与32MB，64MB比较中的差别相当，这里就不贴图了。

4. 探底EEC最低使用内存

为了探底EEC最低使用内存，我将分片调到10，也就是说每10条写一次数据(EEC内部写文件的最小单位是32，这里调到10条并没有意义)，多次调整后最终的下限为6M。

6MB限制下读写时间

描述 1w 5w 10w 50w 100w
EEC写 0.735 3.3 6.68 29.724 58.3
EEC读 0.741 3.145 6.27 27.17 62.354

6MB限制下内存波动


6M RAM

6MB限制下CPU波动


6M CPU

注意: 上面所有测试均使用inlineStr方式写字符串，SharedString方式在EEC 0.4.2版上有BUG，Issue编号#110，后续版本更新后再列出性能测试

5. 后记

  1. 两个工具均为单线程、高IO设计，多核心不会提高速度，高主频和一块好SSD能显著提升速度。
  2. 本次测试均在macOS上完成，缺少windows系统测试
  3. 希望有更多人在实际项目上使用，以帮助EEC改进未知BUG

下一篇将对比两者在SharedString模式和xls格式的读性能

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 211,948评论 6赞 492
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 90,371评论 3赞 385
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 157,490评论 0赞 348
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 56,521评论 1赞 284
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 65,627评论 6赞 386
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 49,842评论 1赞 290
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 38,997评论 3赞 408
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 37,741评论 0赞 268
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 44,203评论 1赞 303
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,534评论 2赞 327
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,673评论 1赞 341
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 34,339评论 4赞 330
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 39,955评论 3赞 313
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,770评论 0赞 21
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,000评论 1赞 266
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 46,394评论 2赞 360
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 43,562评论 2赞 349