java数组的限制也是很多Java集合中底层以数组作为存储的限制,如 ArrayList、ArrayDeque以及Vector,Stack等
数组的存储
数组中每个元素在堆内存中空间是连续存储的,初始化一个数组后,内存空间就会固定下来,即使某个元素被清空,但其所在空间依然保留,只有不存在这个数组的引用链接时GC才会进行回收。
数组的初始化
- 静态初始化需要指定初始值,长度自动推断
- 动态初始化需要指定数组的长度 ,数组元素设置为默认值
- 基本类型的数组的内存空间是连续的,在数组进行初始化时就会分配内存空间的。
- 对象类型的数组即数组中的每一个元素存放的是对象的引用,这时请注意数组元素保存的是对象的引用,所有元素所指向的堆对象并不是连续存储的,在将对象引用赋值给数组元素时,必须提前创建出这个对象。
数组的最大长度的限制
- 堆内存空间的限制:由系统物理内存大小,和JVM堆内存参数的设置,需要堆内存含有足够大的连续内存空间。
- 隐含的参数限制:初始化指定数组长度时,数组长度length是int类型,而且length >= 0,所以理论上数组的最大长度为2^(32 -1) -1 即 2^31-1 = 2147483647 = Integer.MAX_VALUE(约等于21亿) 。
- JVM实现的限制:JVM实现分配数组空间的时候,可能使用的数据类型最大正值小于 2^31-1 ,此时这将受限于JVM的具体实现。
如何处理超大数组
1. 文件系统/数据库存储 + 查找算法
相当于HDFS,数据的空间将占满单机的内存空间和磁盘空间,适用于海量数据的读环境。
2. 单机内存很大
能够装下所有数组元素,但是受限于2^31-1,则需要设置好合理的JVM参数,然后将这个超大数组分解成很多小数组,使得满足子数组小于 2^31-1,然后再将这些子数组链接,注意只在数组的断开的链接点上进行子数组的链接,或者维持一个储存每个子数组起止的数据表也可以实现。注意每个子数组之间将是不连续存储的。
3. 多维数组
是2的情景的划分为子数组的一种可取情况。注意这里的多维数组将是连续存储的。需要注意的是初始化分配足够的空间。
4. sun.misc.Unsafe的内存分配
需要注意的是通过上述方法分配的内存将是堆外内存,因为是按照地址顺序分配的,所以可能包含JVM的堆空间,不受JVM参数限制,而是受操作系统物理内存的限制,而且GC也不可能回收这些数据,需要调用上面的freeMemory方法来释放内存空间。
例子:
纠错:上面虽然把分配的空间调整为10,方便测试,但是最终还是发生了错误,需要注意的是上面的方法unsafe.putObject(Object var1, long var2, Object var4)是双寄存器模式,实际这添加的对象实际上还是堆内的对象,因为第一个参数var1就是堆上的对象,var2只是在var1上的偏移地址。
由于堆外内存无法存储和表示java对象,所以unsafe中并没有提供添加java对象到堆外内存的单寄存器的方法,综上在堆外不能分配java对象,但是可以分配基本类型数据,将上面的程序修改如下: