前言
HashMap是Java
程序员使用频率最高的用于映射(键值对)处理的数据类型。随着JDK
版本的更新,JDK1.8
对HashMap
底层的实现进行了优化,例如引入红黑树的数据结构和扩容的优化等。本文结合JDK1.7
和JDK1.8
的区别,来谈论HashMap
的结构实现和功能原理。
如无特别说明,本文是基于JDK8。
简介
Java为数据结构中的映射定义了一个接口java.util.Map
,此接口主要有四个常用的实现类,分别是HashMap
、Hashtable
、LinkedHashMap
和TreeMap
,类继承关系如下图所示:
下面针对各个实现类的特点做一些说明:
HashMap:它根据
key
的hashCode
来存储数据,大多数情况下可以直接定位到它的值,因而具有很快的访问速度。HashMap
最多只允许一条记录的key
为null
,允许多条记录的value
为null
。HashMap
非线程安全,即任一时刻可以有多个线程同时写HashMap
,但可能会导致数据的不一致。如果需要满足线程安全,可以用Collections
的synchronizedMap(Map<K,V> m)
方法使HashMap
具有线程安全的能力,但多线程环境下更推荐使用ConcurrentHashMap
。Hashtable:
Hashtable
是遗留类,很多映射的常用功能与HashMap
类似,不同的是它承自Dictionary
类,并且是线程安全的,任一时间只有一个线程能写Hashtable
,并发性不如ConcurrentHashMap
,因为ConcurrentHashMap
引入了分段锁(JDK1.7中采用分段锁技术、JDK1.8中采用的是CAS)。Hashtable
不建议再在新代码中使用,不需要线程安全的场合可以用HashMap
替换,需要线程安全的场合可以用ConcurrentHashMap
替换。LinkedHashMap:
LinkedHashMap
继承自HashMap
,在HashMap
基础上,通过维护一条双向链表,解决了HashMap
不能随时保持遍历顺序和插入顺序一致的问题。详细可查看:LinkedHashMap 源码详细分析(JDK1.8)
-
TreeMap:
TreeMap
实现SortedMap
接口,能够把它保存的记录根据key
排序,默认是按键kwy
的值升序排序,也可以指定排序的比较器,当用Iterator
遍历TreeMap
时,得到的记录是排过序的。如果使用排序的映射,建议使用TreeMap
。在使用TreeMap
时,key必须实现Comparable
接口或者在构造TreeMap
传入自定义的Comparator
,否则会在运行时抛出java.lang.ClassCastException
类型的异常。
对于上述四种Map类型的类,要求映射中的key
是不可变对象。不可变对象是该对象在创建后它的哈希值不会被改变。如果对象的哈希值发生变化,Map对象很可能就定位不到映射的位置了。
通过上面的比较,我们知道了HashMap
是Java
的Map家族中一个普通成员,鉴于它可以满足大多数场景的使用条件,所以是使用频度最高的一个。下文我们主要结合源码,从存储结构、常用方法分析、扩容以及安全性等方面深入讲解HashMap
的工作原理。
内部实现
要搞清楚HashMap,首先需要知道HashMap是什么,即它的存储结构;其次弄明白HashMap能干什么,即它的功能实现。下面我们针对这两个方面详细展开讲解。
一、存储结构-字段
HashMap采用的数据机构是数组+链表+红黑树(JDK1.8增加了红黑树部分)实现的,如下如所示。
这里需要讲明白两个问题:数据底层具体存储的是什么?这样的存储方式有什么优点呢?
(1) 从源码可知,HashMap类中有一个非常重要的字段,就是 Node[] table
,即哈希桶数组,明显它是一个Node
的数组。我们来看Node
(JDK1.8)是何物。
Node
是HashMap
的一个内部类,实现了Map.Entry
接口,本质上就是一个映射(键值对)。上图中的每个黑色圆点就是一个Node
对象。
(2)HashMap就是使用哈希表来存储的。哈希表为解决冲突,可以采用 开放地址法 和 链地址法 等来解决问题,Java
中HashMap
采用了链地址法。链地址法,简单来说,就是数组+链表的结合。在每个数组元素上都一个链表结构,当数据被Hash后,得到数组下标,把数据放在对应下标元素的链表上。例如程序执行下面代码:
map.put("河南大学","河南·开封");
系统将调用"河南大学"这个key
的hashCode()
方法得到其hashCode
值(该方法适用于每个Java对象),然后再通过Hash算法的后两步运算(高位运算和取模运算,下文有介绍)来定位该键值对的存储位置,有时两个key
会定位到相同的位置,表示发生了Hash碰撞
。当然Hash算法计算结果越分散均匀,Hash碰撞的概率就越小,map的存取效率就会越高。
如果哈希桶数组很大,即使较差的Hash算法也会比较分散,如果哈希桶数组数组很小,即使好的Hash算法也会出现较多碰撞,所以就需要在空间成本和时间成本之间权衡,其实就是在根据实际情况确定哈希桶数组的大小,并在此基础上设计好的hash算法减少Hash碰撞。那么通过什么方式来控制map使得Hash碰撞的概率又小,哈希桶数组(Node[] table)
占用空间又少呢?答案就是好的Hash算法和扩容机制。
在理解Hash和扩容流程之前,我们得先了解下HashMap的几个字段。从HashMap的默认构造函数源码可知,构造函数就是对下面几个字段进行初始化,源码如下:
int threshold;
final float loadFactor;
int modCount;
int size;
首先,Node[] table
的初始化长度length
(默认值是16),loadFactor为负载因子(默认值是0.75),threshold是HashMap
所能容纳的最大数据量的Node(键值对)
个数。threshold = length * loadFactor
,比如length=16、loadFactor=0.75f
,那么threshold=16 * 0.75=12
。也就是说,在数组定义好长度之后,负载因子越大,所能容纳的键值对个数越多。
结合负载因子的定义公式可知,threshold
就是在此loadFactor
和length
(数组长度)对应下允许的最大元素数目,超过这个数目就重新resize(扩容)
,扩容后的HashMap
容量是之前容量的两倍。默认的负载因子0.75是对空间和时间效率的一个平衡选择,建议大家不要修改,除非在时间和空间比较特殊的情况下,如果内存空间很多而又对时间效率要求很高,可以降低负载因子loadFactor
的值;相反,如果内存空间紧张而对时间效率要求不高,可以增加负载因子loadFactor
的值,这个值可以大于1。
size这个字段其实很好理解,就是HashMap
中实际存在的键值对数量。注意和table的长度length
、容纳最大键值对数量threshold
的区别。而modCount字段主要用来记录HashMap
内部结构发生变化的次数,主要用于迭代的快速失败。强调一点,内部结构发生变化指的是结构发生变化,例如put新键值对,但是某个key
对应的value
值被覆盖不属于结构变化。
在HashMap
中,哈希桶数组table的长度length大小必须为2的n次方(一定是合数),这是一种非常规范的设计,常规的设计是把桶的大小设计为素数。相对来说素数导致冲突的概率要小于合数。HashMap
采用这种非常规设计,主要是为了在取模和扩容时做优化,同时为了减少冲突,HashMap
定位哈希桶索引位置时,也加入了高位参与运算的过程。
这里存在一个问题,即使负载因子和Hash算法设计的再合理,也免不了会出现拉链过长的情况,一旦出现拉链过长,则会严重影响HashMap的性能。于是,在JDK1.8版本中,对数据结构做了进一步的优化,引入了红黑树。而当链表长度太长(默认超过8)时,链表就转换为红黑树;当红黑树节点个数太少(默认少于6)时,红黑树就退化为链表。
二、功能实现-方法
HashMap的内部功能实现很多,本文主要从根据key获取哈希桶数组索引位置、put方法的详细执行、扩容过程三个具有代表性的点深入展开讲解。
1. 确定哈希桶数组索引位置
不管增加、删除、查找键值对,定位到哈希桶数组的位置都是很关键的第一步。前面说过HashMap的数据结构是数组和链表的结合,所以我们当然希望这个HashMap里面的元素位置尽量分布均匀些,尽量使得每个位置上的元素数量只有一个,那么当我们用hash算法求得这个位置的时候,马上就可以知道对应位置的元素就是我们要的,不用遍历链表,大大优化了查询的效率。HashMap定位数组索引位置,直接决定了hash方法的离散性能。先看看源码的实现(方法一+方法二):
这里的Hash算法本质上就是三步:取key的hashCode值、高位运算、取模运算。
对于任意给定的对象,只要它的hashCode()
返回值相同,那么程序调用方法一所计算得到的Hash
码值总是相同的。我们首先想到的就是把hash
值对数组长度取模运算,这样一来,元素的分布相对来说是比较均匀的。但是,模运算的消耗还是比较大的,在HashMap
中是这样做的:调用方法二来计算该对象应该保存在table数组的哪个索引处。
这个方法非常巧妙,它通过h & (table.length -1)
来得到该对象的保存位,而HashMap
底层数组的长度总是2的n次方,这是HashMap
在速度上的优化。当length总是2的n次方时,h& (length-1)
运算等价于对length
取模,也就是h%length
,但是&比%具有更高的效率。
在JDK1.8的实现中,优化了高位运算的算法,通过hashCode()的高16位异或低16位(h = k.hashCode()) ^ (h >>> 16)
实现的,主要是从速度、功效、质量来考虑的,这么做可以在数组table的length比较小的时候,也能保证考虑到高低位都参与到Hash的计算中,同时不会有太大的开销。
下面举例说明下,n为table的长度。
2. 分析HashMap的put方法
HashMap的put方法执行过程可以通过下图来理解,自己有兴趣可以去对比源码更清楚地研究学习。
①.判断键值对数组
table[i]
是否为空或为null,否则执行resize()
进行扩容;
②.根据键值key
计算hash
值得到插入的数组索引i,如果table[i]==null
,直接新建节点添加,转向⑥,如果table[i]
不为空,转向③;
③.判断table[i]
的首个元素是否和key
一样,如果相同直接覆盖value
,否则转向④,这里的相同指的是hashCode
以及equals
;
④.判断table[i]
是否为treeNode
,即table[i]
是否是红黑树,如果是红黑树,则直接在树中插入键值对,否则转向⑤;
⑤.遍历table[i]
,判断链表长度是否大于8,大于8的话把链表转换为红黑树,在红黑树中执行插入操作,否则进行链表的插入操作;遍历过程中若发现key
已经存在直接覆盖value
即可;
⑥.插入成功后,判断实际存在的键值对数量size
是否超多了最大容量threshold
,如果超过,进行扩容。
JDK1.8HashMap的put方法源码如下:
3. 扩容机制
扩容(resize)就是重新计算容量,向HashMap对象里不停的添加元素,而HashMap对象内部的数组无法装载更多的元素时,对象就需要扩大数组的长度,以便能装入更多的元素。当然Java里的数组是无法自动扩容的,方法是使用一个新的数组代替已有的容量小的数组,就像我们用一个小桶装水,如果想装更多的水,就得换大水桶。
我们分析下resize的源码,鉴于JDK1.8融入了红黑树,较复杂,为了便于理解我们仍然使用JDK1.7的代码,好理解一些,本质上区别不大,具体区别后文再说。
这里就是使用一个容量更大的数组来代替已有的容量小的数组(扩容后数组的大小为扩容前数组的2倍),transfer()
方法将原有Entry数组
的元素拷贝到新的Entry数组里。
newTable[i]
的引用赋给了e.next
,也就是使用了单链表的头插入方式,同一位置上新元素总会被放在链表的头部位置;这样先放在一个索引上的元素终会被放到Entry
链的尾部(如果发生了hash冲突的话),这一点和JDK8有区别(JDK8是尾插法),下文详解。在旧数组中同一条Entry链上的元素,通过重新计算索引位置后,有可能被放到了新数组的不同位置上。
下面举个例子说明下扩容过程。假设了我们的hash算法就是简单的用key mod 一下表的大小(也就是数组的长度)。其中的哈希桶数组table的size=2, 所以key = 3、7、5,put顺序依次为 5、7、3。在mod 2以后都冲突在table[1]这里了。这里假设负载因子 loadFactor=1,即当键值对的实际大小size 大于 table的实际大小时进行扩容。接下来的三个步骤是哈希桶数组 resize成4,然后所有的Node重新rehash的过程。
下面我们讲解下JDK1.8做了哪些优化。
经过观测可以发现,我们使用的是2次幂的扩展(指长度扩为原来2倍),所以,元素的位置要么是在原位置,要么是在原位置再移动2次幂的位置。看下图可以明白这句话的意思,n为table的长度,图(a)表示扩容前的key1和key2两种key确定索引位置的示例,图(b)表示扩容后key1和key2两种key确定索引位置的示例,其中hash1是key1对应的哈希与高位运算结果。
元素在重新计算hash之后,因为n变为2倍,那么n-1的范围在高位多1bit(红色),因此新的index就会发生这样的变化:
因此,我们在扩充HashMap的时候,不需要像JDK1.7的实现那样重新计算hash,只需要看看原来的hash值新增的那个bit是1还是0就好了,是0的话索引没变,是1的话索引变成“原索引+oldCap”,可以看看下图为16扩充为32的resize示意图:
这个设计确实非常的巧妙,既省去了重新计算hash值的时间,而且同时,由于新增的1bit是0还是1可以认为是随机的,因此resize的过程,均匀的把之前的冲突的节点分散到新的bucket了。这一块就是JDK1.8新增的优化点。有一点注意区别,JDK1.7中rehash的时候,旧链表迁移新链表的时候,如果在新表的数组索引位置相同,则链表元素会倒置,但是从上图可以看出,JDK1.8不会倒置。有兴趣的同学可以研究下JDK1.8的resize源码,写的很赞,如下:
线程安全性
在多线程使用场景中,应该尽量避免使用线程不安全的HashMap
,而使用线程安全的ConcurrentHashMap
。那么为什么说HashMap
是线程不安全的,下面举例子说明在并发的多线程使用场景中使用HashMap
可能造成死循环。代码例子如下(便于理解,仍然使用JDK1.7的环境):
其中,map初始化为一个长度为2的数组,loadFactor=0.75,threshold=2*0.75=1,也就是说当put第二个key的时候,map就需要进行resize。
通过设置断点让线程1和线程2同时debug到transfer()方法的首行。注意此时两个线程已经成功添加数据。放开thread1的断点至transfer方法的“Entry next = e.next;” 这一行;然后放开线程2的的断点,让线程2进行resize。结果如下图。
注意,Thread1的 e 指向了key(3),而next指向了key(7),其在线程二rehash后,指向了线程二重组后的链表。
线程一被调度回来执行,先是执行 newTalbe[i] = e, 然后是e = next,导致了e指向了key(7),而下一次循环的next = e.next导致了next指向了key(3)。
e.next = newTable[i] 导致 key(3).next 指向了 key(7)。注意:此时的key(7).next 已经指向了key(3), 环形链表就这样出现了。
于是,当我们用线程一调用map.get(11)时,悲剧就出现了——死循环。
JDK1.8与JDK1.7的性能对比
HashMap中,如果key经过hash算法得出的数组索引位置全部不相同,即Hash算法非常好,那样的话,getKey方法的时间复杂度就是O(1),如果Hash算法技术的结果碰撞非常多,假如Hash算极其差,所有的Hash算法结果得出的索引位置一样,那样所有的键值对都集中到一个桶中,或者在一个链表中,或者在一个红黑树中,时间复杂度分别为O(n)和O(lgn)。
小结
(1) 扩容是一个特别耗性能的操作,所以当程序员在使用HashMap的时候,估算map的大小,初始化的时候给一个大致的数值,避免map进行频繁的扩容。
(2) 负载因子是可以修改的,也可以大于1,但是建议不要轻易修改,除非情况非常特殊。
(3) HashMap是线程不安全的,不要在并发的环境中同时操作HashMap,建议使用ConcurrentHashMap。
(4) JDK1.8引入红黑树大程度优化了HashMap的性能。
(5) 还没升级JDK1.8的,现在开始升级吧。HashMap的性能提升仅仅是JDK1.8的冰山一角。
参考文章
Java 8系列之重新认识HashMap