一次线上java.util.ConcurrentModificationException异常排查引发的思考

异常抛出原因

在使用remove方法对ArrayList进行删除操作时,会抛出此异常。

代码分析

测试用户类:

package sort;

public class User implements Comparable<User>{

    private int id;

    private String name;

    private int birthDay;

    public User(int id, String name, int birthDay) {
        this.id = id;
        this.name = name;
        this.birthDay = birthDay;
    }

    public int getId() {
        return id;
    }

    public String getName() {
        return name;
    }

    public int getBirthDay() {
        return birthDay;
    }

    @Override
    public int compareTo(User user) {
        return user.getId() - this.getId();
    }
}

各种remove方法测试:

package sort;

import com.google.common.collect.Lists;

import java.util.Iterator;
import java.util.List;

public class SortTest1 {

    public static void main(String[] args) {
        foreachRemove();
        iteratorRemove();
        iteratorHasNextCheck();
    }

    private static void iteratorHasNextCheck() {
        List<User> list = initUserList();
        Iterator<User> iterator = list.iterator();
        while(iterator.hasNext()){
            User user = iterator.next();
            if("四".equals(user.getName())){
                list.remove(user);
            }else{
                System.out.println(user.getName());
            }
        }
    }

    private static void iteratorRemove() {
        try {
            List<User> list = initUserList();
            Iterator<User> iterator = list.iterator();
            while (iterator.hasNext()) {
                User user = iterator.next();
                if (user.getBirthDay() < 20040101) {
                    iterator.remove();
                }
            }
            System.out.println(list.size());
        } catch (Exception e) {
            e.printStackTrace();
            System.out.println("iteratorRemove failed");
        }
    }

    private static void foreachRemove() {
        try {
            List<User> list = initUserList();
            for (User user : list) {
                if (user.getBirthDay() < 20040101) {
                    list.remove(user);
                }
            }
            System.out.println(list.size());
        } catch (Exception e) {
            e.printStackTrace();
            System.out.println("foreachRemove failed");
        }

    }

    private static List<User> initUserList() {
        List<User> list = Lists.newArrayList();
        list.add(new User(1,"一", 20010101));
        list.add(new User(2,"二", 20020202));
        list.add(new User(3,"三", 20030303));
        list.add(new User(4,"四", 20040404));
        list.add(new User(5,"五", 20050505));
        return list;
    }
}

结果:

java.util.ConcurrentModificationException
    at java.util.ArrayList$Itr.checkForComodification(ArrayList.java:909)
    at java.util.ArrayList$Itr.next(ArrayList.java:859)
    at sort.SortTest1.foreachRemove(SortTest1.java:49)
    at sort.SortTest1.main(SortTest1.java:11)
foreachRemove failed
2
一
二
三

在分析结果前,先贴出ArrayList的迭代器源码

private class Itr implements Iterator<E> {
        int cursor;       // index of next element to return
        int lastRet = -1; // index of last element returned; -1 if no such
        int expectedModCount = modCount;

        Itr() {}

        public boolean hasNext() {
            return cursor != size;
        }

        @SuppressWarnings("unchecked")
        public E next() {
            checkForComodification();
            int i = cursor;
            if (i >= size)
                throw new NoSuchElementException();
            Object[] elementData = ArrayList.this.elementData;
            if (i >= elementData.length)
                throw new ConcurrentModificationException();
            cursor = i + 1;
            return (E) elementData[lastRet = i];
        }

        public void remove() {
            if (lastRet < 0)
                throw new IllegalStateException();
            checkForComodification();

            try {
                ArrayList.this.remove(lastRet);
                cursor = lastRet;
                lastRet = -1;
                expectedModCount = modCount;
            } catch (IndexOutOfBoundsException ex) {
                throw new ConcurrentModificationException();
            }
        }

        @Override
        @SuppressWarnings("unchecked")
        public void forEachRemaining(Consumer<? super E> consumer) {
            Objects.requireNonNull(consumer);
            final int size = ArrayList.this.size;
            int i = cursor;
            if (i >= size) {
                return;
            }
            final Object[] elementData = ArrayList.this.elementData;
            if (i >= elementData.length) {
                throw new ConcurrentModificationException();
            }
            while (i != size && modCount == expectedModCount) {
                consumer.accept((E) elementData[i++]);
            }
            // update once at end of iteration to reduce heap write traffic
            cursor = i;
            lastRet = i - 1;
            checkForComodification();
        }

        final void checkForComodification() {
            if (modCount != expectedModCount)
                throw new ConcurrentModificationException();
        }
    }

分析:
1.可以看到hasNext()方法主要是比对当前元素的数组下标与迭代器元素的个数。
2.next方法要先检查ArrayList的操作数(modCount,ArrayList父类AbstractList的成员变量,
这个成员变量记录着集合的修改次数,也就每次add或者remove它的值都会加1)有没有改变,如果改变就会抛出ConcurrentModificationException异常。

  1. foreachRemove里使用了ArrayList的remove方法,modCount发生了变化,所以抛出异常。
  2. iteratorRemove里使用了ArrayList内部类Itr的remove方法,modCount未发生变化,所以正常执行。
  3. iteratorHasNextCheck里正好移除了第4个元素,此时虽然modCount变化了,但是元素总数与索引下标都是4,此时hasNext()返回false,所以不会往下执行。
  4. iteratorHasNextCheck里如果移除前3个元素,依旧会抛出ConcurrentModificationException异常。

线上问题

线上使用guava本地缓存,并且每次拿出数据会再次进行Collections.sort()排序,导致抛出此异常。
伪代码
:

package sort;

import com.google.common.collect.Lists;
import com.google.common.collect.Maps;

import java.util.Collections;
import java.util.List;
import java.util.Map;
import java.util.concurrent.LinkedBlockingQueue;
import java.util.concurrent.ThreadPoolExecutor;
import java.util.concurrent.TimeUnit;

public class SortTest2 {

    private static Map<String, List<User>> map = Maps.newHashMap();

    public static void main(String[] args) {
        buildMap();
        ThreadPoolExecutor executor = new ThreadPoolExecutor(5, 5,
                0L, TimeUnit.MILLISECONDS,  new LinkedBlockingQueue<Runnable>());
        for (int i=0; i<5; i++) {
            executor.execute(() -> {
                try {
                    Collections.sort(map.get("list"));
                    Thread.sleep(1000L);
                } catch (Exception e) {
                    e.printStackTrace();
                    System.out.println("sort thread error");
                }
            });
        }
        executor.shutdown();
    }

    private static void buildMap() {
        map.put("list", initUserList());
    }

    private static List<User> initUserList() {
        List<User> list = Lists.newArrayList();
        list.add(new User(3,"三", 20030303));
        list.add(new User(2,"二", 20020202));
        list.add(new User(4,"四", 20040404));
        list.add(new User(1,"一", 20010101));
        list.add(new User(5,"五", 20050505));
        return list;
    }
}

结果(报错数量不定,取决于并发数与排序执行时间):

java.util.ConcurrentModificationException
    at java.util.ArrayList.sort(ArrayList.java:1464)
    at java.util.Collections.sort(Collections.java:141)
    at sort.SortTest2.lambda$main$0(SortTest2.java:24)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:748)
sort thread error
java.util.ConcurrentModificationException
    at java.util.ArrayList.sort(ArrayList.java:1464)
    at java.util.Collections.sort(Collections.java:141)
    at sort.SortTest2.lambda$main$0(SortTest2.java:24)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:748)
sort thread error
java.util.ConcurrentModificationException
    at java.util.ArrayList.sort(ArrayList.java:1464)
    at java.util.Collections.sort(Collections.java:141)
    at sort.SortTest2.lambda$main$0(SortTest2.java:24)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:748)
sort thread error

ArrayList中的sort()方法

@Override
    @SuppressWarnings("unchecked")
    public void sort(Comparator<? super E> c) {
        final int expectedModCount = modCount;
        Arrays.sort((E[]) elementData, 0, size, c);
        if (modCount != expectedModCount) {
            throw new ConcurrentModificationException();
        }
        modCount++;
    }

主要调用了Arrays的sort()方法,此排序方法本文暂不介绍,后续modCount进行了自增,此处在多个线程一起执行下会出现问题,抛出ConcurrentModificationException异常。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,444评论 6 496
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,421评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,036评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,363评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,460评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,502评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,511评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,280评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,736评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,014评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,190评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,848评论 5 338
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,531评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,159评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,411评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,067评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,078评论 2 352

推荐阅读更多精彩内容