一次因HashSet引起的并发问题详解_Java教程

为啥要用hahset?

假如我们现在想要在一大堆数据中查找x数据。linkedlist的数据结构就不说了，查找效率低的可怕。arraylist哪，如果我们不知道x的位置序号，还是一样要全部遍历一次直到查到结果，效率一样可怕。hashset天生就是为了提高查找效率的。

背景

上午刚到公司，准备开始一天的摸鱼之旅时突然收到了一封监控中心的邮件。

心中暗道不好，因为监控系统从来不会告诉我应用完美无 bug，其实系统挺猥琐。

打开邮件一看，果然告知我有一个应用的线程池队列达到阈值触发了报警。

由于这个应用出问题非常影响用户体验；于是立马让运维保留现场 dump 线程和内存同时重启应用，还好重启之后恢复正常。于是开始着手排查问题。

分析

首先了解下这个应用大概是做什么的。

简单来说就是从 mq 中取出数据然后丢到后面的业务线程池中做具体的业务处理。

而报警的队列正好就是这个线程池的队列。

跟踪代码发现构建线程池的方式如下：

				?

									threadpoolexecutor executor = new threadpoolexecutor(coresize, maxsize,

									  0l, timeunit.milliseconds,

									  new linkedblockingqueue<runnable>());;

									  put(poolname,executor);

采用的是默认的 linkedblockingqueue 并没有指定大小（这也是个坑），于是这个队列的默认大小为 integer.max_value。

由于应用已经重启，只能从仅存的线程快照和内存快照进行分析。

内存分析

先利用 mat 分析了内存，的到了如下报告。

一次因HashSet引起的并发问题详解

其中有两个比较大的对象，一个就是之前线程池存放任务的 linkedblockingqueue，还有一个则是 hashset。

当然其中队列占用了大量的内存，所以优先查看，hashset 一会儿再看。

由于队列的大小给的够大，所以结合目前的情况来看应当是线程池里的任务处理较慢，导致队列的任务越堆越多，至少这是目前可以得出的结论。

线程分析

再来看看线程的分析，这里利用 fastthread.io 这个网站进行线程分析。

因为从表现来看线程池里的任务迟迟没有执行完毕，所以主要看看它们在干嘛。

正好他们都处于 runnable 状态，同时堆栈如下：

一次因HashSet引起的并发问题详解

发现正好就是在处理上文提到的 hashset，看这个堆栈是在查询 key 是否存在。通过查看 312 行的业务代码确实也是如此。

这里的线程名字也是个坑，让我找了好久。

定位

分析了内存和线程的堆栈之后其实已经大概猜出一些问题了。

这里其实有一个前提忘记讲到：

这个告警是凌晨三点发出的邮件，但并没有电话提醒之类的，所以大家都不知道。

到了早上上班时才发现并立即 dump 了上面的证据。

所有有一个很重要的事实：这几个业务线程在查询 hashset 的时候运行了 6 7 个小时都没有返回。

通过之前的监控曲线图也可以看出：

一次因HashSet引起的并发问题详解

操作系统在之前一直处于高负载中，直到我们早上看到报警重启之后才降低。

同时发现这个应用生产上运行的是 jdk1.7 ，所以我初步认为应该是在查询 key 的时候进入了 hashmap 的环形链表导致 cpu 高负载同时也进入了死循环。

为了验证这个问题再次 review 了代码。

整理之后的伪代码如下：

				?

									//线程池

									private executorservice executor;

									private set<string> set = new hashset();

									private void execute(){

									 while(true){

									 //从 mq 中获取数据

									 string key = submq();

									 executor.excute(new worker(key)) ;

									 }

									}

									public class worker extends thread{

									 private string key ;

									 public worker(string key){

									 this.key = key;

									 }

									 @override

									 private void run(){

									 if(!set.contains(key)){

									 //数据库查询

									 if(querydb(key)){

									 set.add(key);

									 return;

									 }

									 }

									 //达到某种条件时清空 set

									 if(flag){

									 set = null ;

									 }

									 } 

									}