快速掌握并发编程---ArrayBlockingQueue 底层原理和实战

背景

JDK1.5的时候,在新增的Concurrent包中,BlockingQueue很好的解决了多线程中,如何高效安全“传输”数据的问题。通过这些高效并且线程安全的队列类,为我们快速搭建高质量的多线程程序带来极大的便利。

本文详细介绍了BlockingQueue家庭中的所有成员,包括他们各自的功能以及常见使用场景。分析ArrayBlockingQueue的底层源码分析。

 BlockingQueue 简介

阻塞队列,顾名思义,首先它是一个队列,而一个队列在数据结构中所起的作用大致如下图所示:

从上图我们可以很清楚看到,通过一个共享的队列,可以使得数据由队列的一端输入,从另外一端输出。

常用的队列主要有以下两种:(当然通过不同的实现方式,还可以延伸出很多不同类型的队列,DelayQueue就是其中的一种)

先进先出(FIFO):先插入的队列的元素也最先出队列,类似于排队的功能。从某种程度上来说这种队列也体现了一种公平性。

后进先出(LIFO):后插入队列的元素最先出队列,这种队列优先处理最近发生的事件。

下面两幅图演示了BlockingQueue的两个常见阻塞场景:

如上图所示:当队列中没有数据的情况下,消费者端的所有线程都会被自动阻塞(挂起),直到有数据放入队列。

如上图所示:当队列中填满数据的情况下,生产者端的所有线程都会被自动阻塞(挂起),直到队列中有空的位置,线程被自动唤醒。

这也是我们在多线程环境下,为什么需要BlockingQueue的原因。作为BlockingQueue的使用者,我们再也不需要关心什么时候需要阻塞线程,什么时候需要唤醒线程,因为这一切BlockingQueue都给你一手包办了。

既然BlockingQueue如此神通广大,让我们一起来见识下它的常用方法:

BlockingQueue的核心方法
添加数据:

offer(anObject):表示如果可能的话,将anObject加到BlockingQueue里,即如果BlockingQueue可以容纳,则返回true,否则返回false。(本方法不阻塞当前执行方法的线程)

offer(E o, long timeout, TimeUnit unit):可以设定等待的时间,如果在指定的时间内,还不能往队列中加入BlockingQueue,则返回失败。

put(anObject):把anObject加到BlockingQueue里,如果BlockingQueue没有空间,则调用此方法的线程被阻断,直到BlockingQueue里面有空间再继续。

获取数据:

poll(time):取走BlockingQueue里排在首位的对象,若不能立即取出,则可以等time参数规定的时间,取不到时返回null。

poll(long timeout, TimeUnit unit):从BlockingQueue取出一个队首的对象,如果在指定时间内,队列一旦有数据可取,则立即返回队列中的数据。否则知道时间超时还没有数据可取,返回失败。

take():取走BlockingQueue里排在首位的对象,若BlockingQueue为空,阻断进入等待状态直到BlockingQueue有新的数据被加入。

drainTo():一次性从BlockingQueue获取所有可用的数据对象(还可以指定获取数据的个数), 通过该方法,可以提升获取数据效率;不需要多次分批加锁或释放锁。

常见BlockingQueue

在了解了BlockingQueue的基本功能后,让我们来看看BlockingQueue家庭大致有哪些成员?

ArrayBlockingQueue源码分析

构造方法

ArrayBlockingQueue中有三个构造方法,常用这两种,另外的这里就不说了,没多意义。

//创造一个队列,指定队列容量就可以了,默认模式为非公平模式
public ArrayBlockingQueue(int capacity) {
        this(capacity, false);
}
////创造一个队列,指定队列容量和指定公平性
public ArrayBlockingQueue(int capacity, boolean fair) {
        if (capacity <= 0)
            throw new IllegalArgumentException();
        this.items = new Object[capacity];
        //这里用的就是重入锁,
        //公平性通过fair来判断
        lock = new ReentrantLock(fair);
        //不为空条件队列,明显就是给消费者用
        notEmpty = lock.newCondition();
        //没有满条件队列,给生产者用
        notFull =  lock.newCondition();
}

重要属性

//底层数据结构,说明底层存储数据的数据结构是数组
private final E[] items;
//用来为下一个take/poll/remove的索引(出队)
private int takeIndex;
//用来为下一个put/offer/add的索引(入队)
private int putIndex;
//队列中元素的个数
private int count;
/** Main lock guarding all access */   
private final ReentrantLock lock;//锁
/** Condition for waiting takes */
private final Condition notEmpty;//等待出队的条件
/** Condition for waiting puts */
private final Condition notFull;//等待入队的条件

从这几个属性就能看出来,ArrayBlockingQueue的底层组成为:

  1. 数组

  2. 一个重入锁

  3. 两个条件队列

入队

add()方法

public boolean add(E e) {
    // 调用父类的add(e)方法
    return super.add(e);
}

public boolean add(E e) {
    // 调用offer(e)如果成功返回true,如果失败抛出异常
    if (offer(e))
        return true;
    else
        throw new IllegalStateException("Queue full");
}

offer(e)方法入队

入参e为null,会抛空指针异常

元素插入到队尾(putIndex自增)

唤醒线程

生产者消费者模式

/**
 * 在队尾插入一个元素,
 * 如果队列没满,立即返回true;
 * 如果队列满了,立即返回false
 * 注意:该方法通常优于add(),因为add()失败直接抛异常
 */
public boolean offer(E e) {
    //检查存入的数据是否为null
    checkNotNull(e);        
    final ReentrantLock lock = this.lock;
    lock.lock();        
    try {            
        //如果数组满了,返回入队失败            
        if (count == items.length)                
            return false;            
        else {                
            //入队                
            enqueue(e);                
            return true;            
        }        
    } finally {            
        lock.unlock();        
    }
}
//如果存入的数据是null的会抛控指针异常    
private static void checkNotNull(Object v) {        
    if (v == null)   throw new NullPointerException();    
}
//putIndex是int类型,默认值就是0
private void enqueue(E x) {        
    final Object[] items = this.items;        
    //从下标为0的位置开始放入数据        
    items[putIndex] = x;        
    //如果putIndex等于数组大小,证明这是最后一个能存放的,然后把putIndex设置为0        
    //否则++putIndex        
    if (++putIndex == items.length){            
        putIndex = 0;        
    }
    //放入数据个数+1
    count++;
     /**
      * 唤醒一个线程
      * 如果有任意一个线程正在等待这个条件,那么选中其中的一个区唤醒。
      * 在从等待状态被唤醒之前,被选中的线程必须重新获得锁
      */
    notEmpty.signal();
}

带超时时间的offer,在队尾插入一个元素,,如果数组已满,则进入等待,直到出现以下三种情况:-->阻塞

被唤醒

等待时间超时

当前线程被中断

put方法入队

public void put(E e) throws InterruptedException {        
    checkNotNull(e);        
    final ReentrantLock lock = this.lock;  
    //加锁,如果线程中断了抛出异常
    lock.lockInterruptibly();        
    try {            
        while (count == items.length){   
            //这里就是阻塞了,要注意。如果运行到这里,
            //那么它会释放上面的锁,一直等到唤醒
            notFull.await();      
        }    
        //放入队列
        enqueue(e);        
    } finally {            
        lock.unlock();        
    }
}

小结
  1. add(e)时如果队列满了则抛出异常;

  2. offer(e)时如果队列满了则返回false;

  3. put(e)时如果队列满了则使用notFull等待;

  4. offer(e, timeout, unit)时如果队列满了则等待一段时间后如果队列依然满就返回false;

  5. enqueue()利用放指针循环使用数组来存储元素;

出队

take方法出队

从头部出队

队中没有数据,等待被唤醒再取数据。

public E take() throws InterruptedException {
    final ReentrantLock lock = this.lock;
    //加锁,如果线程中断了抛出异常
    lock.lockInterruptibly();        
    try {
        //队列中不存元素
        while (count == 0){  
            /*
             * 一直等待条件notEmpty,即被其他线程唤醒
             * (唤醒其实就是,有线程将一个元素入队了,然后调用notEmpty.signal()
             * 唤醒其他等待这个条件的线程,同时队列也不空了)
             */
            notEmpty.await();
        }
        //否则出队
        return dequeue();        
    } finally {            
        lock.unlock();        
    }    
}
private E dequeue() {
    final Object[] items = this.items;
    // 取取指针位置的元素
    E x = (E) items[takeIndex];
    // 把取指针位置设为null
    items[takeIndex] = null;
    // 取指针前移,如果数组到头了就返回数组前端循环利用
    if (++takeIndex == items.length)
        takeIndex = 0;
    // 元素数量减1
    count--;
    if (itrs != null)
        itrs.elementDequeued();
    // 唤醒notFull条件
    notFull.signal();
    return x;
}

poll方法出队

太简单了,如果队列里没有数据,就直接返回null,否则从队列头部出队

public E poll() {        
    final ReentrantLock lock = this.lock;        
    lock.lock();        
    try {
        //如果队列里没有数据就直接返回null
        //否则从队列头部出队
        return (count == 0) ? null : dequeue();        
    } finally {            
        lock.unlock();       
    }   
}

remove方法

public E remove() {
    // 调用poll()方法出队
    E x = poll();
    if (x != null)
        // 如果有元素出队就返回这个元素
        return x;
    else
        // 如果没有元素出队就抛出异常
        throw new NoSuchElementException();
}

小结

  1. remove()时如果队列为空则抛出异常;

  2. poll()时如果队列为空则返回null;

  3. take()时如果队列为空则阻塞等待在条件notEmpty上;

  4. poll(timeout, unit)时如果队列为空则阻塞等待一段时间后如果还为空就返回null;

  5. dequeue()利用取指针循环从数组中取元素;

1.ArrayBlockingQueue不需要扩容,因为是初始化时指定容量,并循环利用数组;

2.ArrayBlockingQueue利用takeIndex和putIndex循环利用数组;

3.入队和出队各定义了四组方法为满足不同的用途;

4.利用重入锁和两个条件保证并发安全。

(0)

相关推荐

  • JAVA中常见的阻塞队列详解

    在之前的线程池的介绍中我们看到了很多阻塞队列,这篇文章我们主要来说说阻塞队列的事. 阻塞队列也就是 BlockingQueue ,这个类是一个接 口,同时继承了 Queue 接口,这两个接口都是在JD ...

  • java开发技术之Executors创建线程池的弊端

    java开发技术之Executors创建线程池的弊端

  • Java并发队列和容器

    [前言:无论是大数据从业人员还是Java从业人员,掌握Java高并发和多线程是必备技能之一.本文主要阐述Java并发包下的阻塞队列和并发容器,其实研读过大数据相关技术如Spark.Storm等源码的, ...

  • 快速掌握并发编程---线程池的原理和实战

    池 上图是装水的池子--水池. 流行池化技术,那么到底什么是池化技术呢? 池化技术简单点来说,就是提前保存大量的资源,以备不时之需.在机器资源有限的情况下,使用池化技术可以大大的提高资源的利用率,提升 ...

  • 快速掌握并发编程---深入学习ThreadLocal

    生活中的ThreadLocal 考试题只有一套,老师把考试题打印出多份,发给每位考生,然后考生各自写各自的试卷.考生之间不能相互交头接耳(会当做作弊).各自写出来的答案不会影响他人的分数. 注意:考试 ...

  • 快速掌握并发编程---深入学习Condition

    回复"000"获取大量电子书 目录 notify和waitConditionCondition使用案例生产者消费者测试类结果Condition源码分析await方法addCondi ...

  • 分布式并发编程,线程安全性,原理分析

    初步认识 Volatile 一段代码引发的思考 下面这段代码,演示了一个使用 volatile 以及没使用volatile这个关键字,对于变量更新的影响 public class VolatileDe ...

  • 底层原理(上):八卦的底层逻辑

    回顾: 阴阳扩展成五位,五位还不是五行,五位只是阴阳的结构维度. 先有位置,再有性质! 阴阳扩展出五位之后,根据具体研究的系统,或者地域,把系统中的物质归为五大性质,在我们地球上,古人归纳为" ...

  • 底层原理(中):八卦与天干,两把量天尺

    对于十天干的来源及详解,前文已有说明,在此不浪费大家宝贵时间,往前翻<解读十天干原理及由来>一文,这里重点比较一下八卦系统和天干系统的异同. 前文说到八卦(先天)的演化过程,不需要五行的参 ...

  • 底层原理(下)十二地支应用系统

    天干是理论上的阴阳转化过程,或者说是阴阳的标准转化过程,配合应用系统使用的时候,它只是一个衡量标准. 在应用的时候,还要以具体的环境或平台为准,比如在我们生活的北半球,古人就发明十二地支,十二地支是基 ...

  • 看了这篇,HashMap底层原理终于搞懂了!

    优质文章,第一时间送达 HashMap结构图 HashMap底层数据结构:Entry数组+链表+红黑树(JDK1.8版本) Entry+链表(JDK1.7版本) 代码分析 常见的参数及意义  //默认 ...

  • ​韩剧风靡世界的底层原理

    主播:吴名   这本书是由韩国中央大学新闻电视研究所大众传播博士郑淑所写.这是一本全方位剖析经典韩剧创作法的剧作书.作者从题材选择.人物设定.故事类型.场景与对白写作,深入剖析了韩国电视剧的创作方法和 ...