详解ConcurrentHashMap
详解ConcurrentHashMap
会呼吸的Coder
发布于 2022-12-02 16:15:36
发布于 2022-12-02 16:15:36
什么是ConcurrentHashMap
concurrentHashMap是一个支持高并发更新与查询的哈希表(基于HashMap)。
在保证安全的前提下，进行检索不需要锁定。与hashtable不同，该类不依赖于synchronization去保证线程操作的安全。
ConcurrentHashMap结构
根据上述，知道ConcurrentHashMap的目标，接下来就是看该目标需要解决哪些问题。
以put()方法为例：
● 计算出key的槽位
● 根据槽位类型进行操作(链表，红黑树)
● 根据槽位中成员数量进行数据转换,扩容等操作
回顾hashMap的数据结构：
如何高效的执行并发操作
根据上面hashMap的数据结构可以直观的看到，如果以整个容器为一个资源进行锁定，那么就变为了串行操作。而根据hash表的特性，具有冲突的操作只会出现在同一槽位，而与其它槽位的操作互不影响。
基于此种判断，那么就可以将资源锁粒度缩小到槽位上，这样热点一分散，冲突的概率就大大降低，并发性能就能得到很好的增强。
如何进行锁的选择
ConcurrentHashMap使用JUC包中通过直接操作内存中的对象，将比较与替换合并为一个原子操作的乐观锁形式（CAS）来进行简单的值替换操作，对于一些含有复杂逻辑的流程对Node节点对象使用synchronize进行同步。
Node节点类型与作用
回顾HashMap，其中Node节点类型包含两种，第一种链表，第二种红黑树。
而在ConcurrentHashMap中节点类型在上述两种的基础上扩展了，两种分别是ForwardingNode
和 ReservationNode。
ForwardingNode：用于解决当进行扩容的时候，进行查询的问题。
ReservationNode：用于解决当进行计算时，计算的对象为空的问题。
槽位hash值含义：
链表：大于0
ForwardingNode：-1
红黑树：-2
ReservationNode：-3
扩容的方式
基于hashMap的扩容方式，通过成员的最新bit位是1or0来决定是否将成员迁入新的槽位中。
显而易见，这种扩容方式对于槽位之间也是互不影响的，那么就可以进行并发的执行扩容以达到高效的目的。
节点为空则直接替换为Forwarding，后续操作就在新容器中开展。
如果节点不为空，则对节点处理完毕后变更为Forwarding。
/**
* Table initialization and resizing control. When negative, the
* table is being initialized or resized: -1 for initialization,
* else -(1 + the number of active resizing threads). Otherwise,
* when table is null, holds the initial table size to use upon
* creation, or 0 for default. After initialization, holds the
* next element count value upon which to resize the table.
*/
private transient volatile int sizeCtl;
○ 负数
■ -1：容器进行初始化
■ 其余负数：高16存储resizeStamp()返回的扩容标识符，低16位（1+进行扩容的线程数）
○ 正数
■ 0：未初始化，需要进行初始化
■ 其余正数：当前容器的大小
源码分析
putVal()方法
final V putVal(K key, V value, boolean onlyIfAbsent) {
if (key == null || value == null) throw new NullPointerException();
//获取hash值
int hash = spread(key.hashCode());
int binCount = 0;
for (Node<K,V>[] tab = table;;) {
Node<K,V> f; int n, i, fh;
//容器为空进行初始化流程
if (tab == null || (n = tab.length) == 0)
tab = initTable();
//如果槽位中为空的
else if ((f = tabAt(tab, i = (n - 1) & hash)) == null) {
//以cas方式进行替换，替换成功就中断循环，替换失败则进行下一次循环
if (casTabAt(tab, i, null,
new Node<K,V>(hash, key, value, null)))
break; // no lock when adding to empty bin
}
//一种特殊的节点（forwarding 节点，迁移节点，只在迁移过程中存在）的处理方式
else if ((fh = f.hash) == MOVED)
//帮助进行扩容
tab = helpTransfer(tab, f);
//如果槽位不为空，并且不是（forwarding节点）
else {
V oldVal = null;
//将整个槽位锁住
synchronized (f) {
//double check，如果槽位里面的数据发生变更则重新走流程
if (tabAt(tab, i) == f) {
//如果是链表
if (fh >= 0) {
binCount = 1;
for (Node<K,V> e = f;; ++binCount) {
K ek;
//如果存在成员则覆盖
if (e.hash == hash &&
((ek = e.key) == key ||
(ek != null && key.equals(ek)))) {
oldVal = e.val;
if (!onlyIfAbsent)
e.val = value;
break;
}
//不存在成员则新增
Node<K,V> pred = e;
if ((e = e.next) == null) {
pred.next = new Node<K,V>(hash, key,
value, null);
break;
}
}
}
//如果是红黑树
else if (f instanceof TreeBin) {
Node<K,V> p;
binCount = 2;
if ((p = ((TreeBin<K,V>)f).putTreeVal(hash, key,
value)) != null) {
oldVal = p.val;
if (!onlyIfAbsent)
p.val = value;
}
}
}
}
//如果一个槽位中的数量大于1（只有大于1的才会有binCount）
if (binCount != 0) {
//如果槽位中的成员数量大于等于8，则变更为
if (binCount >= TREEIFY_THRESHOLD)
//进行转换成红黑树处理
treeifyBin(tab, i);
if (oldVal != null)
return oldVal;
break;
}
}
}
addCount(1L, binCount);
return null;
}
spread()方法，获取槽位。
作用：用于获取槽位值
static final int spread(int h) {
//h为key值得hash值,将高16位也参与运算，然后与int最大值进行&运算(效果为将值变为正数，其他位置不变)
//HASH_BITS为int最大值，最高位为0
//HashMap中没有处理为正数的步骤，这里负数有其它含义，查看节点类型
return (h ^ (h >>> 16)) & HASH_BITS;
}
initTable()方法，初始化容器
private final Node<K,V>[] initTable() {
Node<K,V>[] tab; int sc;
while ((tab = table) == null || tab.length == 0) {
//sizeCtl，代表着初始化资源或者扩容资源的锁，必须要获取到该锁才允许进行初始化或者扩容的操作
if ((sc = sizeCtl) < 0)
//放弃当前cpu的使用权，让出时间片，线程计入就绪状态参与竞争
Thread.yield(); // lost initialization race; just spin
//比较并尝试将sizeCtl替换成-1，如果失败则继续循环
else if (U.compareAndSwapInt(this, SIZECTL, sc, -1)) {
try {
//进行一次double check 防止在进入分支前，容器发生了变更
if ((tab = table) == null || tab.length == 0) {
int n = (sc > 0) ? sc : DEFAULT_CAPACITY;
@SuppressWarnings("unchecked")
//初始化容器
Node<K,V>[] nt = (Node<K,V>[])new Node<?,?>[n];
table = tab = nt;
sc = n - (n >>> 2);
}
} finally {
sizeCtl = sc;
}
break;
}
}
return tab;
}
addCount() ，计算成员数量
问题：如果每一个线程的更新都去修改baseCount，当竞争比较小的时候问题不大，但是当非常频繁就会导致同一时候只有一个线程能更新成功，其它线程需要自旋等待机会，如果将baseCount拆成一个个cell也就是CounterCell[]，每个线程绑定一个cell单元进行自身size的添加，那么就可以分散热点。
作用：和LongAdder思路一样，分散热点，提高性能，同时增加查询size时候的性能问题，只有当竞争强度上升才会启用
private final void addCount(long x, int check) {
CounterCell[] as; long b, s;
//统计单元不为空or数量增加失败
if ((as = counterCells) != null ||
!U.compareAndSwapLong(this, BASECOUNT, b = baseCount, s = b + x)) {
CounterCell a; long v; int m;
boolean uncontended = true;
if (as == null || (m = as.length - 1) < 0 ||
(a = as[ThreadLocalRandom.getProbe() & m]) == null ||
!(uncontended =
U.compareAndSwapLong(a, CELLVALUE, v = a.value, v + x))) {
//创建cells或者进行数量增加
fullAddCount(x, uncontended);
return;
}
if (check <= 1)
return;
s = sumCount();
}
//检查是否需要扩容
if (check >= 0) {
Node<K,V>[] tab, nt; int n, sc;
while (s >= (long)(sc = sizeCtl) && (tab = table) != null &&
(n = tab.length) < MAXIMUM_CAPACITY) {
int rs = resizeStamp(n);
if (sc < 0) {
if ((sc >>> RESIZE_STAMP_SHIFT) != rs || sc == rs + 1 ||
sc == rs + MAX_RESIZERS || (nt = nextTable) == null ||
transferIndex <= 0)
break;
if (U.compareAndSwapInt(this, SIZECTL, sc, sc + 1))
transfer(tab, nt);
}
else if (U.compareAndSwapInt(this, SIZECTL, sc,
(rs << RESIZE_STAMP_SHIFT) + 2))
transfer(tab, null);
s = sumCount();
}
}
}
transfer()，进行扩容
private final void transfer(Node<K,V>[] tab, Node<K,V>[] nextTab) {
int n = tab.length, stride;
//【第一步】
//决定当前线程在需要处理的槽位充足下，分配到的槽位数
if ((stride = (NCPU > 1) ? (n >>> 3) / NCPU : n) < MIN_TRANSFER_STRIDE)
stride = MIN_TRANSFER_STRIDE; // subdivide range
//新容器为空则创建容器
if (nextTab == null) { // initiating
try {
//多出一个赋值操作，尝试处理内存溢出？不明白原理
@SuppressWarnings("unchecked")
Node<K,V>[] nt = (Node<K,V>[])new Node<?,?>[n << 1];
nextTab = nt;
} catch (Throwable ex) { // try to cope with OOME
sizeCtl = Integer.MAX_VALUE;
return;
}
nextTable = nextTab;
//转移索引数设置为当前容器容量
transferIndex = n;
}
//将下个容器的转移搜索引数设置为新容器容量
int nextn = nextTab.length;
//创建ForwardingNode容器并放入新容器
ForwardingNode<K,V> fwd = new ForwardingNode<K,V>(nextTab);
boolean advance = true;
boolean finishing = false; // to ensure sweep before committing nextTab
for (int i = 0, bound = 0;;) {
Node<K,V> f; int fh;
//【第二步，划分槽位，帮助推进】
//选择当前线程进行transfer的槽位，从最后一个槽位向前
while (advance) {
int nextIndex, nextBound;
//向前推进一个槽位，或者已经完成了
if (--i >= bound || finishing)
advance = false;
//槽位被其它线程选择完了
else if ((nextIndex = transferIndex) <= 0) {
i = -1;
advance = false;
}
//尝试获取槽位的操作权
else if (U.compareAndSwapInt
(this, TRANSFERINDEX, nextIndex,
nextBound = (nextIndex > stride ?
nextIndex - stride : 0))) {
//槽位下限
bound = nextBound;
//当前选中进行处理的槽位
i = nextIndex - 1;
advance = false;
}
}
//被选择完毕，选中槽位大于当前容器容量，选中槽位+当前容器容量大于新容器容量
//【第三步，设置结束条件，变更地址】
if (i < 0 || i >= n || i + n >= nextn) {
int sc;
//扩容完毕
if (finishing) {
//清除扩容时创建的临时表
nextTable = null;
//将当前表指向临时表
table = nextTab;
//设置下次扩容的临界点为 0.75*扩容容量
sizeCtl = (n << 1) - (n >>> 1);
return;
}
//将扩容标识中的线程标识减一
if (U.compareAndSwapInt(this, SIZECTL, sc = sizeCtl, sc - 1)) {
//存在其它线程进行扩容处理，则当前线程处理完自己的槽位后直接退出
if ((sc - 2) != resizeStamp(n) << RESIZE_STAMP_SHIFT)
return;
//不存在其它线程处理，说明自己是唯一处理线程
finishing = advance = true;
//将i重置，在看下还有没有transferIndex
//如果已经是唯一处理线程并且满足前置条件，为何需要检查下？
i = n; // recheck before commit
}
}
//【第四步，处理槽位】
//如果当前槽中没有成员，用forwarding节点占位
else if ((f = tabAt(tab, i)) == null)
advance = casTabAt(tab, i, null, fwd);
//如果当前槽中成员为forwarding节点，代表已经被处理过了
else if ((fh = f.hash) == MOVED)
//处理下一个槽
advance = true; // already processed
else {
//锁住槽位
synchronized (f) {
//double check
if (tabAt(tab, i) == f) {
Node<K,V> ln, hn;
if (fh >= 0) {
//计算当前成员最高位
//runBit是0 or 1
int runBit = fh & n;
Node<K,V> lastRun = f;
for (Node<K,V> p = f.next; p != null; p = p.next) {
int b = p.hash & n;
//查找最后重复的链，获得开始位置p，和重复的高位值runBit
if (b != runBit) {
runBit = b;
lastRun = p;
}
}
//如果从p开始后面高位全是0，那么就不需要移动到新槽中
if (runBit == 0) {
ln = lastRun;
hn = null;
}
//如果从p开始后面全是1，那么就需要移动到新槽中
else {
hn = lastRun;
ln = null;
}
//从链的头部一直遍历到p的位置（因为p以后高位都一样）
//为何需要提前找一部分重复？效率更高？这么处理是否有理论依据？
for (Node<K,V> p = f; p != lastRun; p = p.next) {
int ph = p.hash; K pk = p.key; V pv = p.val;
//高位为0放到旧槽位中
if ((ph & n) == 0)
ln = new Node<K,V>(ph, pk, pv, ln);
//高位为1放到新槽位中
else
hn = new Node<K,V>(ph, pk, pv, hn);
}
//将ln放到新容器的旧槽位中
setTabAt(nextTab, i, ln);
//将hn放到新容器的新槽位中
setTabAt(nextTab, i + n, hn);
//将老容器中的该节点设置为forwarding节点
setTabAt(tab, i, fwd);
//处理下一个槽位
advance = true;
}
//TreeBin的hash固定为-2，红黑树的调整
else if (f instanceof TreeBin) {
TreeBin<K,V> t = (TreeBin<K,V>)f;
TreeNode<K,V> lo = null, loTail = null;
TreeNode<K,V> hi = null, hiTail = null;
int lc = 0, hc = 0;
for (Node<K,V> e = t.first; e != null; e = e.next) {
int h = e.hash;
TreeNode<K,V> p = new TreeNode<K,V>
(h, e.key, e.val, null, null);
if ((h & n) == 0) {
if ((p.prev = loTail) == null)
lo = p;
else
loTail.next = p;
loTail = p;
++lc;
}
else {
if ((p.prev = hiTail) == null)
hi = p;
else
hiTail.next = p;
hiTail = p;
++hc;
}
}
//槽位里成员少于等于6，退化为链表
ln = (lc <= UNTREEIFY_THRESHOLD) ? untreeify(lo) :
(hc != 0) ? new TreeBin<K,V>(lo) : t;
hn = (hc <= UNTREEIFY_THRESHOLD) ? untreeify(hi) :
(lc != 0) ? new TreeBin<K,V>(hi) : t;
setTabAt(nextTab, i, ln);
setTabAt(nextTab, i + n, hn);
setTabAt(tab, i, fwd);
advance = true;
}
}
}
}
}
}
将容器中的槽位分成多份，由后往前分割槽位，线程处理自己获取到的分段槽位（分段槽位内部连续，分段槽位间不出现交集，避免竞争提高性能），根据槽位中成员扩容的最高位是0是1选择新旧槽位进行分配到新容器中，0保持旧槽位，1移动到新槽位，由处理最后一段的线程将旧容器替换为新容器
1.处理好新容器，确定每段的槽位数是多少
- stride【分段槽位的大小】
- nextTab【临时扩容容器】
- tab【临时当前容器】
2.尝试获取到分段槽位，槽为从后向前进行分配
- bound【槽位下限】
- nextIndex【槽位上限】
- i【当前处理槽位】
3.处理槽位，如果槽位为空放入forwarding节点，不为空则根据成员最高位判断是否分配到新槽位or旧槽位，如果是红黑树判断分配完后槽位中的成员少于等于6则退化位链表
- ln【旧槽位】
- hn【新槽位】
4.槽位分段处理完毕，如果是最后一个线程，那么需要将新容器地址覆盖旧容器，旧容器直接丢弃，状态重置为正标识下次触发扩容的阈值
- table【当前容器】
- nextTable【扩容容器】
- sizeCtl【状态值】
compute()
public V compute(K key,
BiFunction<? super K, ? super V, ? extends V> remappingFunction) {
if (key == null || remappingFunction == null)
throw new NullPointerException();
//获取到对应的槽位
int h = spread(key.hashCode());
V val = null;
int delta = 0;
int binCount = 0;
for (Node<K,V>[] tab = table;;) {
Node<K,V> f; int n, i, fh;
//初始化容器
if (tab == null || (n = tab.length) == 0)
tab = initTable();
//槽位无成员
else if ((f = tabAt(tab, i = (n - 1) & h)) == null) {
//定义新节点
Node<K,V> r = new ReservationNode<K,V>();
//提前加锁，避免后续cas成功后其它线程获取到
synchronized (r) {
//尝试将槽位替换为ReservationNode节点，解决槽位为null无法进行锁定问题
if (casTabAt(tab, i, null, r)) {
binCount = 1;
Node<K,V> node = null;
try {
//进行计算
if ((val = remappingFunction.apply(key, null)) != null) {
delta = 1;
node = new Node<K,V>(h, key, val, null);
}
} finally {
//设置node节点替换ReservationNode节点
setTabAt(tab, i, node);
}
}
}
if (binCount != 0)
break;
}
//槽位节点为forwarding
else if ((fh = f.hash) == MOVED)
tab = helpTransfer(tab, f);
//存在成员
else {
synchronized (f) {
if (tabAt(tab, i) == f) {
//成员为链表
if (fh >= 0) {
binCount = 1;
for (Node<K,V> e = f, pred = null;; ++binCount) {
K ek;
//找到成员
if (e.hash == h &&
((ek = e.key) == key ||
(ek != null && key.equals(ek)))) {
//进行计算
val = remappingFunction.apply(key, e.val);
if (val != null)
e.val = val;
else {
delta = -1;
Node<K,V> en = e.next;
if (pred != null)
pred.next = en;
else
setTabAt(tab, i, en);
}
break;
}
pred = e;
if ((e = e.next) == null) {
val = remappingFunction.apply(key, null);
if (val != null) {
delta = 1;
pred.next =
new Node<K,V>(h, key, val, null);
}
break;
}
}
}
//成员为红黑树
else if (f instanceof TreeBin) {
binCount = 1;
TreeBin<K,V> t = (TreeBin<K,V>)f;
TreeNode<K,V> r, p;
if ((r = t.root) != null)
p = r.findTreeNode(h, key, null);
else
p = null;
V pv = (p == null) ? null : p.val;
val = remappingFunction.apply(key, pv);
if (val != null) {
if (p != null)
p.val = val;
else {
delta = 1;
t.putTreeVal(h, key, val);
}
}
else if (p != null) {
delta = -1;
if (t.removeTreeNode(p))
setTabAt(tab, i, untreeify(t.first));
}
}
}
}
//根据链表成员数量，判断是否需要转为红黑树
if (binCount != 0) {
if (binCount >= TREEIFY_THRESHOLD)
treeifyBin(tab, i);
break;
}
}
}
if (delta != 0)
addCount((long)delta, binCount);
return val;
}
本文参与 腾讯云自媒体分享计划，分享自微信公众号。
原始发表：2022-09-22，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读