Golang 高性能无 GC 的缓存库 bigcache 是怎么实现的？("揭秘Golang高性能无GC缓存库BigCache的实现原理")

原创

ithorizon 7个月前 (10-20) 阅读数 23 #后端开发

揭秘Golang高性能无GC缓存库BigCache的实现原理

一、引言

在Go语言中，垃圾回收（GC）是一个重要的特性，但也大概致使程序的性能波动。对于需要高性能的场景，如缓存系统，减少或避免GC的干扰显得尤为重要。BigCache 是一个高性能、无GC的缓存库，它通过一系列巧妙的设计实现了这一目标。本文将深入探讨BigCache的实现原理，以及它是怎样做到无GC的。

二、BigCache的设计理念

BigCache 的设计理念首要包括以下几点：

避免内存碎片：通过预分配内存块来避免内存碎片。

减少哈希冲突：使用高效的一致性哈希算法。

最小化锁竞争：使用分段锁来降低锁竞争。

延迟写入：通过延迟写入减少对磁盘的I/O操作。

三、核心组件

BigCache 的核心组件包括：缓存块（Segment）、哈希表（HashTable）、锁（Lock）和清理器（Cleaner）。

四、缓存块（Segment）

BigCache 使用固定大小的缓存块来存储数据。每个缓存块包含一个固定大小的数组，该数组预先分配并初始化。这样做可以避免在运行时动态分配内存，从而减少GC的干扰。


type segment struct {
    data []byte
    items int
    keys map[string]uint32
}

其中，data 是一个预先分配的数组，用于存储实际的数据；items 即当前缓存块中的元素数量；keys 是一个哈希表，用于迅捷查找键对应的值。

五、哈希表（HashTable）

BigCache 使用一致性哈希算法来将键映射到缓存块。一致性哈希算法可以确保当缓存块数量变化时，只有少数键需要重新映射，从而尽大概减少损耗缓存的扩展性。


func hash(key string) uint32 {
    h := fnv.New32a()
    h.Write([]byte(key))
    return h.Sum32()
}

这里使用的是FNV-1a哈希算法，它是一种迅捷、单纯且碰撞概率较低的一致性哈希算法。

六、锁（Lock）

为了减少锁竞争，BigCache 使用分段锁。每个缓存块都有自己的锁，这样当一个线程访问一个缓存块时，不会影响其他缓存块。这有助于尽大概减少损耗并发性能。


type lock struct {
    segmentLocks []sync.Mutex
}
func newLock(numSegments int) *lock {
    l := &lock{
        segmentLocks: make([]sync.Mutex, numSegments),
    }
    return l
}

这里使用了一个数组来存储每个缓存块的锁，每个锁都是一个互斥锁（sync.Mutex）。

七、清理器（Cleaner）

BigCache 使用一个后台清理器来定期清理过期的缓存项。清理器会遍历所有的缓存块，并删除过期的缓存项。这个过程是延迟进行的，以减少对主线程的影响。


func (c *Cleaner) run() {
    for {
        time.Sleep(c.config.CleanupInterval)
        c.lock.Lock()
        c.clean()
        c.lock.Unlock()
    }
}
func (c *Cleaner) clean() {
    for _, segment := range c.cache.segments {
        segment.lock.Lock()
        for key, hashValue := range segment.keys {
            item := segment.items[hashValue]
            if item.expiry.Before(time.Now()) {
                delete(segment.keys, key)
                segment.items[hashValue] = nil
                segment.itemsCount--
            }
        }
        segment.lock.Unlock()
    }
}