java分布式缓存方案_Java教程

一、从数据说起

我们再做缓存之前需要把数据先分好类

按变化频率：

静态数据：一般不变的，类似于字典表
准静态数据：变化频率很低，部门结构设置，全国行政区划数据
中间状态数据：一些计算的可复用中间数据，变量副本，配置中心的本地副本

按使用频率：

热数据：使用频率高的
读写比大的：读的频率远大于写的频率

这些数据就比较适合使用缓存。

缓存无处不在。内存可以看作是cpu和磁盘之间的缓存。cpu与内存的处理速度也不一致，所以出现了L1&L2 Cache

缓存的本质：系统各级之间处理速度不匹配，利用空间换时间。

缓存加载时间

1. 启动时全量加载

2. 懒加载

2.1. 同步使用加载

先看缓存里是否有数据，没有的话从数据库读取。读取的数据，先放到内存，然后返回给调用方。

2.2. 延迟异步加载

从缓存里获取数据，不管有没有都直接返回。

策略1：如果缓存为空的话，则发起一个异步线程负责加载。

策略2：异步线程负责维护缓存的数据，定期或根据条件触发更新。

缓存过期策略

按FIFO或LRU
固定时间过期
根据业务进行时间的加权。

二、本地缓存

1.Map 缓存

public static final Map<String,Object> CACHE=new HashMap();
CACHE.put("key","value");

2.Guava缓存

Cache<String,String> cache = CacheBuilder.newBuilder() .maximumSize(1024) .expireAfterWrite(60,TimeUnit.SECONDS) .weakValues() .build();
cache.put("word","Hello Guava Cache");
System.out.println(cache.getIfPresent("word"));

3.Spring Cache

基于注解和AOP，使用方便
可以配置Condition和SPEL，非常灵活
需要注意：绕过Spring的话，注解无效

核心功能：@Cacheable、@CachePut、@CacheEvict

本地缓存的缺点：

在集群环境中，如果每个节点都保存一份缓存，导致占用内存变大
在JVM中长期存在，会影响GC
缓存数据的调度处理，影响业务线程，争夺资源

三、远程缓存

1.Redis
Redis是一个开源的使用ANSI C语言编写的，基于内存也可以持久化的key-value数据库，并提供多种语言的API
2. Memcached

memcached是一套分布式的高速缓存系统，由LiveJournal的Brad Fitzpatrick开发，但被许多网站使用。这是一套开放源代码软件，以BSD license授权发布。

四、内存网格

Hazelcast
lgnite

五、缓存常见问题

1. 缓存穿透

问题描述：大量并发查询不存在的KEY，导致都直接把压力透传到数据库上。

分析：因为数据库里没有值，所以没有建立缓存，导致一直打到数据库上。

解决办法：

缓存空值的KEY
Bloom过滤或RoaringBitmap判断KEY是否存在
完全以缓存为准，使用延迟异步加载的方式去加载数据库数据到缓存。

Bloom过滤器示例：
（引入guava依赖）

public static void main(String[] args) {
        BloomFilter<CharSequence> filter = BloomFilter.create(
                Funnels.stringFunnel(Charsets.UTF_8),//Funnels.integerFunnel(), //数据格式
                1000000,//预计存入数据量
                0.01);//误判率

        System.out.println(filter.mightContain("abcdefg"));
        filter.put("abcdefg");
        System.out.println(filter.mightContain("abcdefg"));
    }

RoaringBitmap示例：
引入依赖：

<dependency>
			<groupId>org.roaringbitmap</groupId>
			<artifactId>RoaringBitmap</artifactId>
			<version>0.8.1</version>
		</dependency>

public static void test3(){
        Roaring64NavigableMap roaring64NavigableMap = Roaring64NavigableMap.bitmapOf(3, 4, 5, 90);
        //是否包含
        boolean contains = roaring64NavigableMap.contains(3);
        long l = roaring64NavigableMap.rankLong(3);
        System.out.println(l);
        System.out.println(contains);
    }