缓存相关也做了个大概总结,分享一下吧,从网上看得资料 解决缓存的相关问题 a.缓存穿透的问题: 解决方案: 1.布隆过滤器 把所有可能存在的数据哈希到一个足够大的bitmap中,一个一定不存在的数据会被这个bitmap拦截掉 2.如果一个查询返回的数据是空的,无论数据是否存在,还是系统故障,我们仍然将这个空结果进行缓存,但设置很短的过期时间 b.缓存雪崩的问题: 设置缓存的时候采用了相同的过期时间,导致缓存在同一时刻失效,请求全部转发到db,db压力瞬间变大雪崩。 解决方案 1.用加锁或者队列的方式保证缓存的单线程写,避免失效时大量的并发请求落到底层的存储系统上 2.将缓存的失效时间分散开,在原来失效时间的基础上加上一个随机值,比如说1-5分钟的随机,这样每一个缓存过期时间的重复率就会降低,很难引起集体失效的事件。 c.缓存击穿的问题。对于一些设置了过期时间的key,这些key某些时间点被超高并发地访问,是非常热点的数据,缓存在某个时间点过期的时候,恰好这个时间节点对这个key有大量的并发请求过来,这些请求发现缓存的key过期就一般都会从后端数据库请求数据并且设置到缓存,大的并发请求就可能会压垮后端db 解决方案 1.使用互斥锁(mutex) , 在缓存失效的时候,判断拿出来的值为空,不立即去load db,而是先使用缓存工具的某些带有返回值的操作(比如说redis的setnx),去set一个mutex key,当操作返回成功的时候,在进行load db的操作并且设置回缓存,否则,就重试整个get缓存的方法。 String get(String key){     String value = reids.get(key);     if(value == null){         if(redis.setnx(key_mutex,"1")){             reids.expire(key_mutex,3*60);             value = db.get(key);             redis.set(key,value);             redis.delete(key_mutex);         }else{             //其他线程休息50ms后重试             Thread.sleep(50);             get(key);         }     } } 2.设置热点数据永不过期 a.从redis上来看,确实不设置过期时间,保证不会出现热点key过期的问题,也就是物理上的不过期 b.从功能上看,我们把过期时间存在key对应的value里面,如果发现要过期了,通过一个后台的异步线程进行缓存的构建,设置"逻辑"过期时间 String get(final String key){     V v = redis.get(key);     String value = v.getValue();     long timeout = v.getTimeout();     if(v.timeout <= System.currentTimeMillis()){         //异步更新后台异常执行         threadPool.execute(new Runnable(){             public void run(){                 String keyMutex = "mutex:"+key;                 if(redis.setnx(keyMutex,"1")){                     //设置三分钟的超时                     redis.expire(keyMutex,3*60);                     String dbValue = db.get(key);                     redis.set(key,dbValue);                     redis.delete(keyMutex);                 }             }            });     }   } 3.提前使用互斥锁 在value内部设置一个超时值(timeout1),timeout1比实际的mem*** timeout(timeout2)小,当从***读取到timeout1发现它已经过期的时候,马上延长timeout1并重新设置到***。然后再从数据库加载数据并且设置到***中 v = mem***.get(key); if(v==null){     if(mem***.add(key_mutex,3*60*1000) == true){         value = db.get(key);         mem***.set(key,value);         mem***.delete(key_mutex);     }else{         sleep(50);         retry();     }else{         if(v.timeout <= now()){             if(mem***.add(key_mutex,3*60*1000) == true){                 v.timeout += 3*60*1000;                 mem***.set(key,v,KEY_TIMEOUT*2);                                  //从数据库加载最新的数据                 v = db.get(key);                 v.timeout = KEY_TIMEOUT;                 mem***.set(key,value,KEY_TIMEOUT*2);                 mem***.delete(key_mutex);             }else{                 sleep(50);                 retry();             }         }     } }