redisson布隆过滤器-redis布隆过滤的原理和如何实现(1-13-32)

更新时间：2024-08-26 分类：Redis 浏览量：3

Redis本文目录一览：

1、实现方式：Redis实现布隆过滤器——借鉴Guava的BF算法：SpringBootx中使用Redis的bitmap结构（工具类）注意：bitmap使用存在风险，若仅仅计算hash值，会导致bitmap占用空间过大。一般需要对hash值进行取余处理。

2、Redis五种数据类型分别是string（字符串），hash（哈希），list（列表），set（集合）及sortset（有序集合）。字符串string字符串类型是Redis中最基本的数据存储类型，它是一个由字节组成的序列，在Rediss中是二进制安全的。

3、redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string（字符串）、list（链表）、set（集合）、zset（sorted set --有序集合）和hash（哈希类型）。

4、Redis支持的五种数据类型包括String、Hash、List、Set、Zset，其中，String类型的值可以是字符串、数字或二进制，但值最大不能超过512MB。

5、这一属性在添加修改元素的时候可以指定，每次指定后，zset会自动重新按新的值调整顺序。

1、使用布隆过滤器判断元素是否存在，是一种低空间成本的方式。布隆过滤器是1970年由布隆提出的，它实际上是一个很长的二进制向量，和一系列随机映射函数。

2、这说明了若想保持某固定误判率不变，则布隆过滤器的位数 m 与添加的元素数 n 应该是线性同步增加的。设计和应用布隆过滤器的方法应用时首先要先由用户决定添加的元素数 n 和期望的误差率 P。

3、布隆过滤器，主要需实现的目标是，在指定的数据个数范围内，满足误判率在设定的范围内，误判率太高的话，无法起到过滤数据的情况，误判率不能为0。

4、这说明了若想保持某固定误判率不变，布隆过滤器的bit数m与被add的元素数n应该是线性同步增加的。三如何设计bloomfilter 此概率为某bit位在插入n个元素后未被置位的概率。

5、布隆过滤器内部维护一个bitArray（位数组），开始所有数据为0，当一个元素过来时，能过多个哈希函数（hashhashhash3）计算不同的hash值，并通过hash值找到bitArray的下标，将里面的值改为由0变为1。

如果非要用这种方式来解决穿透问题的话，尽量将无效的 key 的过期时间设置短一点比如 1 分钟。另外，一般情况下我们是这样设计 key 的：表名：列名：主键名：主键值。

解决缓存穿透的方法有很多，比如：布隆过滤器、黑名单过滤、击穿降级、互斥锁等等。其中，互斥锁是一种比较简单粗暴的方法，但是也是比较有效的方法之一。

缓存穿透的原理缓存的正常使用如图：如图所示，缓存的使用流程：先从缓存中取数据，如果能取到，则直接返回数据给用户。这样不用访问数据库，减轻数据库的压力。如果缓存中没有数据，就会访问数据库。

解决方案：最简单的方法是如果一个查询返回的数据为空（不管是数据不存在，还是系统故障），我们就把这个空结果进行缓存，但它的过期时间会很短，最长不超过五分钟。一些不合法的参数请求直接抛出异常信息返回给客户端。

缓存穿透是指查询的key不存在，从而缓存查询不到而查询了数据库。解决方法：把所有存在的key都存到另外一个存储的Set集合里，查询时可以先查询key是否存在。

预防和解决缓存穿透问题，可以考虑以下两种方法：缓存空对象：将空值缓存起来，但是这样就有一个问题，大量无效的空值将占用空间，非常浪费。

1、在做域名爆破中，遇到了把一个300G的子域名json文件进行去重，一开始是考虑使用字典进行去重，但是数据量大了，会造成内存泄露。看网上资料介绍了一种方案，就是使用布隆过滤器。