redisson布隆过滤器-redis的布隆算法(7-11-98)

更新时间：2024-06-15 分类：Redis 浏览量：2

Redis本文目录一览：

实现方式：Redis实现布隆过滤器——借鉴Guava的BF算法：SpringBootx中使用Redis的bitmap结构（工具类）注意：bitmap使用存在风险，若仅仅计算hash值，会导致bitmap占用空间过大。一般需要对hash值进行取余处理。

Redis五种数据类型分别是string（字符串），hash（哈希），list（列表），set（集合）及sortset（有序集合）。字符串string字符串类型是Redis中最基本的数据存储类型，它是一个由字节组成的序列，在Rediss中是二进制安全的。

redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string（字符串）、list（链表）、set（集合）、zset（sorted set --有序集合）和hash（哈希类型）。

Redis支持的五种数据类型包括String、Hash、List、Set、Zset，其中，String类型的值可以是字符串、数字或二进制，但值最大不能超过512MB。

这一属性在添加修改元素的时候可以指定，每次指定后，zset会自动重新按新的值调整顺序。

假设布隆过滤器中的hash function满足simple uniform hashing假设：每个元素都等概率地hash到m个slot中的任何一个，与其它元素被hash到哪个slot无关。

从上式中可以看出，当m增大或n减小时，都会使得误判率减小，这也符合直觉。现在计算对于给定的m和n，k为何值时可以使得误判率最低。

布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多，缺点是有一定的误识别率和删除困难。

1、在做域名爆破中，遇到了把一个300G的子域名json文件进行去重，一开始是考虑使用字典进行去重，但是数据量大了，会造成内存泄露。看网上资料介绍了一种方案，就是使用布隆过滤器。