JAVA实现较完善的布隆过滤器的示例代码
布隆过滤器是可以用于判断一个元素是不是在一个集合里,并且相比于其它的数据结构,布隆过滤器在空间和时间方面都有巨大的优势。布隆过滤器存储空间和插入/查询时间都是常数。但是它也是拥有一定的缺点:布隆过滤器是有一定的误识别率以及删除困难的。本文中给出的布隆过滤器的实现,基本满足了日常使用所需要的功能。
0
0
0
0
0
0
0
0
0
0
先简单来说一下布隆过滤器。其实现方法就是:利用内存中一个长度为M的位数组B并初始化里面的所有位都为0,如下面的表格所示:
然后我们根据H个不同的散列函数,对传进来的字符串进行散列,并且每次的散列结果都不能大于位数组的长度。布隆过滤器的误判率取决于你使用多少个不同的散列函数,下面给出的代码中,给出了一些参考的误判率(参考代码中的枚举类:MisjudgmentRate)。现在我们先假定有4个不同散列函数,传入一个字符串并进行一次插入操作,这时会进行4次散列,假设到了4个不同的下标,这个时候我们就会去数组中,将这些下标的位置置为1,数组变更为:
0
1
0
1
1
0
0
0
0
1
如果接下来我们再传入同一个字符串时,因为4次的散列结果都是跟上一次一样的,所以会得出跟上面一样的结果,所有应该置1的位都已经置1了,这个时候我们就可以认为这个字符串是已经存在的了。因此不难发现,这是会存在一定的误判率的,具体由你采用的散列函数质量,以及散列函数的数量确定。
代码如下:
importjava.io.FileInputStream; importjava.io.FileOutputStream; importjava.io.ObjectInputStream; importjava.io.ObjectOutputStream; importjava.io.Serializable; importjava.util.BitSet; importjava.util.concurrent.atomic.AtomicInteger; publicclassBloomFileterimplementsSerializable{ privatestaticfinallongserialVersionUID=-5221305273707291280L; privatefinalint[]seeds; privatefinalintsize; privatefinalBitSetnotebook; privatefinalMisjudgmentRaterate; privatefinalAtomicIntegeruseCount=newAtomicInteger(0); privatefinalDoubleautoClearRate; /** *默认中等程序的误判率:MisjudgmentRate.MIDDLE以及不自动清空数据(性能会有少许提升) * *@paramdataCount *预期处理的数据规模,如预期用于处理1百万数据的查重,这里则填写1000000 */ publicBloomFileter(intdataCount){ this(MisjudgmentRate.MIDDLE,dataCount,null); } /** * *@paramrate *一个枚举类型的误判率 *@paramdataCount *预期处理的数据规模,如预期用于处理1百万数据的查重,这里则填写1000000 *@paramautoClearRate *自动清空过滤器内部信息的使用比率,传null则表示不会自动清理, *当过滤器使用率达到100%时,则无论传入什么数据,都会认为在数据已经存在了 *当希望过滤器使用率达到80%时自动清空重新使用,则传入0.8 */ publicBloomFileter(MisjudgmentRaterate,intdataCount,DoubleautoClearRate){ longbitSize=rate.seeds.length*dataCount; if(bitSize<0||bitSize>Integer.MAX_VALUE){ thrownewRuntimeException("位数太大溢出了,请降低误判率或者降低数据大小"); } this.rate=rate; seeds=rate.seeds; size=(int)bitSize; notebook=newBitSet(size); this.autoClearRate=autoClearRate; } publicvoidadd(Stringdata){ checkNeedClear(); for(inti=0;i=autoClearRate){ synchronized(this){ if(getUseRate()>=autoClearRate){ notebook.clear(); useCount.set(0); } } } } } publicvoidsetTrue(intindex){ useCount.incrementAndGet(); notebook.set(index,true); } privateinthash(Stringdata,intseeds){ char[]value=data.toCharArray(); inthash=0; if(value.length>0){ for(inti=0;i 以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持毛票票。