boomfilter

Bloom Filter特点:
不存在漏报(False Negative),即某个元素在某个集合中,肯定能报出来。
可能存在误报(False Positive),即某个元素不在某个集合中,可能也被爆出来。

应用场景:
网页爬虫对URL的去重,避免爬取相同的URL地址;
反垃圾邮件,从数十亿个垃圾邮件列表中判断某邮箱是否垃圾邮箱(同理,垃圾短信);
缓存击穿,将已存在的缓存放到布隆中,当黑客访问不存在的缓存时迅速返回避免缓存及DB挂掉。
spark的jion操作中Runtime Filter的过滤原理实现。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 一、什么是布隆过滤器? 布隆在1970年提出了布隆过滤器(Bloom Filter),它是一种空间效率极高的概率型...
    北山学者阅读 1,127评论 0 1
  • 布隆过滤器 Bloom Filter 布隆过滤器,用来判断一个元素是否在集合中。它的特点是节省空间,但是有误判。有...
    周肃阅读 4,861评论 0 5
  • What is a Bloom Filter?   在任意的keys集合中,应用一个算法并生成一个字节数组,这个字...
    薛少佳阅读 8,755评论 0 3
  • 焦萌 2007年1月27日 Bloom Filter 是一种空间效率很高的随机数据结构, 它利用位数组很简洁地表示...
    丶飛鴻雪泥阅读 1,121评论 0 0
  • 2017年9月23日星期六晴 今天我没有像以前那样那么晚起床,而是早早的就起床吃饭。那是因为今天我要和老师还有同学...
    海内存知己_bd9e阅读 193评论 0 0

友情链接更多精彩内容