1.将访问过的url保存到数据库中，每次访问的时候通过数据库查询；效率低，使用少。
2.将访问过的url保存到Set中，内存使用很大。
3.url经过md5等方法哈希厚保存到set中（scrapy使用该方法去重）
4.用bitmap方法，将访问过的url通过hash函数映射到某一位，冲突非常高。
5.bloomfilter方法对bitmap进行改进，多重hash函数降低冲突。1亿个url约占用内容12M。
爬虫去重策略
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。
