scrapy无缝对接布隆过滤器

因为现在可以直接加载布隆器模块了，因此安装方法如下：

pip install scrapy-redis-bloomfilter

然后在setting.py中加入如下代码:

# 把去重模块更改为scrapy-redis-bloomfilter写好的模块
DUPEFILTER_CLASS = "scrapy_redis_bloomfilter.dupefilter.RFPDupeFilter"
# 散列函数的个数，个人偏向设置为10，不设置则默认为6，
BLOOMFILTER_HASH_NUMBER = 10
# Bloom Filter的bit参数，默认30（一亿级指纹池）
BLOOMFILTER_BIT = 30