首页资讯 • 正文

scrapy-redis和scrapy有什么区别?

发布时间:

刚刚接触scrapy,想让scrapy实现分布式爬取,发现还有个东西叫做scrapy-redis,所以很想知道二者却别是什么?

scrapy的请求是存储在内存中,然后由schedule进行调度,twisted进行并发。要进行分布式,就需要多个scrapy共同参与调度。scrapy-redis使用redis数据库,重写了shedule里面对请求的存储和分发方式,多个scrapy通过远程链接redis数据库来同时参与调度。

另外scrapy-redis还利用redis的set存储结构重写了去重的方式。

正好我也在学scrapy-redis,这是我现在的一些见解

相关文章Related

  • 3dsxl和3dsll区别
  • new3dsxl和3dsll区别
  • 3ds和3dsll区别
  • 新3ds和3dsll区别
  • new3ds和3dsll区别
  • 3ds和3dsll的区别

相关文章Related

返回栏目>>

首页   |   网站地图

Copyright © 2002-2019 香港电视网,迪士尼,任天堂,爱情电影,国产动画 版权所有