From 6340df264a96f4b2aff2c315da0f820a19b785c6 Mon Sep 17 00:00:00 2001 From: ttyhtg Date: Thu, 18 Mar 2021 00:54:31 +0800 Subject: [PATCH 1/2] =?UTF-8?q?=E6=96=B0=E5=BB=BA=204=E7=8F=AD-=E6=AD=A6?= =?UTF-8?q?=E6=98=8E-=E7=AC=AC=E5=8D=81=E4=BA=8C=E5=91=A8=E4=BD=9C?= =?UTF-8?q?=E4=B8=9A?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .../.keep" | 0 1 file changed, 0 insertions(+), 0 deletions(-) create mode 100644 "\347\254\254\344\272\214\346\234\237\350\256\255\347\273\203\350\220\245/4\347\217\255/4\347\217\255_\346\255\246\346\230\216/4\347\217\255-\346\255\246\346\230\216-\347\254\254\345\215\201\344\272\214\345\221\250\344\275\234\344\270\232/.keep" diff --git "a/\347\254\254\344\272\214\346\234\237\350\256\255\347\273\203\350\220\245/4\347\217\255/4\347\217\255_\346\255\246\346\230\216/4\347\217\255-\346\255\246\346\230\216-\347\254\254\345\215\201\344\272\214\345\221\250\344\275\234\344\270\232/.keep" "b/\347\254\254\344\272\214\346\234\237\350\256\255\347\273\203\350\220\245/4\347\217\255/4\347\217\255_\346\255\246\346\230\216/4\347\217\255-\346\255\246\346\230\216-\347\254\254\345\215\201\344\272\214\345\221\250\344\275\234\344\270\232/.keep" new file mode 100644 index 00000000..e69de29b -- Gitee From a8a4fadb997a1a4b0d7307d6b73f2d0346a299fa Mon Sep 17 00:00:00 2001 From: ttyhtg Date: Thu, 18 Mar 2021 00:55:07 +0800 Subject: [PATCH 2/2] =?UTF-8?q?4=E7=8F=AD-=E6=AD=A6=E6=98=8E-=E7=AC=AC?= =?UTF-8?q?=E5=8D=81=E4=BA=8C=E5=91=A8-=E7=AC=AC1=E8=8A=82=E4=BD=9C?= =?UTF-8?q?=E4=B8=9A=204=E7=8F=AD-=E6=AD=A6=E6=98=8E-=E7=AC=AC=E5=8D=81?= =?UTF-8?q?=E4=BA=8C=E5=91=A8-=E7=AC=AC1=E8=8A=82=E4=BD=9C=E4=B8=9A?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ...41\350\212\202\344\275\234\344\270\232.md" | 37 +++++++++++++++++++ 1 file changed, 37 insertions(+) create mode 100644 "\347\254\254\344\272\214\346\234\237\350\256\255\347\273\203\350\220\245/4\347\217\255/4\347\217\255_\346\255\246\346\230\216/4\347\217\255-\346\255\246\346\230\216-\347\254\254\345\215\201\344\272\214\345\221\250\344\275\234\344\270\232/4\347\217\255-\346\255\246\346\230\216-\347\254\254\345\215\201\344\272\214\345\221\250-\347\254\2541\350\212\202\344\275\234\344\270\232.md" diff --git "a/\347\254\254\344\272\214\346\234\237\350\256\255\347\273\203\350\220\245/4\347\217\255/4\347\217\255_\346\255\246\346\230\216/4\347\217\255-\346\255\246\346\230\216-\347\254\254\345\215\201\344\272\214\345\221\250\344\275\234\344\270\232/4\347\217\255-\346\255\246\346\230\216-\347\254\254\345\215\201\344\272\214\345\221\250-\347\254\2541\350\212\202\344\275\234\344\270\232.md" "b/\347\254\254\344\272\214\346\234\237\350\256\255\347\273\203\350\220\245/4\347\217\255/4\347\217\255_\346\255\246\346\230\216/4\347\217\255-\346\255\246\346\230\216-\347\254\254\345\215\201\344\272\214\345\221\250\344\275\234\344\270\232/4\347\217\255-\346\255\246\346\230\216-\347\254\254\345\215\201\344\272\214\345\221\250-\347\254\2541\350\212\202\344\275\234\344\270\232.md" new file mode 100644 index 00000000..6fa6ffc8 --- /dev/null +++ "b/\347\254\254\344\272\214\346\234\237\350\256\255\347\273\203\350\220\245/4\347\217\255/4\347\217\255_\346\255\246\346\230\216/4\347\217\255-\346\255\246\346\230\216-\347\254\254\345\215\201\344\272\214\345\221\250\344\275\234\344\270\232/4\347\217\255-\346\255\246\346\230\216-\347\254\254\345\215\201\344\272\214\345\221\250-\347\254\2541\350\212\202\344\275\234\344\270\232.md" @@ -0,0 +1,37 @@ +4班-武明-第十二周-第1节作业 + + + +1、将scrapy项目重构为scrapy-redis项目： + +setting设置： + +![scrapy_redis_settings20210318](C:\Users\Administrator\Desktop\scrapy_redis_settings20210318.png) + + + +producer设置： + +![scrapy_redis_jd_producer20210318](http://typorabypicgo.zhanghm.cc/scrapy_redis_jd_producer20210318.png) + +jd_search设置： + +![scrapy_redis_jd_search20210318](http://typorabypicgo.zhanghm.cc/scrapy_redis_jd_search20210318.png) + +运行结果： + +![scrapy_redis_run20210318](http://typorabypicgo.zhanghm.cc/scrapy_redis_run20210318.png) + + + +2、了解scrapy的痛点和我们为什么要使用scrapy-redis + +- 爬虫实例中断后重启后, 内存保存的消息队列将会丢失, 实现爬虫重启功能比较复杂; + +- 去重中间件无法持久化, 中断后无法正常过滤; + +- 消息队列放在了内置类型`QUEUE`中, 无法简单地从外部查看; + +- 不共享消息队列, 可扩展性差; + + 因为scrapy-redis可以轻松的解决上述问题而不必自行编写复杂的代码去实现。 \ No newline at end of file -- Gitee