信号(Signals)¶
Scrapy使用信号来通知事情发生。您可以在您的Scrapy项目中捕捉一些信号(使用 extension)来完成额外的工作或添加额外的功能,扩展Scrapy。
虽然信号提供了一些参数,不过处理函数不用接收所有的参数 - 信号分发机制(singal dispatching mechanism)仅仅提供处理器(handler)接受的参数。
您可以通过 信号(Signals) API 来连接(或发送您自己的)信号。
延迟的信号处理器(Deferred signal handlers)¶
有些信号支持从处理器返回 Twisted deferreds ,参考下边的 内置信号参考手册(Built-in signals reference) 来了解哪些支持。
内置信号参考手册(Built-in signals reference)¶
以下给出Scrapy内置信号的列表及其意义。
engine_started¶
-
scrapy.signals.
engine_started
()¶ 当Scrapy引擎启动爬取时发送该信号。
该信号支持返回deferreds。
注解
该信号可能会在信号 spider_opened
之后被发送,取决于spider的启动方式。
所以不要 依赖 该信号会比 spider-opened
更早被发送。
item_scraped¶
-
scrapy.signals.
item_scraped
(item, response, spider)¶ 当item被爬取,并通过所有 Item Pipeline 后(没有被丢弃(dropped),发送该信号。
该信号支持返回deferreds。
参数:
item_dropped¶
-
scrapy.signals.
item_dropped
(item, exception, spider)¶ 当item通过 Item Pipeline ,有些pipeline抛出
DropItem
异常,丢弃item时,该信号被发送。该信号支持返回deferreds。
参数: - item (dict 或
Item
对象) – Item Pipeline 丢弃的item - spider (
Spider
对象) – 爬取item的spider - exception (
DropItem
异常) – 导致item被丢弃的异常(必须是DropItem
的子类)
- item (dict 或
spider_closed¶
-
scrapy.signals.
spider_closed
(spider, reason)¶ 当某个spider被关闭时,该信号被发送。该信号可以用来释放每个spider在
spider_opened
时占用的资源。该信号支持返回deferreds。
参数: - spider (
Spider
对象) – 关闭的spider - reason (str) – 描述spider被关闭的原因的字符串。如果spider是由于完成爬取而被关闭,则其为
'finished'
。否则,如果spider是被引擎的close_spider
方法所关闭,则其为调用该方法时传入的reason
参数(默认为'cancelled'
)。如果引擎被关闭(例如, 输入Ctrl-C),则其为'shutdown'
。
- spider (
spider_opened¶
-
scrapy.signals.
spider_opened
(spider)¶ 当spider开始爬取时发送该信号。该信号一般用来分配spider的资源,不过其也能做任何事。
该信号支持返回deferreds。
参数: spider ( Spider
对象) – 开启的spider
spider_idle¶
-
scrapy.signals.
spider_idle
(spider)¶ 当spider进入空闲(idle)状态时该信号被发送。空闲意味着:
- requests正在等待被下载
- requests被调度
- items正在item pipeline中被处理
当该信号的所有处理器(handler)被调用后,如果spider仍然保持空闲状态, 引擎将会关闭该spider。当spider被关闭后,
spider_closed
信号将被发送。您可以,比如,在
spider_idle
处理器中调度某些请求来避免spider被关闭。该信号 不支持 返回deferreds。
参数: spider ( Spider
对象) – 空闲的spider