python - pyspider爬pdf爬了一小段時間后就不動了

問題描述

下載了一小部分之后就不動了，stop之后重新跑也沒有任何反應，有人知道是怎么回事嗎？謝謝大家。

問題解答

放代碼吧 騷年

根據 dashboard 最上方的信息

scheduler 到 fetcher 有100條隊列中的任務fetcher 到 processor 也有100條隊列中的任務processor 下游都是空的

因為默認的隊列容量為 100，這說明在 processor 發生了堵塞，那就要看 processor 在干什么，是不是死掉了。