python - Scrapy的spider在IDE中方便運行調試

問題描述

我有很多spider，不能每次調試都手動創建一個debugger吧（scrapy crawl spider_name）

想可以在spider文件中直接右鍵運行/調試。

問題解答

參考文章：Scrapy爬蟲常見問題總結

在spider文件中，加入cmdline的調用方法

import scrapy.cmdline#Your Spider Class...def main(): scrapy.cmdline.execute([’scrapy’, ’crawl’, ’your_spider_name’])if __name__ == ’__main__’: main()回答2：

新建一個py文件，用這個來調試

from scrapy.cmdline import executeimport sysimport ossys.path.append(os.path.dirname(os.path.abspath(__file__)))execute(['scrapy','crawl','YOUR_SPIDER'])