python - 網頁更新數據之后無法再次抓取

問題描述

我抓取的網頁今天更新了一條信息，然后爬蟲運行了卻沒有抓取到.

from pyspider.libs.base_handler import *from pyspider.database.mysql.mysqldb import SQLclass Handler(BaseHandler): crawl_config = { } @every(minutes=24 * 60) def on_start(self):self.crawl(’http://www.yxztb.net/yxweb/zypd/012001/012001001/’, callback=self.index_page) @config(age=10 * 24 * 60 * 60) def index_page(self, response):for each in response.doc(’.tdmoreinfosub a’).items(): self.crawl(each.attr.href, callback=self.detail_page)@config(priority=2) def detail_page(self, response):return {'address':'宜興市','url':response.url,'title':response.doc(’font span’).text(),'date' :response.doc(’#tdTitle > .webfont’).text()[8:17], }def on_result(self, result):print resultif not result or not result[’title’]: returnsql = SQL()sql.replace(’zhaobiao’,**result)

希望大佬們能講的具體點然后多交流交流

問題解答

@config （age）參數設定直接忽略了index.page的執行

既然 on_start 的 @every 是一天，那么self.crawl 中設置 age=12 * 60 * 60 半天是比較合適的，保證每次 every 肯定不會被 age 所限制。另外 @config(age=10 * 24 * 60 * 60)，這是10天內不要再爬的意思啊。