python - Scrapy ItemLoader數據清洗疑問

問題描述

在使用scrapy抓取數據時，利用itemloader這個類，使用selector取出的值為空時，進入scrapy.Field()里調用filter()，selector取值不為空的確返回'有值'，如果selector取出[]或'',那么value進入filter()之后，并不會返回'無值'

def filter(value): if value:return '有值' else:return '無值' # 下面就簡寫了，熟悉的應該能看的懂 scrapy.Field(filter())

有什么辦法將抓取為空的值，經過filyer()之后變成'無值'

問題解答

謝邀~不太了解Scrapy，所以題主這個我不太好說我用PHP自己寫的爬蟲大體思路是：1.先是根據正則和一些循環，把要收集的頁面放到隊列里，按類別分類，例如分頁的列表頁一個隊列，列表里的數據內容頁一個隊列。2.然后利用xpath來爬取相關內容頁的數據，爬取的過程中對一些爬取到的數據進行如題主所需的那樣進行處理。3.組裝數據，按照自己所需的標準保存數據。

大體就是這樣，我絕對大部分爬蟲框架也大概都是這種思路吧，無非是在此基礎上增加了，反爬機制，多線程，多進程，增量爬取等等功能。所以，題主找到你這個框架的爬取數據那里進行處理或組裝數據的地方進行處理都行。