網頁爬蟲 - Python小白用Scrapy爬蟲返回的是空元素，請問各位大神哪里出了問題？

問題描述

用scrapy爬了圖書館書籍的書名和評論，用Chrome的檢查拔下來的Xpath，但是運行爬蟲返回的是空元素，請問各位哪里出了問題，謝謝大家。截圖：

附上我的Scrapy源碼，請大家多指教，謝謝！

from scrapy import Spiderfrom scrapy.selector import Selectorfrom CommentCrawl.items import CommentcrawlItemclass commentcrawl(Spider): name = 'commentcrawl' allowed_domains = ['http://opac.lib.bnu.edu.cn:8080'] start_urls = ['http://opac.lib.bnu.edu.cn:8080/F/S9Q2QIQV5D9R9HBHPI2KNN8JH11TRIRSIEPKYQLTAQQ17LA6B6-16834?func=full-set-set&set_number=010408&set_entry=000001&format=999', ] def parse(self,response):item = CommentcrawlItem()item[’name’] = Selector(response).xpath(’//*[@id='details2']/table/tbody/tr[1]/td[2]/a/text()’).extract()item[’comment’] = Selector(response).xpath(’//*[@id='localreview']/text()’).extract()yield item

問題解答

頁面需要登錄才能訪問，缺少登錄操作。

頁面被登錄攔截了。

你把你實際獲得的內容打印或者保存完了，看看是什么內容。估計是返回的內容跟你的 Xpath 匹配不上，該登錄的登錄啊。