python - 爬取某網站時需要瀏覽器刷新一次才能返回真實的頁面數據？

問題描述

請求所需參數全部帶上了，并且已帶上cookies,已修改header，拿到的數據是提示刷新的HTML，如圖：原網頁是動態加載的瀑布流，即往不斷下拉就不斷有內容呈現出來，靜候大神，目前采用scrapy框架，暫時還不想上selenium+phantomjs，太重了

問題解答

動態加載的數據你應該找ajax api請求，而不是在網頁找，工欲善其事必先利其器，善用 F12。

這種情況比抓取一個代理ip網頁，使用cookie但是報錯好解決多了＝＝，你完全可以判斷當前頁面內容然后進行模擬刷新～ 重要的是保持會話。

如果還不行的話，可以加referer再試一試