python爬蟲 - Python:網頁爬取Ajax地址，結果與瀏覽器顯示的不一致？

問題描述

1.我用在火狐上獲取的Ajax地址來爬取統計局的信息：

獲取的地址如下;

http://data.stats.gov.cn/easy...{'wdcode':'zb','valuecode':'A0201'}]&dfwds=[{'wdcode':'sj','valuecode':'199807'}]

我的理解是地址中包含了兩個參數：'A0201'和'199807'可以通過改變著兩個參數來獲取不同表中不同時間的信息我在瀏覽器中直接輸入地址參數為'199807'時顯示結果為：參數為'199907'時顯示結果為：證明應該是行得通的

但是當我用這個地址去爬蟲時爬下來的結果卻不是瀏覽器上看到的這些數據，應該是爬取到了別的表里的數據，但是我的參數不是已經設置好了嗎？在瀏覽器也證明參數是有效的，但是為什么就是爬不到這些數據？是不是網頁緩存方面出現了問題？應該如何解決呢？勞煩大神指教

問題解答

server端可以驗證你的cookie從而將你拒之門外，或者返回其他錯誤數據給你也是可以的，你可以從瀏覽器復制出來里偽造cookie，放在請求頭里面。