python - 除了代理ip,香港的服務器爬取國內網站還有更好的方法嗎?

問題描述

我在做一只淘寶的爬蟲,但是用的是香港的服務器,但是比較困惑:因為每次爬淘寶的首頁時候,就自動給我跳轉到香港淘寶~~導致源代碼和內容都不一樣~請問如果遇到這種情況要怎么處理呢?

簡單來說,比如采集58同城如果我是泉州的,我想采集北京的,要怎么采集?

因為我用我的ip打開會總跳轉到北京,但是直接想采集58首頁的

?![圖片上傳中...]

問題解答

禁止重定向，以requests為例子：

r = requests.get(’http://github.com/’, allow_redirects=False)r.status_code # 302r.url # http://github.com, not https.r.headers[’Location’] # https://github.com/ -- the redirect destination回答2：

如果是想采集的北京的，就去打子城名，不過有PGTID保護

http://bj.58.com/?PGTID=0d000...

建義使用selenium

有時候服務器會根據你的ip對應的地理位置信息作重定向的，這個你除了找代理應該沒有別的方法了。。