javascript - superagent爬取網站出現重定向問題

問題描述

用superagent爬網頁，遇到重定向，拿不到重定向后的響應體，該如何解決，如何獲取重定向后的網頁

我想獲取501頁面的res，但是他跳轉到37018頁面，導致我拿到501頁面的空res。

測試了爬取不到的網頁，發現有2種情況

一開始進入網頁響應碼是200，過一小會刷新變成304

一進入響應碼從301重定向到200，過一小會刷新變成304

測試了能爬取到的網頁，發現有2種情況

一進入響應碼從301重定向到200，過一小會刷新變成304

一開始進入網頁響應碼是200，過一小會刷新變成304

啊，我擦，那就沒什么區別啦，小白不知道這跟我爬不到內容有沒有關系，orz

再再補充

問題不在重定向，而在于我的正則表達式匹配問題

問題解答

你都不看官方文檔的嗎？

Following redirects

By default up to 5 redirects will be followed, however you may specifythis with the res.redirects(n) method:

request .get(’/some.png’) .redirects(2) .end(callback);