python - 2億++的網址，怎樣快速確認網頁狀態碼?

問題描述

用requests寫了個多線程，感覺有點慢，還有其他方法么？

問題解答

使用 Tornado 的 curl 客戶端支持，讀到請求頭就關閉連接。（我還沒試過。如果它提供的 HTTP 客戶端不支持中途關閉連接的話，可以像我這樣使用 TCP 然后用 http-parser 來解析。）

好吧，其實你可以直接給 fetchtitle 加個取狀態碼的擴展就可以了……（記得裝 pycurl 哦）

python本來就慢，想速度快就直接寫tcp請求然后讀回復，讀到狀態后就關掉socket。

使用grequests,對requests進行了并發封裝

https://github.com/kennethrei...

這種情況可以考慮使用gevent,tornado,scrapy-redis,asyncio！

用Head請求能快一點吧？