Python爬蟲基礎之requestes模塊

開始學習爬蟲，我們必須了解爬蟲的流程框架。在我看來爬蟲的流程大概就是三步，即不論我們爬取的是什么數據，總是可以把爬蟲的流程歸納總結為這三步：

1.指定 url,可以簡單的理解為指定要爬取的網址

2.發送請求。requests 模塊的請求一般為 get 和 post

3.將爬取的數據存儲

因為 requests 模塊屬于外部庫，所以需要我們自己導入庫

導入的步驟：

1.右鍵Windows圖標

2.點擊“運行”

3.輸入“cmd”打開命令面板

4.輸入“pip install requests”,等待下載完成

如圖：

如果還是下載失敗，我的建議是百度一下，你就知道（我也是邊學邊寫，是在是水平有限）

歐克，既然導入成功后我們就簡單的來爬取一下搜狗的首頁吧！

import requestsif __name__ == '__main__': # 指定url url = 'https://www.sougou.com/' # 發起請求 # get方法會返回一個響應數據 response = requests.get(url) # 獲取響應數據 page_txt = response.text # text返回一個字符串的響應數據 # print(page_txt) # 存儲 with open('./sougou.html', 'w', encoding = 'utf-8') as fp:fp.write(page_txt) print('爬取數據結束?。?！')

我們打開保存的文件，如圖

歐克，這就是最基本的爬取，如果學會了，那就試一試爬取 B站 的首頁吧。

到此這篇關于Python爬蟲基礎之requestes模塊的文章就介紹到這了,更多相關Python requestes模塊內容請搜索好吧啦網以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持好吧啦網！