python Requsets下載開源網站的代碼(帶索引 數據)

環境搭建

python 3.xrequests 包re 包gooey包 （用于可視化）

代碼

import requestsimport reimport osfrom gooey import Gooey, GooeyParserimport times = requests.Session()def judgeTypeOfPath(name): ’’’ 判斷該路徑是文件還是文件夾 :param name: 路徑名稱 :return:True->文件;False->文件夾 ’’’ if name[-1] == ’/’:return False else:return Truedef makeDirOfPath(path): ’’’ 創建文件夾 :param path: 文件夾名稱以及路徑 :return: True->創建成功;False->創建失敗 ’’’ if not os.path.isdir(path):os.mkdir(path) if not os.path.isdir(path):return False return Truedef getPath(url): ’’’ 獲取網頁路徑列表 :param url: 當前網頁路徑 :return: 路徑列表 ’’’ baseResponse = s.get(url=url, stream=True,verify=False).text listOfDirOrFilesTemp = re.findall(r’<li><a href='http://www.wxshucaidpc.com/bcjs/.*?' rel='external nofollow' >’, baseResponse) listOfDirOrFiles = [] for i in range(len(listOfDirOrFilesTemp)):listOfDirOrFiles.append(listOfDirOrFilesTemp[i].split(''')[1]) return listOfDirOrFiles[1:len(listOfDirOrFiles) + 1]def rfSearch(listOfPath,url, nowPath): ’’’ 遞歸尋找目錄、路徑,并下載文件 :param listOfPath: 當前目錄下文件以及文件夾目錄列表 :param nowPath: 現在所在路徑 :return: ’’’ newList = listOfPath[:] if not newList:return for i in range(len(newList)):if not judgeTypeOfPath(newList[i]): u = nowPath + newList[i][0:len(newList[i])] makeDirOfPath(u) tempPath=nowPath + newList[i][0:len(newList[i])+1] tempUrl=url+newList[i][0:len(newList[i])+1] u=getPath(tempUrl) rfSearch(u,tempUrl,tempPath)else: print(f’開始下載{newList[i]}...’) t1=time.time() u = nowPath + newList[i] m=url+newList[i] if not os.path.exists(u):r = s.get(m, stream=True,verify=False)f = open(u, 'wb')for chunk in r.iter_content(chunk_size=10240): if chunk:f.write(chunk)f.close() t2=time.time() print(f’{newList[i]}下載完成tt用時 {t2-t1}’)@Gooey( program_name=’isric數據下載器’, encoding='utf-8', )def main(): parser = GooeyParser(description='isric數據下載器') parser.add_argument(’--url’,default=r’https://files.isric.org/soilgrids/latest/data/’) parser.add_argument(’--path’, widget='DirChooser', default=r’F:/isricData/’) args = parser.parse_args() url=args.url nowPath = args.path u = getPath(url) rfSearch(u, url,nowPath)###如果不需要可視化，則不用gooey，可以將上面部分替換如下#@Gooey(# program_name=’isric數據下載器’,# encoding='utf-8', )#上面三行刪除即可###main函數替換成下面部分：# def main():# url=r’https://files.isric.org/soilgrids/latest/data/’#在此處修改地址鏈接# nowPath = r’F:/isricData/’#在此處修改文件保存地址# u = getPath(url)# rfSearch(u, url,nowPath)if __name__ == '__main__': main()

到此這篇關于python Requsets下載開源網站的代碼(帶索引 數據)的文章就介紹到這了,更多相關python Requsets下載內容請搜索好吧啦網以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持好吧啦網！