python把第x列數據寫入第x個文件
問題描述
Python爬蟲一共需要爬取65頁數據,每頁數據的列數不確定?,F在我能把每一列的數據抓下來,但是因為列數不確定,寫入的文件名就不能確定。問題在于怎么才能把第x列數據寫入第x個文件。也就是如何才能動態選擇file=的文件名。代碼如下:
f_1 = open(’fitment/1.txt’, ’a’)f_2 = open(’fitment/2.txt’, ’a’)f_3 = open(’fitment/3.txt’, ’a’)for i in range(66): pr = random.choice(proxy) url = ’https://*****’ + str(i) + ’****’ page_url = requests.get(url, headers=head, proxies=pr) page_get = page_url.text page_text = BeautifulSoup(page_get, ’lxml’) fitment_1 = page_text.find_all(’tr’, {’class’: ’fitment listRowEven’}) for each_tag_1 in fitment_1:td_text_1 = each_tag_1.find_all(’td’)for x in range(len(td_text_1)+1): print(td_text_1[x].string, file=)
網頁的結構類如下,每個tr標簽即為一列,具體要抓取的數據位于每個td標簽內
<tr> <td>...</td> <td>...</td> <td>...</td> <td>...</td></tr><tr> <td>...</td> <td>...</td> <td>...</td> <td>...</td></tr>
問題解答
回答1:先不要定義好open文件對象,可以根據列數打開相應的文件操作
with open(’列數.txt’, ’a’) as f: f.write(’內容’)
相關文章:
1. javascript - 關于css絕對定位在ios瀏覽器被橡皮筋遮擋的問題2. javascript - 請教如何獲取百度貼吧新增的兩個加密參數3. mysql - 分庫分表、分區、讀寫分離 這些都是用在什么場景下 ,會帶來哪些效率或者其他方面的好處4. Python爬蟲如何爬取span和span中間的內容并分別存入字典里?5. javascript - 請問 chrome 為什么會重復加載圖片資源?6. c++ - 請問MySQL_Connection::isReadOnly 怎么解決?7. css3 - 微信前端頁面遇到的transition過渡動畫的bug8. (python)關于如何做到按win+R再輸入文件文件名就可以運行?9. python - 能通過CAN控制一部普通的家用轎車嗎?10. html5 - 只用CSS如何實現input框的寬度隨框里輸入的內容長短自動適應?
