文章詳情頁

我要在命令行同時不間斷地運行八九個python爬蟲程序（爬不同的網站）？

瀏覽：89日期：2022-08-21 18:56:02

問題描述

但是過一段時間總有一兩個程序會無響應，好像是被掛起了，CPU占用率并不高，不到10％，內存占用也不算多，60％左右，爬蟲程序是去批量下載文件，平均每個幾兆到十幾兆。我設置了這幾個程序的優先級高于普通標準，但是還是會出現無響應的狀況。版本 python 2.7

求問:這個問題算不算進程被掛起？以及應該如何解決這個問題？

謝謝！

問題解答

回答1：

這種問題得自己調，多打log

回答2：

Python 有 GIL

Python 編程

上一條：flask - Python使用redis發布訂閱時，監聽頻道時出現的問題？【一句話描述不清楚，請各位細看內容】下一條：python - django queryset自定義排序問題

相關文章：

1. node.js - nodejs開發中常用的連接mysql的庫2. mysql - 分庫分表、分區、讀寫分離這些都是用在什么場景下，會帶來哪些效率或者其他方面的好處3. mysql replace 死鎖4. phpstudy pro小皮面板經常報這個nginx: [emerg] CreateFile【急】5. mysql - 把一個表中的數據count更新到另一個表里?6. MySQL 截短某一列的字符串7. mysql 查詢身份證號字段值有效的數據8. 請教使用PDO連接MSSQL數據庫插入是亂碼問題?9. 雙擊安裝程序，安裝不了10. mysql - 字符串根據字典替換

排行榜

					
					雙擊安裝程序，安裝不了
					1. node.js - npm init無法一直回車。到version就卡主不動了
					2. 解決Android webview設置cookie和cookie丟失的問題
					3. javascript - 關于css絕對定位在ios瀏覽器被橡皮筋遮擋的問題
					4. MySQL 截短某一列的字符串
					5. visual-studio - Python OpenCV: 奇怪的自動補全問題
					6. javascript - 移動端自適應
					7. python - 我在使用pip install -r requirements.txt下載時，為什么部分能下載，部分不能下載
					8. docker安裝后出現Cannot connect to the Docker daemon.
					9. docker內創建jenkins訪問另一個容器下的服務器問題
					10. 
			熱門標簽

					
					PHP

					JavaScript

					HTML

					CSS

					java

					vue

					數據庫

					微信

					百度

					

国产综合久久一区二区三区