Python 如何創建一個線程池

問題

你創建一個工作者線程池，用來響應客戶端請求或執行其他的工作。

解決方案

concurrent.futures 函數庫有一個 ThreadPoolExecutor 類可以被用來完成這個任務。 下面是一個簡單的TCP服務器，使用了一個線程池來響應客戶端：

from socket import AF_INET, SOCK_STREAM, socketfrom concurrent.futures import ThreadPoolExecutordef echo_client(sock, client_addr): ’’’ Handle a client connection ’’’ print(’Got connection from’, client_addr) while True: msg = sock.recv(65536) if not msg: break sock.sendall(msg) print(’Client closed connection’) sock.close()def echo_server(addr): pool = ThreadPoolExecutor(128) sock = socket(AF_INET, SOCK_STREAM) sock.bind(addr) sock.listen(5) while True: client_sock, client_addr = sock.accept() pool.submit(echo_client, client_sock, client_addr)echo_server((’’,15000))

如果你想手動創建你自己的線程池， 通?？梢允褂靡粋€Queue來輕松實現。下面是一個稍微不同但是手動實現的例子：

from socket import socket, AF_INET, SOCK_STREAMfrom threading import Threadfrom queue import Queuedef echo_client(q): ’’’ Handle a client connection ’’’ sock, client_addr = q.get() print(’Got connection from’, client_addr) while True: msg = sock.recv(65536) if not msg: break sock.sendall(msg) print(’Client closed connection’) sock.close()def echo_server(addr, nworkers): # Launch the client workers q = Queue() for n in range(nworkers): t = Thread(target=echo_client, args=(q,)) t.daemon = True t.start() # Run the server sock = socket(AF_INET, SOCK_STREAM) sock.bind(addr) sock.listen(5) while True: client_sock, client_addr = sock.accept() q.put((client_sock, client_addr))echo_server((’’,15000), 128)

使用 ThreadPoolExecutor 相對于手動實現的一個好處在于它使得 任務提交者更方便的從被調用函數中獲取返回值。例如，你可能會像下面這樣寫：

from concurrent.futures import ThreadPoolExecutorimport urllib.requestdef fetch_url(url): u = urllib.request.urlopen(url) data = u.read() return datapool = ThreadPoolExecutor(10)# Submit work to the poola = pool.submit(fetch_url, ’http://www.python.org’)b = pool.submit(fetch_url, ’http://www.pypy.org’)# Get the results backx = a.result()y = b.result()

例子中返回的handle對象會幫你處理所有的阻塞與協作，然后從工作線程中返回數據給你。 特別的，a.result() 操作會阻塞進程直到對應的函數執行完成并返回一個結果。

討論

通常來講，你應該避免編寫線程數量可以無限制增長的程序。例如，看看下面這個服務器：

from threading import Threadfrom socket import socket, AF_INET, SOCK_STREAMdef echo_client(sock, client_addr): ’’’ Handle a client connection ’’’ print(’Got connection from’, client_addr) while True: msg = sock.recv(65536) if not msg: break sock.sendall(msg) print(’Client closed connection’) sock.close()def echo_server(addr, nworkers): # Run the server sock = socket(AF_INET, SOCK_STREAM) sock.bind(addr) sock.listen(5) while True: client_sock, client_addr = sock.accept() t = Thread(target=echo_client, args=(client_sock, client_addr)) t.daemon = True t.start()echo_server((’’,15000))

盡管這個也可以工作， 但是它不能抵御有人試圖通過創建大量線程讓你服務器資源枯竭而崩潰的攻擊行為。 通過使用預先初始化的線程池，你可以設置同時運行線程的上限數量。

你可能會關心創建大量線程會有什么后果。 現代操作系統可以很輕松的創建幾千個線程的線程池。 甚至，同時幾千個線程等待工作并不會對其他代碼產生性能影響。 當然了，如果所有線程同時被喚醒并立即在CPU上執行，那就不同了——特別是有了全局解釋器鎖GIL。 通常，你應該只在I/O處理相關代碼中使用線程池。

創建大的線程池的一個可能需要關注的問題是內存的使用。 例如，如果你在OS X系統上面創建2000個線程，系統顯示Python進程使用了超過9GB的虛擬內存。 不過，這個計算通常是有誤差的。當創建一個線程時，操作系統會預留一個虛擬內存區域來 放置線程的執行棧（通常是8MB大?。?。但是這個內存只有一小片段被實際映射到真實內存中。 因此，Python進程使用到的真實內存其實很小 （比如，對于2000個線程來講，只使用到了70MB的真實內存，而不是9GB）。 如果你擔心虛擬內存大小，可以使用 threading.stack_size() 函數來降低它。例如：

import threadingthreading.stack_size(65536)

如果你加上這條語句并再次運行前面的創建2000個線程試驗， 你會發現Python進程只使用到了大概210MB的虛擬內存，而真實內存使用量沒有變。 注意線程棧大小必須至少為32768字節，通常是系統內存頁大小（4096、8192等）的整數倍。

以上就是Python 如何創建一個線程池的詳細內容，更多關于Python 創建線程池的資料請關注好吧啦網其它相關文章！