concurrency - java并發處理一個表中的大量數據，如何設置檢查點，以便用于失敗恢復，而不是重復處理處理過的數據？

問題描述

java并發處理一個表中的大量數據，如何設置檢查點，以便用于失敗恢復，而不是重復處理處理過的數據？

比如在處理過程中，系統宕機，kill -9強制殺死之前，設置一個檢查點，一遍下次從檢查點開始恢復處理？

問題解答

1，定期寫入checkpoint，宕機不怕2，數據處理要有冪等性，應對已經處理但沒有寫入checkpoint的數據

如果你用事務實時寫入checkpoint，那就沒上面的事了。