java - 讀取大于內存的大文件怎么讀？

問題描述

參考： 有一個1G大小的一個文件，內存限制大小是10M，有序返回頻數最高的50個詞，該怎么做？

網上有很多該問題的解決方案，都是用分而治之的思想，提到了遍歷整個文件。

那么我的問題是：如果單純地逐行讀取大文件，算是把1G文件全都加載進內存嗎？或者說是讀取大于內存的文件應該怎么讀？

問題解答

在這里內存就像一條管道，逐行讀是把1G文件在內存里過一遍而已，10M表示管道的粗細。所以，逐行讀是把1G文件加載進去過內存。

try (BufferedReader in = new BufferedReader(new FileReader(file))) { String line; while ((line = in.readLine()) != null) {// parse line }}

file再大，只要每一行的長度有限，整個文件讀完會需要不少的時間，但不會占用太大的內存。

分塊讀，每讀一個塊一個結果集，最后對結果集聚合處理文本的話，知道行數會更好

linux上面有個指令叫做split可以并發快速把大文本分割成小的文件,然后處理就方便了呀,這種算法叫做外排序

內存就好比草稿紙，寫滿一篇就翻篇。 用過、沒用的數據就扔掉了。

簡單舉例，創建一個變量 buff,設定好它的大小，打開文件流往里填，填滿以后查你要的內容，查到就統計到另外一個變量里計數。 然后清空buff,繼續之前讀取的位置再次裝載內容…… 直到讀取完畢，統計也就完成了。

針對不同的系統，都會提供一個API來操作大于內存的文件，也就是將文件當做內存來處理：

內存映射

mmap

CreateFileMapping