java - hadoop數據查找

問題描述

使用hadoop查找文件中是否含有某些字符串，也就是要查找出set(string)中每個string對應的那一行，每條數據都不重復，請問怎么可以快速的找到呢？我寫了簡單的

# map.shawk -F '03' ’$3==xxx{print $0}’ -

結果慢的要死，一直動不都不懂，請問有快點的辦法嗎？最好是可以一次性找出集合中所有的

問題解答

這個寫MR吧，如果你想省事就把數據導入到hive中，用sql 來解決