數據分析 - java 數據挖掘分析求思路

問題描述

先說說我的想法吧：同時監控淘寶上很多物品的價格，然后獲取價格走勢（這個我打算自己寫爬蟲獲取，然后存在數據庫里），但是問題來了

我該怎么存儲數據，使我能分析哪些物品在最近2天或7天的價格波動最大（最好是任意天數），這個地方該怎么實現比較好?？偛荒苷f每天我都要遍歷一次數據庫來求價格的差值吧，能不能有經驗的大師指點下。

問題解答

總不能說每天我都要遍歷一次數據庫來求價格的差值吧 是覺得開銷過大嗎？那就把熱點數據放Cache，過了這段熱點時間就持久化到數據庫。

熱點數據可以是但不限于：

這幾天剛采集的數據

最常常分析的日期段，比如2天、7天、1個月

這個和java沒關系吧

數據分析的方法和java不是強相關的，java從某種角度說只是一種工具，可以將你的想法交給計算完成，可以實現你與計算機的交流，有基于java相關的haoop生態，可以了解一哈

需要分析的變動快的 --> 熱數據 --> redis , 放在內存；長期的歷史數據 --> 冷數據 --> mysql / oracle ，放在磁盤。