java - mysql單表流水500W數據多維度統計的方案

問題描述

現在項目中有張流水表結構大概如下id sdkVersion jarVersion countryCode imei createTime

以前的需求是按sdkVersion,jarVersion,countryCode的分組求總數和imei排重后的總數，大致sql如下:

select sdkVersion,jarVersion,countryCode,count(*),count(distinct imei) from xxx where createTime = ’xxxx-xx-xx’group by sdkVersion,jarVersion,countryCode

查出前一天的所有數據然后匯總到一張表里，結構大概如下

id sdkVersion jarVersion countryCode count(*) count(distinct imei) createTime

然后現在的需求是要任意緯度的組合查詢,就是可以group by sdkVersiongroup by jarVersiongroup by countryCodegroup by sdkVersion,countryCode等等各種組合，如果按以前的每日匯總方案的話就要為不同的緯度組合建立很多個表，有什么好的方案可以解決這種問題？或者是用專門的統計框架可以解決的？

問題解答

樓主可以去看看PipelineDB流式數據庫

apache kylin, 亞秒級olap

每日匯總的話，實時性要求并不高，500W 記錄也還在可以處理的范圍內，視圖 + 定時計劃，可以滿足要求，不需要建多表。題主最好能說明一下有什么瓶頸或者痛點，畢竟 mysql 是個成熟產品，換用新銳技術有一定風險。

寫存儲過程,每天定時跑就行了