python多維數組分位數的求取方式

在python中計算一個多維數組的任意百分比分位數，只需用np.percentile即可，十分方便

import numpy as npa = [154, 400, 1124, 82, 94, 108]print np.percentile(a,95) # gives the 95th percentile

補充拓展：如何解決hive同時計算多個分位數的問題

眾所周知，原生hive沒有計算中位數的函數(有的平臺會有)，只有計算分位數的函數percentile

在數據量不大的時候，速度尚可。但是數據量一上來之后，完全計算不出來。

那么如何解決這個問題呢，我們可以使用 row_number() over()通過兩次排序來解決同時計算多個分位數，速度飛快。

比如我們需要計算mkt_mcc_storeidx表下以mkt_label,mccgroup,month分組，value_mccgroup的分位數

第一步：利用row_number() over()給value_mccgroup在分組里排序，記錄下排名

第二步：計算mkt_label,mccgroup,month分組下的數據總數

第三步：join前兩步的結果，取rank=你需要計算的分位數位置，想計算多少個分位數就計算多少個

第四步：再排一次序，這次數據量就已經少了很多了，畢竟每組里面只有幾個數據，記錄排名

第五步：得到具體的分位數

第六步：行轉成列，所有分位數計算完畢

后來查看了下SQL代碼的執行樹，發現percentile利用了map來存數據，怪不得這么耗內存，其實時間久并不是算的時間久，是因為內存不夠了，系統一直在回收內存

而rank over 僅僅就是個排序而已

以上這篇python多維數組分位數的求取方式就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持好吧啦網。