golang - go-sql-driver/mysql for rows.Next()的性能問題

問題描述

1.當查詢出來的記錄過萬時，遍歷Rows的時間過長，達到1分鐘甚至更多

程序代碼：

rows, err := p.conn.Query(sqlStr, params...)if err != nil { log.Println('mysql query error', err.Error()) return nil, err}log.Println('conn結束:', goutil.GetCurrentTime())//延時關閉Rowsdefer rows.Close()//獲取記錄列if columns, err := rows.Columns(); err != nil { return nil, err} else { //拼接記錄Map values := make([]sql.RawBytes, len(columns)) scans := make([]interface{}, len(columns)) for i := range values {scans[i] = &values[i] } //此處遍歷在3W記錄的時候，長達1分鐘甚至更多 for rows.Next() {_ = rows.Scan(scans...)each := map[string]interface{}{}for i, col := range values { each[columns[i]] = string(col)}rowMaps = append(rowMaps, each) } return rowMaps, nil}

問題解答

可以用創建多個goroutine 分段查詢數據。使用channl在線程中拿去查詢結構進行迭代。

這不是golang性能的問題，其他編程語言也會類似。一次性去拿三萬條記錄本來就是個不合理的需求，應該通過分頁來解決，一次只取幾十到幾百條。