我已刪除數據的情況下使用dense_rank函數在特定的業務關鍵來源。目前數據源沒有任何副本,所以函數應該返回1在所有情況下。問題是,密集的排名不返回適當的整數,盡管整數數據類型是:
它發生在磚運行時的13.1,所以我假設火花3.4這個問題。12.2運行時它工作,沒有問題
謝謝你的報告。
當我看到火花3.4.0引入了改進的原因,這樣的問題。
改進:https://issues.apache.org/jira/browse/spark - 37099
類似的錯誤:https://issues.apache.org/jira/browse/spark - 44448
這個改善火星- 37099)包含的DBR 13.1:https://docs.www.eheci.com/release-notes/runtime/13.1.html
這就是為什麼你們看到這在DBR 13.1
我已經驗證了內部這似乎是固定在DBR 13.1。我請求你再測試一次,讓我們知道。
謝謝你的報告。
當我看到火花3.4.0引入了改進的原因,這樣的問題。
改進:https://issues.apache.org/jira/browse/spark - 37099
類似的錯誤:https://issues.apache.org/jira/browse/spark - 44448
這個改善火星- 37099)包含的DBR 13.1:https://docs.www.eheci.com/release-notes/runtime/13.1.html
這就是為什麼你們看到這在DBR 13.1
我已經驗證了內部這似乎是固定在DBR 13.1。我請求你再測試一次,讓我們知道。