嗨@Bartosz Maciejewski
通常我們到達使用以下方法調整分區的數量。
輸入尺寸數據- 100 GB
理想目標分區大小- 128 MB
核心- 8
理想的分區數量= (100 * 1028)/ 128 = 803.25 ~ 804
正常utiltize核心可用尤其是最後的迭代調整分區的數量應該是其他因素的核心數我們不會正確使用核心。給分區太少會導致更少的並發性和太多會導致大量的洗牌。
至於你指的是上麵的例子,如果你計算理想分區數量給予適當的輸入數據的大小和預期目標大小128 MB (64 MB或或任何低於500 MB),它應該是825左右。
現在附近的8核因子- 825是824年或832年。如果你給824,然後最後迭代將分配給825分區僅7的8核將閑置的地方。我們會下一個因素是832,有最佳利用所有可用的核心。
希望這有助於……做評論,如果你有任何查詢。
歡呼。
嗨@Bartosz Maciejewski
通常我們到達使用以下方法調整分區的數量。
輸入尺寸數據- 100 GB
理想目標分區大小- 128 MB
核心- 8
理想的分區數量= (100 * 1028)/ 128 = 803.25 ~ 804
正常utiltize核心可用尤其是最後的迭代調整分區的數量應該是其他因素的核心數我們不會正確使用核心。給分區太少會導致更少的並發性和太多會導致大量的洗牌。
至於你指的是上麵的例子,如果你計算理想分區數量給予適當的輸入數據的大小和預期目標大小128 MB (64 MB或或任何低於500 MB),它應該是825左右。
現在附近的8核因子- 825是824年或832年。如果你給824,然後最後迭代將分配給825分區僅7的8核將閑置的地方。我們會下一個因素是832,有最佳利用所有可用的核心。
希望這有助於……做評論,如果你有任何查詢。
歡呼。