我有一個表spark101三角洲。航空公司(來自/ databricks-datasets /航空/)分區由“年”。我的“spark.sql.shuffle。分區的設置為默認的200。我運行一個簡單的查詢:
從spark101選擇起源,count (*)。航空集團的起源階段1:讀取數據到17個分區,類似於我的‘spark.sql.files.maxPartitionBytes’。這個階段也pre-aggregates數據範圍內的每個執行器並保存成200個分區。
我希望:
階段2:它應該產生200任務閱讀和綜合分區從之前的階段。
我上帝而不是:
