查詢資料
您可以使用查詢概要文件來可視化查詢執行的細節。查詢概要文件可以幫助您解決查詢執行期間的性能瓶頸問題。例如:
您可以可視化每個查詢任務及其相關指標,例如花費的時間、處理的行數、處理的行數和內存消耗。
您可以一眼看出查詢執行最慢的部分,並評估修改查詢的影響。
您可以發現並修複SQL語句中的常見錯誤,例如爆炸連接或全表掃描。
需求
要查看查詢配置文件,您必須是查詢的所有者,或者必須具有可以管理許可在執行查詢的SQL倉庫中。
查看查詢配置文件
查詢概要文件:
視圖查詢曆史.
單擊某條查詢的名稱。
點擊視圖查詢資料.這裏將概述基本查詢指標。
請注意
如果查詢概要文件不可用,則此查詢沒有可用的配置文件。控件運行的查詢不可用查詢配置文件查詢緩存.要繞過查詢緩存,可以對查詢進行簡單的更改,例如更改或刪除
限製
.單擊,可以在樹形視圖中查看查詢配置文件(默認)樹視圖.單擊,可以以圖形的形式查看查詢配置文件圖形視圖.
樹視圖為快速查找查詢性能問題進行了優化,例如標識運行時間最長的操作符。
圖視圖為可視化數據如何從一個節點流到另一個節點進行了優化。
在樹形視圖或圖形視圖中,您可以單擊頁麵頂部的一個選項卡來查看關於每個查詢任務的詳細信息。
時間:所有任務執行每個操作所花費的時間總和。
行:每個查詢任務影響的行數和大小。
內存:查詢任務消耗的峰值內存。
請注意
一些非photon操作作為一個組執行,並共享公共指標。在這種情況下,對於給定指標,所有子任務都具有與父任務相同的值。
在樹型視圖下,如果任務有子任務,可以單擊>擴大它。在圖形視圖中,單擊某個節點以顯示其詳細信息。
每個任務的操作都會顯示出來。默認情況下,某些操作的任務和指標是隱藏的。這些操作不太可能成為性能瓶頸的原因。若要查看所有操作的信息,並查看其他指標,請單擊在頁麵的頂部,然後單擊啟用詳細模式.最常見的操作有:
掃描:從數據源讀取數據並以行形式輸出。
加入:來自多個關係的行被合並(交錯)成一個行集合。
聯盟:使用相同模式的多個關係中的行被連接到一個行集。
洗牌:數據被重新分發或分區。Shuffle操作在資源方麵是昂貴的,因為它們在集群上的執行程序之間移動數據。
散列/排序:行按鍵分組,並使用聚合函數進行計算,例如
總和
,數
,或馬克斯
在每個組。過濾器:輸入根據條件進行過濾,如由a
在哪裏
子句,返回行的一個子集。(重用)交換: Shuffle或Broadcast Exchange用於根據需要的分區在集群節點之間重新分發數據。
收集限製返回的行數被截斷
限製
聲明。接受命令和項目:返回查詢結果top N行。
在Apache Spark界麵中,單擊即可查看查詢配置文件在頁麵的頂部,然後單擊在Spark UI中打開.
單擊,關閉導入的查詢配置文件X在這一頁的頂端。
查詢概要文件中可用信息的詳細信息,請參見查看查詢profile的詳細信息.
查看查詢profile的詳細信息
查詢概要文件以相反的順序列出查詢的頂級任務,最後一個任務列在前麵。在左側,有三列顯示任務序列、操作名稱和任務選擇度量的圖形。按照以下步驟熟悉查詢概要文件的不同部分。
點擊時間查看每個子任務的持續時間。
點擊行查看查詢返回的行數和大小。
點擊內存查看每個查詢任務所消耗的內存。如果任務有子任務,可以單擊>查看每個子任務的詳細信息。
在右側單擊概述查看查詢的SQL語句、狀態、開始和結束時間、持續時間、運行查詢的用戶以及執行查詢的倉庫。
單擊任務可以查看任務的詳細信息,例如任務的描述和關於任務持續時間、內存消耗、返回的行數和大小以及譜係的指標。
單擊,關閉子任務詳細信息X.
單擊SQL倉庫的名稱以轉到該倉庫的屬性。
在Apache Spark界麵中,單擊即可查看查詢配置文件在頁麵的頂部,然後單擊在Spark UI中打開.
單擊,關閉查詢配置文件X在這一頁的頂端。
導入查詢配置文件
為查詢配置文件導入JSON:
視圖查詢曆史.
點擊進口.
在文件瀏覽器中,選擇與您共享的JSON文件並單擊開放.上傳JSON文件並顯示查詢概要文件。
當您導入一個查詢概要文件時,它會被動態加載到瀏覽器會話中,並且不會持久化到您的工作空間中。每次查看時都需要重新導入它。
單擊,關閉導入的查詢配置文件X在這一頁的頂端。