11-17-2022下午07:47
你好,
我有一個設置SQL查詢運行5小時但SQL端點開始了每次運行時間過長。目前我不知道如何解決這個問題
你能幫我如何改善這個嗎?
11-21-202208:54點
或參考:三角洲湖上更快的SQL查詢與動態文件修剪
//www.eheci.com/blog/2020/04/30/faster-sql-queries-on-delta-lake-with-dynamic-file-prunin..。
在原帖子查看解決方案
11-17-202210:57點
嗨@Jensen Ackles,請你做一個tcpdump端點並檢查啤酒花。同時,檢查網絡日誌可以幫助。同時,查詢重嗎?(準時)前工作正常嗎?
11-17-2022下午11點
實際上,有時它是好的,有時要花太長時間。順便說一下,我將得到一個tcpdump檢查。
謝謝大家
11-21-202208:52點
有可能連接到蜂巢metastore耽誤了。當有高度的並發性和爭奪metastore訪問。交互式DBR的集群配置為使用5 (spark.databricks.hive.metastore.client.pool.size)蜂巢的客戶。如果有超過5個並發運行查詢訪問蜂巢的時間更長,那麼可能會緩慢。
簡單的解決方案是增加“spark.databricks.hive.metastore.client.pool試試。大小”。盡量增加32個,看看是否有改善。
從未顯出
加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。
點擊在這裏注冊今天,加入!
參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。