取消
顯示的結果
而不是尋找
你的意思是:

(UDF_MAX_COUNT_EXCEEDED)超過query-wide UDF 5 UDF的極限

marianopenn
新的貢獻者二世

我們使用DLT攝取數據統一目錄,然後在一個單獨的工作,我們在閱讀和處理這些數據,然後寫一個表:

df.write.saveAsTable (name = target_table_path)


我們得到了一個錯誤,我無法找到任何文檔:

SparkRuntimeException (UDF_MAX_COUNT_EXCEEDED):超過query-wide UDF的極限5 UDF(公共預覽期間有限)。發現14。

這是什麼意思,我們怎樣才能解決這個問題呢?
運行在一個i3。超大共享集群,DBR 13.2、火花3.4.0 Scala 2.12。

1接受解決方案

接受的解決方案

Tharun-Kumar
重視貢獻三世
重視貢獻三世

@marianopenn

介紹了這個極限作為緩解減少伯父錯誤的風險。在一個共享的集群可以覆蓋限製通過設置spark.databricks.safespark.externalUDF.plan.limit火花配置集群中的UI。

注意,覆蓋此配置可能會導致伯父在查詢執行錯誤。

在原帖子查看解決方案

6個回答6

Tharun-Kumar
重視貢獻三世
重視貢獻三世

@marianopenn

介紹了這個極限作為緩解減少伯父錯誤的風險。在一個共享的集群可以覆蓋限製通過設置spark.databricks.safespark.externalUDF.plan.limit火花配置集群中的UI。

注意,覆蓋此配置可能會導致伯父在查詢執行錯誤。

Vidula_Khanna
主持人
主持人

@marianopenn

我們還沒有聽到來自你自從上次反應@Tharun-Kumar,我檢查看看她的建議幫助你。

否則,如果你有任何解決方案,請與社區分享,因為它可以幫助別人。

同時,請別忘了點擊“選擇最佳”按鈕時提供的信息幫助解決你的問題。

marianopenn
新的貢獻者二世

@Vidula_Khanna@Tharun-Kumar是的,這火花設置刪除5 UDF極限。我們也遇到一個內存問題,但我們可以一起工作。如果你可以,請包括這種限製和周圍的辦法在統一目錄文檔。謝謝。

AlexPrev
新的因素

@marianopenn@Tharun-Kumar你能請提供進一步的細節是如何在集群UI設置參數?我們現在麵臨一個非常類似的問題,但我不是100%確定在哪裏和如何設置spark.databricks.safespark.externalUDF.plan.limit

也許你能附上截圖嗎?

謝謝你!

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map