(UDF_MAX_COUNT_EXCEEDED)超過query-wide UDF 5 UDF的極限

[marianopenn]

我們使用DLT攝取數據統一目錄,然後在一個單獨的工作,我們在閱讀和處理這些數據,然後寫一個表:

df.write.saveAsTable (name = target_table_path)

我們得到了一個錯誤,我無法找到任何文檔:

SparkRuntimeException (UDF_MAX_COUNT_EXCEEDED):超過query-wide UDF的極限5 UDF(公共預覽期間有限)。發現14。

這是什麼意思,我們怎樣才能解決這個問題呢?
運行在一個i3。超大共享集群,DBR 13.2、火花3.4.0 Scala 2.12。

[Tharun-Kumar · Accepted solution]

@marianopenn

介紹了這個極限作為緩解減少伯父錯誤的風險。在一個共享的集群可以覆蓋限製通過設置spark.databricks.safespark.externalUDF.plan.limit火花配置集群中的UI。

注意,覆蓋此配置可能會導致伯父在查詢執行錯誤。

[Vidula_Khanna]

嗨@marianopenn

我們還沒有聽到來自你自從上次反應@Tharun-Kumar,我檢查看看她的建議幫助你。

否則,如果你有任何解決方案,請與社區分享,因為它可以幫助別人。

同時,請別忘了點擊“選擇最佳”按鈕時提供的信息幫助解決你的問題。

[marianopenn]

嗨@Vidula_Khanna@Tharun-Kumar是的,這火花設置刪除5 UDF極限。我們也遇到一個內存問題,但我們可以一起工作。如果你可以,請包括這種限製和周圍的辦法在統一目錄文檔。謝謝。

[AlexPrev]

嗨@marianopenn@Tharun-Kumar你能請提供進一步的細節是如何在集群UI設置參數?我們現在麵臨一個非常類似的問題,但我不是100%確定在哪裏和如何設置spark.databricks.safespark.externalUDF.plan.limit

也許你能附上截圖嗎?

謝謝你！