(UDF_MAX_COUNT_EXCEEDED)超過query-wide UDF 5 UDF的極限

[marianopenn]

我們使用DLT攝取數據統一目錄,然後在一個單獨的工作,我們在閱讀和處理這些數據,然後寫一個表:

df.write.saveAsTable (name = target_table_path)

我們得到了一個錯誤,我無法找到任何文檔:

SparkRuntimeException (UDF_MAX_COUNT_EXCEEDED):超過query-wide UDF的極限5 UDF(公共預覽期間有限)。發現14。

這是什麼意思,我們怎樣才能解決這個問題呢?
運行在一個i3。超大共享集群,DBR 13.2、火花3.4.0 Scala 2.12。

[marianopenn]

設置為一個火花配置集群。檢查磚文檔關於這個主題在這裏。

[Tharun-Kumar]

@AlexPrev

可以遍曆集群配置的高級設置,包括這個配置在引發部分。