取消
顯示的結果
而不是尋找
你的意思是:

(UDF_MAX_COUNT_EXCEEDED)超過query-wide UDF 5 UDF的極限

marianopenn
新的貢獻者二世

我們使用DLT攝取數據統一目錄,然後在一個單獨的工作,我們在閱讀和處理這些數據,然後寫一個表:

df.write.saveAsTable (name = target_table_path)


我們得到了一個錯誤,我無法找到任何文檔:

SparkRuntimeException (UDF_MAX_COUNT_EXCEEDED):超過query-wide UDF的極限5 UDF(公共預覽期間有限)。發現14。

這是什麼意思,我們怎樣才能解決這個問題呢?
運行在一個i3。超大共享集群,DBR 13.2、火花3.4.0 Scala 2.12。

6個回答6

marianopenn
新的貢獻者二世

設置為一個火花配置集群。檢查磚文檔關於這個主題在這裏

Tharun-Kumar
重視貢獻三世
重視貢獻三世

@AlexPrev

可以遍曆集群配置的高級設置,包括這個配置在引發部分。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map