取消
顯示的結果
而不是尋找
你的意思是:

磚SQL的倉庫,畫麵和spark.driver。maxResultSize錯誤

Jpeterson
新的貢獻者三世

我試圖創建一個畫麵場景服務器上提取與連接磚大的sql倉庫。由於spark.driver提取過程失敗。maxResultSize錯誤。

使用磚互動集群數據科學與工程工作空間,我可以編輯配置改變spark.driver火花。maxResultSize並解決這個錯誤。

有辦法改變spark.driver。maxResultSize磚sql的倉庫?

有辦法減少收集的數據的大小?全表選擇是987 MB,但是當sql倉庫試圖閱讀> >收集發送表收集過程導致超過32 gb。

任何其他想法如何解決?我有一群患有這種spark.driver表提取工藝。maxResultSize錯誤。

司機的錯誤消息:

. lang。RuntimeException(辛巴):從服務器(哈代)(35)錯誤:錯誤代碼:“0”錯誤信息:“錯誤運行查詢:org.apache.spark。SparkException:工作階段失敗而終止:序列化結果的總規模196 (32.8 GB)大於spark.driver任務。maxResultSize (32.0 GB)”。

4回複4

karthik_p
尊敬的貢獻者

@Josh彼得森你試圖添加在sql數據訪問配置下,一些支持的配置參數。數據訪問配置|磚在AWS上

Jpeterson
新的貢獻者三世

我試圖添加配置下的數據訪問,但它似乎並不受支持的關鍵。

錯誤信息:

第1行“spark.driver。maxResultSize”:非法的關鍵

數字式電壓表
新的貢獻者二世

你好,

SQL集群共享相同的火花配置。問工作區管理員——添加火花下配置SQL管理/ SQL工作區。

說明在https://docs.www.eheci.com/sql/admin/sql-configuration-parameters.html

spark.driver。maxResultSize不支持參數的SQL倉庫https://docs.www.eheci.com/sql/language-manual/sql-ref-parameters.html

也許這可以添加到路線圖,或BI集成要求select *或全部收集sql操作不同的倉庫嗎?

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map