磚SQL的倉庫,畫麵和spark.driver。maxResultSize錯誤

[Jpeterson]

我試圖創建一個畫麵場景服務器上提取與連接磚大的sql倉庫。由於spark.driver提取過程失敗。maxResultSize錯誤。

使用磚互動集群數據科學與工程工作空間,我可以編輯配置改變spark.driver火花。maxResultSize並解決這個錯誤。

有辦法改變spark.driver。maxResultSize磚sql的倉庫?

有辦法減少收集的數據的大小?全表選擇是987 MB,但是當sql倉庫試圖閱讀> >收集發送表收集過程導致超過32 gb。

任何其他想法如何解決?我有一群患有這種spark.driver表提取工藝。maxResultSize錯誤。

司機的錯誤消息:

. lang。RuntimeException(辛巴):從服務器(哈代)(35)錯誤:錯誤代碼:“0”錯誤信息:“錯誤運行查詢:org.apache.spark。SparkException:工作階段失敗而終止:序列化結果的總規模196 (32.8 GB)大於spark.driver任務。maxResultSize (32.0 GB)”。

[karthik_p]

@Josh彼得森你試圖添加在sql數據訪問配置下,一些支持的配置參數。數據訪問配置|磚在AWS上

[Jpeterson]

我試圖添加配置下的數據訪問,但它似乎並不受支持的關鍵。

錯誤信息:

第1行“spark.driver。maxResultSize”:非法的關鍵

[數字式電壓表]

你好,

SQL集群共享相同的火花配置。問工作區管理員——添加火花下配置SQL管理/ SQL工作區。

說明在https://docs.www.eheci.com/sql/admin/sql-configuration-parameters.html

[Jpeterson]

spark.driver。maxResultSize不支持參數的SQL倉庫https://docs.www.eheci.com/sql/language-manual/sql-ref-parameters.html

也許這可以添加到路線圖,或BI集成要求select *或全部收集sql操作不同的倉庫嗎?