限製大小的init腳本

[Rahul2025]

你好,

我們使用磚運行時版本11.3 lts和執行一個火花Java集群工作使用的工作。自動化的執行這一工作,我們需要定義(從bash配置源文件)一些環境變量通過一個init腳本(集群級)並使其可用於Java工作的火花。

在這樣做的同時,我們意識到我們不能上傳一個init腳本的大小大於5 kb在適當的DBFS位置。顯然文檔指出init腳本的大小不應超過64 kb。在工作區中有設置/配置水平,可以幫助我們提高這個限製從5 kb到64 kb嗎?

請讓我們知道如果我們丟失的任何東西。任何幫助在這方麵將高度讚賞。

提前謝謝!

問候,

/ /拉胡爾

[Lakshay]

嗨@Rahul K,請你分享錯誤的截圖你?

[Rahul2025]

@Lakshay戈埃爾感謝您的延遲反應的反應,真的很抱歉。我不能在這裏附上截圖。

請查收以下錯誤上傳一個文件名為db_init時我得到。sh /磚/ init文件夾。

db_init處理文件時發生錯誤。承憲:用0代碼服務器回應。

[karthik_p]

@Rahul K看起來的限製

init腳本不能大於64 kb。如果一個腳本超過大小,出現當你試圖挽救一條錯誤消息。

DBFS的外部掛載init腳本不能賭存儲。請@Lakshay高爾其他輸入

[Rahul2025]

@karthik p感謝您的回應。我想上傳一個名為db_init的腳本。sh (10 kb大小的)/磚/ init文件夾並得到以下錯誤

db_init處理文件時發生錯誤。承憲:用0代碼服務器回應。

有大小大於64 kb,那麼它的預期,但它有一個大小為10 kb。請讓我知道如果有任何設置,幫助增加這個尺寸。