瀏覽
磚
幫助
登錄
開始使用磚
開始討論
開始資源
磚平台Beplay体育安卓版本
技術博客
磚平台的討論Beplay体育安卓版本
工程數據
機器學習
倉庫&分析
數據治理
管理和架構
學習
學習討論
培訓產品
認證
學習路徑
認證
組
地區和利益集團
美洲
亞太地區
利益集團
事件
社區灣
社區討論
社區新聞&成員認可
uzairm
新的貢獻者三世
自
02-27-2023
06-26-2023
用戶數據
9
的帖子
1
解決方案
1
榮譽給
1
榮譽收到
磚
關於uzairm
用戶活動
的帖子
回複
我整個代碼驅動節點上運行,我想讓我的代碼運行在工作節點的內存驅動節點不是筋疲力盡。請告訴我改進我的代碼。我經常引發崩潰時,把數據從s3是巨大的。
03-10-2023
我運行過程中有4個步驟。查詢s3文件路徑從發電機數據庫根據用戶給出的某些參數。(功能由客戶提供,隻需要導入)。返回一個列表,瞿filesCheck如果這些文件路徑已經……
ThreadPoolExecutor在磚
02-28-2023
我用threadpool執行者和並行運行的筆記本。然而,這些並行筆記本不使用執行人,所有負載會向司機節點為司機節點導致內存耗盡,最終……
並發工作——火花驅動程序意外停止!
02-27-2023
嗨,我是運行並發筆記本計算集群c5a並發工作流作業的工作。8超大5 - 7工作節點。每個工作都有100個並發孩子筆記本,有10個工作實例。8/10的工作給出了錯誤的火花司機已經沒法…
再保險:並發工作——火花驅動程序意外停止!
04-26-2023
選擇操作,比如收集()()驅動節點上完成。所有聚合。避免這些。
再保險:並發工作——火花驅動程序意外停止!
04-26-2023
你可以看一看你的驅動記憶通過觀察神經節UI,監視它集群運行. .
再保險:並發工作——火花驅動程序意外停止!
04-26-2023
@Jeetash Kumar我發現了問題,司機的記憶變得疲憊不堪。我細調我的代碼,這樣較小的操作是做司機一邊和我減少並發的任務。這個答案是基於我的用例。
再保險:並發工作——火花驅動程序意外停止!
03-12-2023
嗨Vidula,我仍然麵臨著這一問題,它沒有被解決。如果能有人幫助我。
再保險:並發工作——火花驅動程序意外停止!
02-28-2023
我發現了這個問題。司機內存耗盡和職工節點不進入遊戲…
查看更多
榮譽從
用戶
數
Kaniz
1
查看所有
map