取消
顯示的結果
而不是尋找
你的意思是:

寫作時的內存/連接丟失從磚使用JDBC連接的外部SQL Server

Megan05
新的貢獻者三世

我正在寫大量的數據從磚使用JDB外部SQL服務器的連接。我越來越/連接超時錯誤失去了但它似乎是一個內存進行了更深入的問題。我想知道集群配置可能需要/我將最好的緩存數據。輸入數據是大約60 gb的數據減少到60毫升行。工作過程寫100萬行到外部數據庫然後崩潰。

我試過不同的集群配置,內存優化,計算優化等等。我也試過不同的垃圾收集設置垃圾收集過程中指標是暗紅色。

1接受解決方案

接受的解決方案

Hubert_Dudek1
尊敬的貢獻者三世

請延長dataframe分區使用的數量

合並(< N >)或重新分配(< N >)。在大多數情況下,它應該自動保存的問題,因為它會在每個分區塊寫。

除了這些jdbc連接屬性可以幫助(如其他數據庫JDBC——火花3.3.0文檔(apache.org):disappointed_face:

numPartitions

batchsize

isolationLevel

在原帖子查看解決方案

4回複4

Hubert_Dudek1
尊敬的貢獻者三世

請延長dataframe分區使用的數量

合並(< N >)或重新分配(< N >)。在大多數情況下,它應該自動保存的問題,因為它會在每個分區塊寫。

除了這些jdbc連接屬性可以幫助(如其他數據庫JDBC——火花3.3.0文檔(apache.org):disappointed_face:

numPartitions

batchsize

isolationLevel

Megan05
新的貢獻者三世

謝謝你的回應,休伯特!似乎修複工作超時的問題。

Hubert_Dudek1
尊敬的貢獻者三世

很高興聽到。如果有可能,請選擇我的答案為最佳。

hotrabattecom
新的貢獻者二世

謝謝你的回答。我也在這個問題。

Hotrabatt

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map