取消
顯示的結果
而不是尋找
你的意思是:

如何實現合並多個行與數組和單行不會導致伯父呢?

MarsSu
新的貢獻者二世

你好,每個人。

現在我試著實現與Pyspark火花結構化流。我想在單行合並多個行數組和水槽為另一個服務使用下遊消息隊列。相關示例可以遵循:

*之前

| col1 |

| {“a”: 1、“b”: 2} |

| {“b”,“a”: 2: 3} |

*後

| col1 |

| ({“a”: 1、“b”: 2}, {“b”,“a”: 2: 3}] |

我調查後,可以稱之為“collect_list()的過程。但這個函數將收集數據來驅動,所以有一些導致司機節點伯父的風險。特別是,我也觀察了火花結構化流媒體應用在磚的工作指標。確實有駕駛內存使用量不斷增加和伯父發生錯誤。

基於這種情況,我們可以有一個更好的解決方案來解決這個問題,避免司機節點同時伯父嗎?如果你有任何想法,請分享它。我將很感激。

2回答2

Vidula_Khanna
主持人
主持人

嗨@Mars蘇

很高興認識你,謝謝你的問題!

看看你的同行在社區中有一個回答你的問題。謝謝。

MarsSu
新的貢獻者二世

親愛的@Vidula肯納先生,

謝謝你的幫助。希望我們有一個解決方案來解決這個問題,謝謝。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map