我怎麼能以某種方式運行的火花。在一個工人嗎?——抽樣foreach spark.context

[alexgv12]

我用隨機數字撥號改為並行化一個函數,這個函數我格式記錄我想挽救,我怎樣才能從這個函數記錄存儲dataframe嗎?因為每次我使用.....火花生成一個錯誤引起的:org.apache.spark.api.python。PythonException:“RuntimeError: SparkContext應該隻被創建和訪問司機。

我怎麼能以某種方式運行的火花。在一個工人嗎?

代碼——圖像

[Ryan_Chynoweth]

你不能。這不是可序列化的,沒有一個工人。我建議你使用DataFrame api。它應該更多的性能和原因有非常有限的抽樣DataFrame應該使用。你的函數看起來可以轉換為一個用戶定義的函數。

[Vidula_Khanna]

嗨@alexander grajales vanegas

希望一切都好!隻是想檢查如果你能解決你的問題,你會很高興分享解決方案或答案標記為最佳?其他的請讓我們知道如果你需要更多的幫助。

我們很想聽到你的聲音。

謝謝!