我不清楚為什麼並發會受到fs,似乎是奇怪的,因為我們也可以有相同數量的寫入fs小於1 k並發工作(通過簡單地增加工人的數量節點或核)。如果並發限製是由於fs限製基於工人節點配置應該是不同的。
我知道火花是為了處理大量的數據跨越工人。對不起,我可能不清楚我們的用例。我們實際使用情況要執行的任務可以隨每個客戶。
我們的管道將客戶數據格式轉換成統一的格式。這個階段之後,我們可以處理整個數據與一個工作。但到這個階段,我們需要以不同的方式處理原始數據從每個客戶。
我的意思是,雲存儲有其局限性,它可以處理。
(還)顯然在你的情況中這不是一個問題,如果你寫在同一時間執行。
一個選項來按順序處理某些工作嗎?或通過分組客戶提供相同的轉換?beplay体育app下载地址
另一個工作空間也可以(最優)的解決方案,或者跟你的磚接觸。
思考你的用例中,我將試圖建立某種形式的框架,它使您能夠更動態管理處理。
簡單的說,我知道但nnow每個新客戶都是一個新的火花腳本。這是一個疼痛管理。